|
- {2 h( p( _$ g hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com% w6 f, E( h1 r9 g( I
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 9 J p s8 B. g; l
好嘛，举手之劳。 # Q5 A0 f, [, h9 ?$ t# b3 o
8 h! R; k }; O f4 @- a T5 p# ]
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
3 l3 E A: ?* a7 z, l. G" C( p 0 C" s- N; l8 J; O6 V8 f1 v
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
5 Q& v2 K7 \. ?. l: Y% ?* g! B 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
& O. ]3 q: R% F0 C* H5 y 先看这两张图
7 L8 P9 J5 K6 o3 |
( K/ y8 G2 _. G* v- | 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
% T$ j ^& D! R) B
( m# G) H' a/ l- D# _' I) c 第二张是一张声呐图像，显示的是海底的一辆自行车。 8 T0 [3 T7 k" N$ n' J
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 1 K1 ]5 P+ ^5 K. {2 w
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
* y% Z- }5 K7 F 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
( f! G* W0 l; i/ T! E# | 9 J5 E7 y6 [% B0 v
你看这就是辆小汽车
& l( J, y( S7 G$ T* U( G : C) u- a& X8 P! o8 k$ X
这就是人工堤坝和沙坡
5 a6 ~) M! w0 G+ V: i 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 . ]$ C7 V R, U$ I
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
5 }7 _+ {7 t1 c0 F. h
5 q; [/ j/ e4 J9 E' X A$ G 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
) J6 R, @3 [$ @/ v 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
! R. m/ u, i" B* \, ]. P
5 U* R* a5 s& G/ J 大致就是这么个意思，你品，你细品。 # Q3 R. S( u" I0 E
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 - ]8 b. k* y* \0 V* `
2020“水下目标检测算法赛”
3 O4 x7 G0 h v 水下目标检测算法赛（声学图像赛项） / 讨论区 & l$ s8 [: L, O' b
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
3 f& I2 T/ E+ x+ f' ^
$ q* \3 z) s" S 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
2 B. X$ B! j' C# H 讲完图像之后，我们再来讲讲题该怎么做
/ X0 }# T+ ?, t* ?2 ~ 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
, I$ Q# Q" b; X' |& Y! X1 P# H 举个例子： . W5 @1 S2 B0 K5 y0 {& F" t4 f* j
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
. t$ |9 C, C" q/ V 老师给的论文中，使用的方法为CNN/FCN
% P' t) C- ^) e3 U: j$ m 7 K+ W# B r2 l$ E
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
+ w% q0 f" ]5 q. _& g+ y: M( z# B2 } 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
7 }3 ^) e# e9 A4 W! P “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” / r0 Z9 \" s' Y) T' q
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） ( n. O* |- z4 _. v. g; c; p
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ & R6 K' m- |# S! J
: J7 ?! M; H2 C+ l
最后，要进行我们的传统项目，也是大家最最最期待的环节： 1 G: w8 t3 w$ H$ o3 `
官方baseline公布
R" r) C' p$ r1 n 使用Google Object Detection 完成水下目标检测
. J7 i& R, B* ?7 g5 C. ^) c$ U https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e : ?* K$ s# ^/ _. U- n" @. W& z
项目优雅介绍了baseline的使用全流程，欢迎大家试用 ) E/ i3 w5 ?& {) S
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
]+ F2 t: ^8 `3 k4 E' _' S. E7 v 懒人版声学 Baseline 5 q) N- g/ p2 V. ?6 F: `, u8 [+ { W
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 / c ~1 n) B: w1 i. e* s' x7 {
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
9 N. b% {6 o* h' @1 m1 | 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
9 b5 k2 h: a3 M+ _$ k& U 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
7 a$ ? O: t1 U( s, N; X) g9 ] - J. _( `/ e: J: T/ r
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 : }9 A1 h0 k$ g5 w% T& a. |9 T
你不算我不算，声呐图像怎么办？
! |1 ~8 x# |6 v1 E% C9 | 你参赛我参赛，海底世界任我探！
& b% v* [* k7 r( U6 h 期待在排行榜上看到各位的大名。以上。 0 P" }7 w' z- g: h% o& O
相关资料：
0 g2 U) ]/ x- Q8 O0 g/ ` 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. 0 j; ]4 |3 Q$ K
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
* C$ D. T6 u! b& `. m7 q' Y2 B6 a( W& b1 O( H
% A6 ?5 f. s* d6 `
8 W8 A$ [ o2 A) T% y* G2 b
" V1 i. l3 i, s: G( y+ o | 
