|
2 S1 x+ U1 f( J. d( | hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
! a" S$ G8 d$ c 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
0 N$ e2 ^2 p* ]8 |- { 好嘛，举手之劳。 * [7 b& G% l6 d' _
- R% H. Q1 B& z+ m$ {
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 i6 H5 K0 Y: N E, H) `3 R
5 R* `7 N: r# `; e8 g6 ^; r 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
) ?* Z6 T' u3 z; D2 b7 D 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
3 q3 D; {9 X7 p9 k- C/ j 先看这两张图
! y) C3 ]+ i8 S G ' z. v1 h2 ~! j6 S
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） * x% R+ Q5 A; V
9 t' O# ]2 Y* X9 U( e! ?" P
第二张是一张声呐图像，显示的是海底的一辆自行车。 6 }" H H1 M* ~; N/ x
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 % a; k* V: k. Q! h0 g
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
( r5 d( `% `8 m& G: m 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
0 s P& y2 C4 F9 R; Q7 G 3 V5 d6 |6 `/ z: c; ~! w
你看这就是辆小汽车 ; N: J) X( G( H# ?0 |
: s2 L# b; r, | ^* Q/ s+ N 这就是人工堤坝和沙坡 : B6 ]/ m" K% O' V! c. h. B
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
/ z) S1 T' {- D8 h8 h 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
3 w2 G% F1 W. ~. g0 `) ]. X 0 p! B( r* l+ M8 M
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） 2 x7 P7 V' G% u! |
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 & V* U3 c' V0 ^# m* Q; X
L8 v% ~$ p f" v; D F 大致就是这么个意思，你品，你细品。 6 z( Q- g1 h+ i$ h y3 S6 H+ l
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
2 M }' G, A& | 2020“水下目标检测算法赛”
, F1 S9 K5 D4 ?. Z 水下目标检测算法赛（声学图像赛项） / 讨论区
/ c. t* I& i7 \4 }* V9 a- p 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ . H0 x$ A J7 w% n5 q
4 K: `3 h$ e5 K6 D. Z- z3 g+ b1 c
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 # K+ I" e: J) \
讲完图像之后，我们再来讲讲题该怎么做
1 d) t0 D# u! G 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 - h& o0 P& I0 q! V; j) ^( G
举个例子： ) ]$ h; [4 ~7 t+ B# q" ]
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
4 P# |" D5 c9 P( J" q1 f e1 ` 老师给的论文中，使用的方法为CNN/FCN , y7 c3 N; s# c0 }( w+ _
! s/ ]+ B F( I+ R! w1 e 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 ) D5 F- L( q3 y3 O$ A# Q
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： ) Q" y' s% Z* D" t, I/ g$ f
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” ' ]; b8 M+ r" ?
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） 0 \" V6 A/ Y' h9 L$ ]& @$ m7 Z
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
+ n5 {% x2 J/ q! | 9 ]5 Q" k J- K3 H
最后，要进行我们的传统项目，也是大家最最最期待的环节：
# l7 u5 V3 d6 E6 G' G 官方baseline公布
. \' T5 B7 d) A& V. [( H3 v 使用Google Object Detection 完成水下目标检测 & c, g& [# M, _# a
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e , x, S) ^, X1 y, p# ?% I% R& Y+ x4 y
项目优雅介绍了baseline的使用全流程，欢迎大家试用 % j/ g/ I4 C8 A
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 + w4 a$ D2 \0 |6 ~+ I7 R# ] v) D
懒人版声学 Baseline
# ?% R; B2 V6 z4 q2 c6 } https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
* T4 \0 G% }$ A7 J& f7 v 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 ! R) ~- {4 o9 ]$ h4 ?6 @, Q
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
1 c- `! B C1 F% k; | 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
: l; |. ]. T+ s5 a
. L. Z5 L3 g+ t& N I 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
/ V& R* b: L) A; U 你不算我不算，声呐图像怎么办？
6 B* C0 {0 _. ?: Q" a 你参赛我参赛，海底世界任我探！
; d! h% R+ d8 t' S 期待在排行榜上看到各位的大名。以上。 2 m* Q+ y; x+ X9 H
相关资料： 4 B- V$ ~- y' M6 J0 K, \. x
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. # s& I# y9 ` O
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 0 i# K/ k i0 |' K$ ~# d o) p. b. t. h
4 L0 `8 D- c$ ]2 Q7 D4 I' K8 J+ V
+ U$ K/ b6 U+ ?
1 z0 m9 B) P9 ]* b! N" u3 b5 C8 B! u; \+ n: ^% d. |5 P
| 
