|
8 m* U: ^% M, S8 X ]) ?, ~" D2 g2 n hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
% E0 U/ W! n# j5 r, d/ B 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
) p7 C: v5 ^- r" T 好嘛，举手之劳。
4 a+ Y& U, a! Q# ?# Q$ ] {4 w) D- W4 @
M7 b! S, E; i/ R3 Y/ C3 o. } 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
: m8 k; h& t; T1 S9 T
) g: S: g0 V) b& k/ ]0 J 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” " r) ^) C& f; I
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 1 {9 }* y. o( W6 d* t0 K
先看这两张图 : L: @0 c3 R( a6 A; m4 v' l! f% X
$ J6 Z0 _) C$ {8 m3 y 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
6 c' h" h9 ]0 n8 v1 ?7 N8 g
/ f/ B2 ]4 D* y. S) | 第二张是一张声呐图像，显示的是海底的一辆自行车。 - e; C+ B% t- ~
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 6 j) ~; s* M9 ^3 k, x
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
' j9 f% X% L7 \$ P4 p+ k$ L) @ 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
0 H' M+ p& n5 G9 ]& z3 D , l1 ]( {3 I2 p; l3 [( B3 v3 v; S
你看这就是辆小汽车
/ B7 q/ A5 w- p# U5 W. N7 |) C) T ( G( h6 r) f- P. j! Z
这就是人工堤坝和沙坡
" p7 Z/ Y! c) | 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
# ?$ r, b# ]! _7 J 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 ! W2 X& [- M9 a
) Y6 t0 G+ U# e: p+ e1 Z- S) J 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） . ^: ]/ s1 }) y1 ~' {5 \
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
- Q; L4 e i. P' x4 v1 t : M `. r8 g7 c Z; M. T# l
大致就是这么个意思，你品，你细品。
0 u$ A$ e* n$ K: {% g" _3 g& `$ p 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 5 I5 `+ z; C# @2 P
2020“水下目标检测算法赛”
0 P |' A3 Y- g2 U9 q7 M: c. x 水下目标检测算法赛（声学图像赛项） / 讨论区
* f; g3 u/ b5 r g4 N' V4 f; B) ? 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
+ r$ R ^4 [# y+ a ; L; s. z4 M. w9 S* _+ S
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 . D: i; k2 ?5 z8 t/ Q
讲完图像之后，我们再来讲讲题该怎么做 & p b7 T- c& d, d9 T
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 8 _% U9 y$ |) f" r' N# T/ a1 T
举个例子：
7 K) S: {& n x" ] WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
/ K- I- K- k: v& t6 H$ ^: |& I 老师给的论文中，使用的方法为CNN/FCN 8 Y/ [& y, t) r
. {# y" o) O d( l
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
7 U" d/ `- j( k$ a8 u& q$ z 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
6 M, i3 F: k" x e$ i3 m. {* ?; o “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
' j% i# T; E# `% c9 z# s 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
$ S% T# j$ ^7 ~" P 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ 1 P' B$ c6 e/ v: t) E
" X1 e# y* d& G( G' t, Z( [! F 最后，要进行我们的传统项目，也是大家最最最期待的环节： ' r3 g6 Z+ M) d4 e* F2 |6 Y
官方baseline公布7 Z1 T0 ]! `6 q
使用Google Object Detection 完成水下目标检测 $ G! w7 X( V0 N ]
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e ( z$ v% ~2 N' d/ b, Y4 X! p0 w$ T/ l
项目优雅介绍了baseline的使用全流程，欢迎大家试用 5 C% i0 {4 L5 _5 O+ w3 S, S
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 , P; ?! l+ T/ E- {" A- I. A
懒人版声学 Baseline
% ~5 i' h* z* X7 L* x. @( A7 e https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 + |& @6 N ~5 o6 O6 I
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
R9 ]; y, }) s5 L$ ` 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
4 l: T9 K3 U) Y 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 : R0 o! W- @/ g+ O
; ^7 e, i) x) L+ l+ B1 [4 O8 L0 c6 d% ] 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
& r2 R6 t; A8 B$ o0 n 你不算我不算，声呐图像怎么办？ 5 ~" G# ]) b3 W' [! n
你参赛我参赛，海底世界任我探！
( V: e v7 f( @9 @ 期待在排行榜上看到各位的大名。以上。
7 z! X' Q1 E" n& ] 相关资料： 5 M' H8 r; ]: b
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. + c$ M' c2 B, S3 p% r
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
; m5 [* z/ w; B5 f& P/ j; M b1 q& |4 G2 |; x" m$ j/ D2 `6 E- _
) B+ l6 G6 S* v5 V9 x1 C; V
( ^5 d) c) M9 D, O* _6 u; _* P$ {1 w0 v Z) Q8 t2 S
| 
