|
+ y% X6 j; f6 ? h" i' i hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
+ o% G0 I0 G4 { 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
! N. Y3 A/ m" K. f 好嘛，举手之劳。 ! p4 O( j# B6 u7 N( o5 L) @8 r
$ i+ V' S) n! b' ~
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 , r; B8 h8 H: ?% E
" R/ c: E2 {( y' l1 r" I* x$ L
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
; H, d2 n7 _, p2 B! J% h 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
0 H6 b0 B* z) j9 F* F- V) d# [ 先看这两张图 " r+ b1 J) H0 G- m0 D/ Z( S& x: X' ^
8 S' @0 L" S+ y, O1 o+ s3 i7 o3 M! j 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） % {% g; r3 Q* K H2 S9 K' [6 {& M
8 M9 o* \: D8 ^! m
第二张是一张声呐图像，显示的是海底的一辆自行车。
6 Y, d: F, N1 l2 p/ d 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 2 I9 f4 Z+ {) r8 C% |
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 6 `) ~+ Q% N& F( A8 H
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
& U2 P: s$ i2 ~( n, o
3 k+ d% I3 C( F! R 你看这就是辆小汽车 # @/ D- S% f, B U7 O
3 |$ M' J3 z" u9 Y 这就是人工堤坝和沙坡
) E! ?" ~# E5 Y. {7 F( @ 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 $ }6 l# z7 R0 ?
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
0 g1 W* V: s) V# d4 Z5 V$ g. T! D8 \
/ X3 L0 |% k; s. d5 v& @$ q5 ` 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
9 [6 k0 [/ d7 ]6 ]# i3 e! Y. k 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
1 x' y7 x4 M2 ^
: {" Z' {2 c7 i2 K5 ] 大致就是这么个意思，你品，你细品。 + S1 L8 f) t! a$ w
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 3 `5 w( R# w2 q- v# m! g9 U
2020“水下目标检测算法赛”
! w# L3 s: {2 |- }7 Y* ^. v4 }- J 水下目标检测算法赛（声学图像赛项） / 讨论区
% b) R1 h9 j3 q( e% j# x, {6 S 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
# Q- u4 {2 Q) e( {7 L+ o " I& K7 p8 I `( G9 s
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
( e5 K: x6 u2 L$ H ] 讲完图像之后，我们再来讲讲题该怎么做
3 A# A* n; D" v5 Z3 s% T4 d 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 : m! E5 R4 `* [; s( V3 i% Y
举个例子：
2 H% l$ B7 J" P3 a WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 0 D8 x; w" A8 {/ R: w0 M: I
老师给的论文中，使用的方法为CNN/FCN 2 K5 e* q$ B6 r' r
7 s: m$ `) j9 [2 F1 r* m
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
6 S4 v, m" @& X) J5 G+ z( Q 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
' V: R, T" L8 f “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” 7 z" k1 h$ l: G
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
7 `8 w4 u% G9 b; O8 l. z 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ + P. m% n7 o5 o( k7 r: }
/ h S' S' T9 C% F5 h! f# a 最后，要进行我们的传统项目，也是大家最最最期待的环节： 5 J i, Q: E5 `8 y3 V
官方baseline公布
2 Z/ h# \1 H; L2 @8 o3 i+ p 使用Google Object Detection 完成水下目标检测
4 Z0 `4 M' m: K; \ j( B/ T https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
* S& a. w$ `/ a) S 项目优雅介绍了baseline的使用全流程，欢迎大家试用
a) u0 [0 D2 ?) o 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 ! H% N" L/ E( O$ b
懒人版声学 Baseline
* c# h5 {6 e! B# x: C: D/ u# Z https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 9 X( J, z2 `2 C0 A. b5 n
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
( \! t# x* R- ~/ _: N+ A 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
* o! i3 c" L# h" b0 v' T 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
. }, A. r6 h- i5 D
* |4 A0 A, \6 c9 D# S: c 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 0 s+ N }! ~; H4 I9 @2 U" ?; q
你不算我不算，声呐图像怎么办？ ; @' x0 N' A v2 a
你参赛我参赛，海底世界任我探！ ; r& }$ l( J W' A; Q. s; A1 `8 k
期待在排行榜上看到各位的大名。以上。 + P; T( F' i* x7 N& |
相关资料：
( X; u0 x3 U; P) u. p3 y 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
, H5 m5 \8 g' u# z 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 6 u- m* M( }' l
+ N7 f; v, i- Y o+ ^' ]( \& V' u# G9 X- X) h5 I
( A9 J, [/ ^) K1 v4 I3 J. H. ], H; [+ m4 |- t$ s
| 
