|
$ ~! [* j' L7 } hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
7 Y2 l7 ?$ L W6 a! C8 Y! p 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 8 K& ] n$ o4 o3 y
好嘛，举手之劳。 ) g% O" f. u) n7 W( P. M2 l
6 K8 A# u" }9 S$ e2 X5 G! Y 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 ! s4 _, ]4 u, J0 K7 c: d
: l% c' m4 K1 _' D 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” # y& x [4 [, o! A1 s/ L
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
- O. e3 B7 \4 `; z, E5 k7 Y 先看这两张图 2 u; L2 u6 h; m6 s, h! y4 C
7 W; X: e0 w5 x, j
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
8 q( ~) a3 S7 U$ p1 q ! y$ u4 ^9 c- G g7 Y
第二张是一张声呐图像，显示的是海底的一辆自行车。
+ H0 {' H, [/ g1 o 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
' H+ a1 F: H9 H: @5 Q+ d6 F8 I 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 . h' S" G) h) ` U# r4 _" N
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 3 [8 o% s3 m0 S; R
* n/ t' t8 N# f1 l! }5 z1 _ 你看这就是辆小汽车
1 ^1 @" L$ U$ {& O2 R1 [
|7 x* g D3 }: {, h 这就是人工堤坝和沙坡 ! ^3 b( p! L" z: b6 Q8 M E
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 3 v; `' Z: k) [0 O
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
! U2 {5 w7 u' G2 J6 U
9 y' ]9 x/ ^8 q# @ 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
+ n! o0 D5 O' b6 W 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
6 d0 t& n1 C R: t3 ^0 |" t
% P" E; a- W' L+ J3 L+ o 大致就是这么个意思，你品，你细品。 5 v' A/ \" p+ H8 M! f( S- x- h
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 # X+ A, b3 F$ i' h K6 w, Z& P' C& r
2020“水下目标检测算法赛”
. \" ? ?, k; E) P: ? 水下目标检测算法赛（声学图像赛项） / 讨论区 , \, @) K8 Y9 S6 F2 X: y1 [2 B
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
- [; g; L3 Q) C, \- x: U( v& S. E
$ C/ ?' Y7 c' N7 z7 S% F* j2 T 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
) {" ^0 M f. \! q 讲完图像之后，我们再来讲讲题该怎么做
' l. r+ d* L' g: q 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
, U, I/ [5 E5 b3 S 举个例子：
; a2 X! E* D/ p. {' ~3 _% u" p5 } WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
0 p, g+ B+ P# B+ [0 j" V; r6 N0 r 老师给的论文中，使用的方法为CNN/FCN ' ?4 y# D6 C2 F# f' a) J, o
1 u; `# W/ ?! y& N; [( i8 m 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 # n9 ^' V- m; Q. i+ P1 C
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
h, L9 E7 t$ n/ ?8 R “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
8 Q# K7 [, y9 Y" P; } 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
# |$ N4 u- P& u- D- M 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
9 R( o [. r4 s- s: N+ \; C+ Q
) H0 s9 ^- B- E, F 最后，要进行我们的传统项目，也是大家最最最期待的环节： 3 ~# r- W0 n) {9 q. b$ a
官方baseline公布. @5 c7 B2 f. J3 u" T7 h1 z
使用Google Object Detection 完成水下目标检测
7 `3 K* H' H/ f7 q x( l https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
; A6 Y/ Y' q) h& P6 a0 U% _* d! K 项目优雅介绍了baseline的使用全流程，欢迎大家试用 * x# @2 x+ D; e# G; m1 q4 m: q
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 % _( ~4 ~8 ]1 Z m6 M
懒人版声学 Baseline ) h3 M8 _1 u0 o5 r0 V
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 $ _3 p$ o6 B6 u) K+ D6 |
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
- c' [6 p! {0 S, j7 p/ o0 m' h4 G 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
4 x0 l2 p6 o& U/ p: V 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
6 N6 M! d. d) A/ _6 K1 ]) K + u& W- _/ [* X( _' m& ^5 J
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 4 @2 {% k5 P; B9 H
你不算我不算，声呐图像怎么办？ % N# D, g: f, _4 U
你参赛我参赛，海底世界任我探！
# B6 M) r2 M a% t/ a 期待在排行榜上看到各位的大名。以上。 . p. q; F2 _0 f, V% ?+ P
相关资料：
/ g' f. ^+ X9 q4 d: l/ a- t 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
+ t$ V8 {& N) C. C c 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 3 ?$ T6 w4 D/ S0 n% G0 I, ]& v
" i; s1 `0 c* h9 Y1 N; w
' T( D) W" L+ x0 T9 ^' \
! P: S- m' q9 }! h/ k" R
2 E/ C' e4 P& y. B | 
