|
9 {" C& c0 D- y. Z( S, V
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
3 Z& |4 x2 X s, p2 q/ q8 [ 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
" j* ?1 h/ y0 I- [ 好嘛，举手之劳。
( C9 L% l' Z) b
* ?7 i+ d4 j; y; E z 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
7 R- l6 ~7 \" C: @$ l # J# h3 i* K* G& _3 f9 P, |
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” - N" o3 i% l) T% X' c
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 & K9 a% g& J0 o8 _8 R
先看这两张图
2 C, R8 G* s2 s, Y3 }7 n* s # d1 B: l( P. s4 E7 F
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
% a2 I! F0 z8 k6 a% A
& \6 v$ C: Z; \$ C 第二张是一张声呐图像，显示的是海底的一辆自行车。
! ]# ]7 `+ N' i! l: [2 e 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
% U# B) G. @% q4 I0 d6 O 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 , B% ?) i4 b+ F/ _& O
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 ' ~5 p$ l) [6 Z! z' r: U# }1 J! V
) y2 _; Z( R4 Z3 E; Q 你看这就是辆小汽车 ! W# U' u0 w3 [( Q( o! C3 C
" N8 I1 S: D5 x# J, r
这就是人工堤坝和沙坡 % W" J% [+ \; T* h# W2 s) G
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 9 {8 ?8 d4 y# [+ k
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
& _: Z5 \: b4 x# r2 F: c7 ]' B
! E" k' i; J! f1 S9 b: R 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
& S0 u: _9 J; j 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 9 `6 d: }4 R, N/ z, ~6 e# Q, H
' ~% @7 U7 i1 Q; D3 }# I
大致就是这么个意思，你品，你细品。 ) r1 C M. ]+ A
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 7 _, V! u: D+ R8 ?
2020“水下目标检测算法赛” ; G+ y& p) T; }8 |# ~" E% {
水下目标检测算法赛（声学图像赛项） / 讨论区
1 d( x% E- e- U1 @$ a6 |8 J 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
( |6 O) {6 r# U" ~ : H! B+ {4 {5 [; E. w, i2 b' ~
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
$ w0 `: H) O# {3 F2 M) r5 @ 讲完图像之后，我们再来讲讲题该怎么做
1 r+ {9 h- J3 A0 k7 z2 m 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
0 A7 [) ]* d) _4 _3 p" ?; b 举个例子： r3 k. `, Y( p: h( _2 X
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN ( q1 g' _& @# u5 d6 S! p9 n# Q6 L
老师给的论文中，使用的方法为CNN/FCN
( z2 j$ a9 t s( d5 B; W 4 Q! Z; ?; M# d1 H6 l$ O
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 , e/ @. E* D8 P" K' z; h4 p
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： . k' u3 s7 F! i C& t( {# q# D! }
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
$ u& v7 g0 e% _6 F. A 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） # F- R4 i, y7 I) a$ C" x
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
8 @: @* u1 y Z+ a V* _ 5 O2 U% ]( _" |- I' O
最后，要进行我们的传统项目，也是大家最最最期待的环节： - u, {; x+ @$ N
官方baseline公布% [9 _- C5 H8 ?8 V* w& {$ {
使用Google Object Detection 完成水下目标检测 ! }& T3 E4 \5 K& d/ j
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e 8 ]- u5 D! U2 N1 w) |
项目优雅介绍了baseline的使用全流程，欢迎大家试用
" B; X/ h: ]" ~5 {4 p 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
% [" h4 F. D* Q2 ?& m( S) V 懒人版声学 Baseline / u* ]7 J- @+ m7 J/ C& O3 o- y
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
- M: J, o K; N6 |8 b 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 2 a9 G- ]. j" h2 x3 }6 y* `! }( Y
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 - H; x9 U* P! P% x1 j1 x9 |6 C
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
3 F& Q, u: n0 _ P! D g/ @- Z5 ^/ f) ^
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 $ v+ v) V n( D$ B
你不算我不算，声呐图像怎么办？ ( ^" m* H3 F) z$ l$ v
你参赛我参赛，海底世界任我探！
9 Y. r: Z" ^$ ?; ? m. q- Z4 d; t 期待在排行榜上看到各位的大名。以上。
" C8 P4 Q, q4 i( | 相关资料：
. T* t% R' M4 ^$ w3 g 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
1 [; @: j- d; M+ V' g 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 0 z& X- F8 S7 p- V. M; U) _! Z
" N2 m4 s1 B: w/ Q a" S: i) h' a, F; n: l! r" L
$ l9 k/ i4 Y$ S0 v3 ~7 U
8 _1 @7 H/ K _* v0 F
| 
