|
# k' ?5 U1 o1 o' n8 R
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
- H2 V) k: t) l+ R 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 , [1 g5 n/ S. v# C
好嘛，举手之劳。
, ^) x; ~0 P- G" d# Q / @3 _" T0 d7 ^6 R* \1 ~
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
# x: t* e$ O7 ]( y) i 4 j6 n$ n; t+ G! B9 S9 N( U4 S1 Y
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
. r# j0 R3 V( z+ M 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
1 |6 E, Y# H9 O' I5 e( |0 G& i 先看这两张图
h4 w( q3 r; q) [6 b
' R' z0 A+ a. J4 S- q! g 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
. c& Q- o* @3 j* g7 k% A) | % d* O' {! Z5 w9 [$ k/ J
第二张是一张声呐图像，显示的是海底的一辆自行车。
: r& L; y0 a$ s6 X7 N2 q 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
- J! M7 U x8 d+ D, N 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
6 b( i$ y+ r8 W1 y! S! c 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
# Y+ [$ L1 C6 r o1 n5 Z' y$ d; P1 X
7 u# {$ d, g8 a3 {9 B 你看这就是辆小汽车 3 T+ Q$ X( i1 Y) Z
/ a7 L6 |: ^2 w A 这就是人工堤坝和沙坡 & t- u/ e3 ^# O4 p [1 s1 q
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
* a) a& u$ O# g7 P" R% `) L 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 7 R- x: d/ `% B! Q2 a
4 w& }% d1 o4 i1 D 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
' V, ], M. [% z w( u# H 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 2 r- u8 }, i2 P( z
\6 U+ F' Z @2 W7 R, C0 r 大致就是这么个意思，你品，你细品。 ) j, X6 K# {5 ~* c
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 . N; U+ J, x2 M0 ~
2020“水下目标检测算法赛” * Z: H$ P( f& K2 X
水下目标检测算法赛（声学图像赛项） / 讨论区
* `) r: ?( {4 Q6 E( j, P 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ f" ^3 Y/ R- j0 X5 x% d: O
4 ]' ?. p3 b2 ]6 P! b 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
* t8 P+ C& M! Z" b7 H 讲完图像之后，我们再来讲讲题该怎么做
( |. j% @: _; S9 K' G8 P 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 2 Z& F# I2 v8 z1 s7 ~
举个例子：
8 }! ?" R6 o0 b WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
+ b; G3 X: y w, Z" b0 H 老师给的论文中，使用的方法为CNN/FCN
" J# B% R4 ^# s5 P {5 V
3 n1 h% \4 r3 s' W5 s 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 ' l; k; n9 S% g+ R. d
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： ( n7 f6 ?# \. Y* w, b; |
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
6 T; p0 }" N7 l2 a- C3 Q 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
2 I5 Z) ?6 S, i/ h* ^3 J 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
. w, I2 D9 `: b
5 {% M# ?7 t @! v3 P 最后，要进行我们的传统项目，也是大家最最最期待的环节： % L6 k& c6 T/ C* y+ a6 g8 U
官方baseline公布
1 Z8 d2 H( [4 ]+ j+ [ o: j+ ~& X+ D 使用Google Object Detection 完成水下目标检测 $ p, x% p, }4 Z- C6 T) h
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e n6 M/ Q% Z/ h- ?
项目优雅介绍了baseline的使用全流程，欢迎大家试用
9 S" A" o; _! y 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 ) g! c% f i- i, \( y' ^- @' q3 J
懒人版声学 Baseline ' d' ?, S ?2 H2 Z0 Z
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 $ G9 I, j/ \, A6 p
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 ) W" g# f$ P2 \$ }! [8 n9 f
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 ) B$ ^9 K* t& S( Q9 r6 ]- c
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 7 X$ {9 G5 T; _1 y c
4 K5 s* P6 ^* p+ f5 ~ 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
3 B. h+ F% k9 z) K, S 你不算我不算，声呐图像怎么办？ , Z0 K% G2 x5 C: T
你参赛我参赛，海底世界任我探！ : Z& h5 X/ k* q9 ~: a& ]
期待在排行榜上看到各位的大名。以上。 5 b' e- n; n7 Z+ s: |2 X( g( g, p
相关资料： 3 p. g2 O, L) U4 G1 [7 l+ {/ B3 Q
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
, V3 a$ G- Y0 B; A7 u 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 3 q, N8 N$ t- m# Y8 [
/ v0 }) D ~$ I0 u$ t
2 w0 N+ h, O; l4 O% V
0 @% } D- _) T1 S7 V9 _5 F! S6 S" [5 l9 C$ Y
| 
