|
4 R/ `6 d7 W& U0 L5 w3 H% Q# p6 C( q
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com. i; v& f+ C: i2 U# s
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
) c/ ~8 c% x8 y 好嘛，举手之劳。 5 H6 Q/ i" s6 ]/ z& R
) U/ O% ~3 \2 ` D2 ? 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
+ G2 M, X2 z" n, I9 Q* Y . C' n! i! l' q% M
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
1 t- F( r7 \9 g w 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
% y1 A# x7 { [9 Y$ E. D 先看这两张图
( k7 E. v: F4 m! x6 p# K' O5 H2 X
6 F6 G9 X+ t! z* e0 M2 E1 ?% Z 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） ) C8 Y! B/ _& e( E
: I3 V: `( ~" r& G7 ]5 E' [
第二张是一张声呐图像，显示的是海底的一辆自行车。
, b: v; {4 \5 K# H3 K/ R 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 % w1 j1 h% X1 o# N6 _, u0 l; B
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
: ~! @6 S6 o ~4 K 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 . f, T; d Y6 D3 `0 k* o1 r9 P
2 [( {* l$ Q& F# C5 K( | 你看这就是辆小汽车 - \9 M& [1 G+ D& b" u
2 ]& a; T' `/ p7 X" L% i 这就是人工堤坝和沙坡
7 u& V) g- T0 Y( U; C, l1 x' U9 s 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
$ b* c3 i; g- O8 |: p9 R 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
7 \8 H) b0 Y, k4 i: r( x
& U7 o& x0 R2 p6 f9 X( D |0 | 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） ' v* M8 T. B& |7 }9 n3 D
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
' d$ D1 j- K, {4 v' D; d3 Q
- n2 K! y& e2 f 大致就是这么个意思，你品，你细品。 * g; h( r- J: } p3 s* ~$ h
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 ( \) W. c0 Y' D+ p* m* N
2020“水下目标检测算法赛”
! w5 K( G- } N+ R" }4 D% ~2 `2 ? 水下目标检测算法赛（声学图像赛项） / 讨论区
! s g: r& x' [& a* Y9 l0 { 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
9 z2 g& i: E7 I7 g' e2 Y " l8 A# k3 g m8 J7 V
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 4 y: r5 X4 ^. x0 a3 B/ u
讲完图像之后，我们再来讲讲题该怎么做
+ c$ m' {3 `7 {1 v: K' [$ `7 | 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
5 c% S/ z/ C$ E3 k2 ` 举个例子：
. R: q' `3 u3 ^9 t: b8 N8 a( R WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
% \ j6 H" |$ U# H2 j; R" v2 ?, Y 老师给的论文中，使用的方法为CNN/FCN
' P8 ?$ o) |- K . w& q6 i: e* J* s$ H$ f
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
- }4 D+ V/ o, h6 Z+ O1 _8 d4 o4 H 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
5 k" w" M: }8 o. o, \ “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
. D% S f) L$ Q: F' s5 r% t3 r 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） 0 c% s5 d7 n2 ^; j
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
: ?* {( M2 J/ K; T) v4 N: ~
* t3 I+ N* \2 p1 o, j) {) i 最后，要进行我们的传统项目，也是大家最最最期待的环节： 6 p( U1 u6 B3 T9 V& ]! A/ e$ t
官方baseline公布
- ?& c/ z1 z4 V) @ 使用Google Object Detection 完成水下目标检测
' c0 e* V8 V$ ?) v V2 C https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e , c* C! u; r s% G) c
项目优雅介绍了baseline的使用全流程，欢迎大家试用
4 w7 f" [' G) N6 f" m9 ~( c! p0 O 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
% v. Z. l5 [$ v1 @, e 懒人版声学 Baseline + I' e9 y8 N% D
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 $ \1 Y2 |. o! R7 \; s7 G- U
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
* i8 J4 v2 a% c4 b 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
! \6 j/ V% C$ s+ v, ?! j 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
) Q4 q$ ^; U+ ], ^
}8 o2 [: O. ?5 N- z 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
6 P% k+ Z" A9 ^, D" B7 P 你不算我不算，声呐图像怎么办？
% T0 u& r0 _2 m/ E6 t 你参赛我参赛，海底世界任我探！
+ v( W% u2 g, j4 g1 C 期待在排行榜上看到各位的大名。以上。 * Q$ ~# n5 q0 I( b; R
相关资料： : q S0 Z& ~& N8 B% T
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. - n% F7 ], C# t
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
^2 E# M+ S9 o% N: [9 ?
, l$ w! ^! C; U* z
- N) g8 V- W# s' L5 v. f! l; q
) R3 [; D' c- \; a( t
% ~; d: w) j7 {$ S5 Y | 
