|
- P$ d( Q, b6 x o, G/ G3 h hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
/ X* g$ y# U# e: h( @( ?8 o O 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 3 S3 ~' t& l& m3 G
好嘛，举手之劳。 8 S* n9 }! D; e D8 ^
: {; E" }- f8 I/ j1 ~1 P! y" K4 V
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
% R0 V# |" g/ L
3 x4 V1 Z8 }+ G 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” " |3 F2 L9 P. m9 Y
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
) u1 i) g' z* H+ n; ?' f- C) a; L 先看这两张图 V( ?4 L. E; u' r- i2 c1 q$ h' `
q' N' X5 l% w5 T+ o
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
# R' d: Z* c: k* _5 q " d& `+ n( p0 p
第二张是一张声呐图像，显示的是海底的一辆自行车。
* \- _ ?9 r' m% W& l 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
& n4 y n8 F' w N 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
+ Y8 p% K4 I( [: ~* S/ R3 [ 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
6 x) e1 F; u S ( Q0 G) `; J' [ R+ ]! _- c7 r
你看这就是辆小汽车
- t l* G* \8 C/ w t8 ^# p* m 7 X: f. Q9 ~' ^8 ]+ }% c
这就是人工堤坝和沙坡 + B9 Q) F e& q% j
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
# [# Q8 Z: S) ~! P( h U 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 3 u5 {6 ^# R# a3 [7 t, q" H! |; t
9 q1 Z# @- t# w7 P% T. H& ^
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） ' f1 K" P6 T" Q* E; _
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 ) l/ c( q4 j7 c; ~
) b0 k, E* G, ^1 o5 v
大致就是这么个意思，你品，你细品。
* k) w: N% p+ X( E n: z1 o" W 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 # z( H$ V- Y# Y" p3 m u, d
2020“水下目标检测算法赛” & l, }/ @8 N* G3 \
水下目标检测算法赛（声学图像赛项） / 讨论区
3 f* N$ s& j* D) T 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ 2 o d' }- X* ?) `9 ^6 a! G* x
; q$ I; Q' }/ @5 V
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
) i4 A4 M! t7 h% x8 H! m/ f 讲完图像之后，我们再来讲讲题该怎么做
) f# q: b. ~' a 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 $ c9 M) H& ?* {; q$ \9 N
举个例子：
4 f5 D5 H+ H0 h- |3 G WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
# `7 w9 \1 u- z# k6 @7 y- \! N2 Z' U 老师给的论文中，使用的方法为CNN/FCN
' y; I2 V5 U2 W$ ~# E. ^ ' N, F9 S8 Y& n0 P
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
! J5 `8 f n' t 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
0 k& Y+ W, r7 _7 S9 b) k1 D “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” 5 ?3 C- m2 H2 E
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
2 W' ?, u* S! \5 X. } 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ 1 T3 C4 n, y' @5 h7 W8 \5 f
+ a6 v' J) r8 P9 I+ B+ Q% F- [ 最后，要进行我们的传统项目，也是大家最最最期待的环节： - r4 y0 l! G. {: ~9 o2 K
官方baseline公布
# x: A* ~, @$ z @6 a0 c$ K 使用Google Object Detection 完成水下目标检测 0 _0 X, W: j0 M2 r" h s7 R
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e # c2 r6 T4 ~0 |* v- K# w
项目优雅介绍了baseline的使用全流程，欢迎大家试用 / s7 `, @! \1 J" e1 j
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
' }# j' h) R @1 ~% ~' h" i% l 懒人版声学 Baseline
3 F, h1 g! x( {) W' y https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 ) s3 }6 B7 H y& i T
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 ( p& H3 m# u, X$ o
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
: T0 Z; i) t& C7 D1 c/ t 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
7 g7 S6 |4 o) t$ j! p
0 J9 v' x! I8 \$ J3 b 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 / Y3 T! J2 C& }0 N
你不算我不算，声呐图像怎么办？ - Q! x i9 B% i
你参赛我参赛，海底世界任我探！
: l, J- m* h; f& A9 y- w 期待在排行榜上看到各位的大名。以上。 5 [8 J) ]2 N1 B9 ^
相关资料：
: K- T% s, P& S' N 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. * |2 s0 }9 W4 y! g3 G: Q. P
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
5 q7 s! H7 a) Z2 y! N+ p3 j) k! W6 r1 R- m, v+ ^9 |& O, F
' N+ d& z5 I% A; C3 }& y
8 K9 e" K; v( e6 ]& S3 s
$ T6 T+ Q! y9 U: Z. R | 
