|
) a7 j( n2 |% Y, Y6 J; R. Y
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com$ e$ y( U4 ]8 B g6 d, O
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 " d4 r1 f Z6 ]
好嘛，举手之劳。 ( x" l5 N4 l; i% x6 E& a
0 h" ~) N( p) ^( d% B
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 ; U! }8 m$ l0 n
, g# O" i8 j1 G( ~7 u
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” $ l6 m; b2 [9 d
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 * a6 j& z, V8 d- m- B3 L
先看这两张图 . Y) B: T. M# D4 S
, C$ Z. j3 A' S/ w# G$ s. \5 _ 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
. ~( m- o/ B' ?! |7 j ; I. O. {2 l/ }# \" I3 B
第二张是一张声呐图像，显示的是海底的一辆自行车。 1 D1 Z8 z* h) g6 c& q/ G
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
' u& W, l6 n* D$ d+ R3 o 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 " @0 g. A+ @( X8 Y1 E
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
?2 m0 z; L7 n+ W5 |& _ + c. Z k, T' I( K5 A7 }$ W+ H
你看这就是辆小汽车 f9 t' H/ g9 M% \
3 U; k0 h* E/ b& | 这就是人工堤坝和沙坡 9 K3 p8 H [ v. X& g2 \# A
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
3 {5 [4 m' J8 W9 h2 v 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
# z1 k X: h! ]1 O5 r7 N% W / A+ k( }3 q$ H$ o/ p# X' Y3 C
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
% V# j1 V% L. Y) {9 D* z 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 + a0 Q1 T4 |. h' p2 T4 @
% H& E2 h4 t0 P0 W& x) ?& } 大致就是这么个意思，你品，你细品。 " s. F. T; I# Z* a
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 8 Z" J6 M3 w4 N
2020“水下目标检测算法赛”
7 ], P8 V9 h h- q) z7 j: B 水下目标检测算法赛（声学图像赛项） / 讨论区
" ^9 R0 [: F* `+ C8 u7 j9 y6 D 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ ) ~1 |0 }& h) l
8 ~& l) e7 F. U1 g1 R4 F 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 0 f1 a ?3 h& A0 m
讲完图像之后，我们再来讲讲题该怎么做 & h% E' ]9 C' \; w
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
" A6 Q; |- g& ]% u 举个例子： ( ^! r. p' v& p" [0 l0 F/ {2 p- d
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 9 J9 L3 N# v! u8 J0 f
老师给的论文中，使用的方法为CNN/FCN
/ {6 |; R" p0 m Q% Z+ Y% X) Q9 n
a* h" T0 u' J 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 & }+ Z+ r4 |! O$ ~! F
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： : e% t9 l' X0 Y4 F8 J3 [
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” " R( E% T0 l+ A' m8 {
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） 6 g# x; E- u; R* ?
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ 1 f% E! _! n4 Y
* H- c2 q K9 S5 Y& E% {
最后，要进行我们的传统项目，也是大家最最最期待的环节：
* j7 v0 Z/ p9 b) m2 Q1 d 官方baseline公布
8 G1 E6 r3 `7 l% {( e- n/ A. I 使用Google Object Detection 完成水下目标检测 ) y. [; `9 n( G# _8 j9 Y
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e 1 ?' g$ S. ?. m- j- K* J8 ~
项目优雅介绍了baseline的使用全流程，欢迎大家试用 ( C# h7 r3 k, N; x7 R( h. x
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
" w& `% J! _* _" w* b 懒人版声学 Baseline , \# f7 X( i* I" i
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 3 N/ H1 b+ o4 q3 a$ N
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
% {' Q! r& H( M/ [- a( P4 o2 F/ _ 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
* h7 I7 {$ \# e1 }0 |, _* U' ] 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 # P4 y" Y! Z2 `$ q! f5 X" r8 Z
0 L4 t- b1 _4 W$ _5 j 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
8 ~# b, e! _5 I4 d& b 你不算我不算，声呐图像怎么办？ 8 F* ~1 S x* O7 A1 O& [6 ~ J7 K, t
你参赛我参赛，海底世界任我探！ ' j8 |! L9 l) }) W
期待在排行榜上看到各位的大名。以上。
% T1 a$ D. c# M4 z 相关资料： # \. X5 Q8 U- w: U* B# L8 k9 }0 z
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. . [3 ]* ~. C% w8 f' z0 D
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 1 o" O t1 Z' _" ?
; ~8 @7 b6 k# r# y+ V1 Z1 e; ? B7 U+ R: s: F2 r& n$ x
, L- W% d0 E) y: I: z" G- v' q! u& r$ z5 n
| 
