|
1 ]% L% M& Z( S4 J6 m: n8 H
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
3 Q, L. ^: y b1 } 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
! [4 h0 i1 B& S# k* Q: a( J4 d3 @ 好嘛，举手之劳。 - D, G/ T) C' C K T% U
. U- u# ` O4 E M
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 ; J( _2 Z1 N2 n
* a5 P- V3 C. j( L$ @
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” & Z! j+ `+ T* Q
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 1 S# |0 T* ?5 P4 [% X0 s& l: p
先看这两张图 + H8 C! S! M/ D3 V7 \+ r( v$ M
! G$ Z' h2 r* G' t2 T
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
* T4 \; @! }! S+ d2 ]: e% @8 p+ d3 \ : a# E4 E9 [6 L! ]
第二张是一张声呐图像，显示的是海底的一辆自行车。
. A- C {# S$ Z8 U7 A1 x5 S7 q 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
" R4 D( x8 R* z8 M7 ^7 U9 j 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
) I: _3 j$ M/ E' h/ T0 { 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
, J% x: E) l$ Y. e( x# I7 c
~+ ]4 s$ ~" z2 a 你看这就是辆小汽车
, g+ x& h! L4 K# ~7 m' t( A, p
8 P; d: M1 j2 Q) J- E9 p& v: `- [ 这就是人工堤坝和沙坡
4 Y! r5 ?) S: r; {* S2 Q 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 5 M+ c g4 W( R4 m$ h
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
9 p$ r- _' v! \$ Q) X F) X) B g- G
& l; ]5 k3 H2 k! u 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） 3 S- a" M: y3 E+ s$ c2 ~
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 . M m! f% |& k
( {3 o7 I0 o: o6 n 大致就是这么个意思，你品，你细品。
; p- [6 F7 ~$ v( ~ 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 , ]5 u6 Z' [4 B$ M8 x
2020“水下目标检测算法赛”
& }: Y) H+ B9 Q- p 水下目标检测算法赛（声学图像赛项） / 讨论区
7 n" i& e( N" a. J8 b 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
, q9 @" n/ ~% l9 C7 z" ]' C- n3 F
9 Y. o$ j* |. b( y7 h 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
, o/ H' B# x7 }6 T9 x 讲完图像之后，我们再来讲讲题该怎么做 8 p' Q; m5 t/ O' @" J. u0 r
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 % l& A7 M2 i- D* S; s2 h
举个例子：
+ g& S4 }) d: N7 n1 U WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN $ D1 b' |4 ~5 n: q
老师给的论文中，使用的方法为CNN/FCN
" X+ m9 [8 a! `% K% v6 n- L : a/ X* O: u+ Q$ @. j# q, C$ f# K( |
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 ) c4 F" `4 y: K, r- E
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
% d1 U# E/ o' A4 `2 \& X8 l “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
J# U! Q H5 \) F7 y3 L; a" B0 Z) F 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） ' _$ f) ^$ G, @6 P
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ . _. @5 C. {8 ~8 @
0 I6 L( w/ {; o. n$ O. K# B* z
最后，要进行我们的传统项目，也是大家最最最期待的环节：
4 J* H$ ~8 @& t/ ~. c8 C% Y 官方baseline公布0 l8 ?/ g ]' {: ^( z
使用Google Object Detection 完成水下目标检测
6 n3 i% F( J" Q+ l8 v4 Z1 |( S' C https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e # s9 Q B; ^! R; G3 B3 o( R
项目优雅介绍了baseline的使用全流程，欢迎大家试用 " y) r8 j- G$ e" `8 E
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
! X6 K; Y2 \" t& B: s& |' R 懒人版声学 Baseline
/ S* W* b8 q4 z2 |$ o, F" P" J+ h7 c- v https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
; z% V- v& S2 S9 l% u1 H" G 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 ) e2 A, C3 u4 P# U. O
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 ; B* ^4 V0 O5 o2 t" L. e( Z# E/ v
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 5 m& A8 t* V7 F3 n _9 L$ U
/ I4 [7 J: N# b. s8 R 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
P# s- c4 u( o# l9 Z" j# x 你不算我不算，声呐图像怎么办？ 0 W" M3 Z$ w4 v+ ?
你参赛我参赛，海底世界任我探！ % ~& @4 v0 W4 c* {; u/ E2 ~6 ^
期待在排行榜上看到各位的大名。以上。 9 u/ w4 P" P' {2 t, v! ]; y* ^
相关资料： 0 _# \1 q" h* W/ `6 E( v
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. * h! x( w) N* G4 ?
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
0 G, i% Z( ?' G7 s+ S( P z
+ @; _ r7 E: l* r# {. g3 S& \
$ L# g: ?4 G' F/ I6 e& k
, w& ?3 x9 L! F7 ]! |
7 P+ @# T: z Q7 R# ]( k. | | 
