|
# e3 f# c" }9 ^; ~
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com6 A0 ^: `: F( I1 J2 I
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
* g7 I# l2 S" W. x. S& i& p5 G" t 好嘛，举手之劳。
& i7 G2 \! E5 j, q( L + _% r2 t& @' P
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
! ~& I$ T; \( F% R$ s. B) j7 h # Q0 U# M# I7 P! j0 ]+ v( y' C9 h
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 2 E' ^0 C$ W! R8 ^- O' \1 k6 Q( G
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
5 b1 B( T5 E7 @0 J4 y. o a 先看这两张图
. y$ n- Q* E/ d7 U* I : N, W! m3 ^3 E% K
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
' ?5 Z n# {0 J7 w w. E' w( K* b9 p
第二张是一张声呐图像，显示的是海底的一辆自行车。
7 V) J# }" L- p+ v5 Y/ \ 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 ) ]$ \" i. j& O. t( m0 N7 ?
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
: {: ?7 I4 ?4 ` 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 3 Y/ ~9 H# ~ g7 |
4 {! A U! G( N- ~" k# ?. R8 @
你看这就是辆小汽车 8 P& X! t' P( A5 ^* E7 P% f) \
0 K+ I$ d m) ]1 \0 e0 ~2 x 这就是人工堤坝和沙坡
- V" S) O: W! _9 G6 {. x3 E" w 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 4 ?& \2 b4 n2 Q9 p
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 * C3 s) M) I' \' o4 R6 x
' m9 S/ F# @7 b. u2 v, e9 \
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
1 r; ]: x s3 Z, G) b 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 & p* e1 ~: a" ?+ O! p& X, G
( f5 l. P8 ^( s6 C 大致就是这么个意思，你品，你细品。 5 a6 ]1 n& n& C
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
* `, a2 T/ C4 X1 ^- Q" i; s 2020“水下目标检测算法赛” . F$ \4 m7 E. z# b) _
水下目标检测算法赛（声学图像赛项） / 讨论区
6 }/ e, ^: h! ~& ?9 p0 H4 n* Z# s 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
/ k/ u9 C8 K& J9 s; l
/ d2 \* @) p R- C) e( } 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 # r8 y Z b+ c$ \6 D/ `3 z y
讲完图像之后，我们再来讲讲题该怎么做
, `8 m/ Y) I% R- x5 s: G: N 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
. a& E) d' _% e! t: k# t4 _: | 举个例子：
8 K, V" U0 `/ T* H. p' q6 Q3 ` WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
( p8 F: q; K5 T) b$ j 老师给的论文中，使用的方法为CNN/FCN
0 i5 Y0 {( V9 j 9 @" m- w1 d t" O9 C) s
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
$ ?" l1 \# k5 I4 w4 S 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
2 Y" j' ~% w0 @* k6 u “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
- R) ^% Z. s: J) { 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
) h! i# F! d, y+ u 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
' n3 d* \+ U( f" X& P! A& b) ]
( O- @8 ?* M: _: l' G z$ t 最后，要进行我们的传统项目，也是大家最最最期待的环节：
c) c: N% i& b# j* y 官方baseline公布
4 Y. @3 M( s O' }$ k( R 使用Google Object Detection 完成水下目标检测 . m' ?0 h% g: j# G! |" |: m
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
( G. {1 S9 m5 D+ P 项目优雅介绍了baseline的使用全流程，欢迎大家试用
% L4 U( y9 S: W# ] 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
( Y0 W7 @6 | K4 | 懒人版声学 Baseline
& b7 u) q' J; c- x; @% H: u! |. o https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
$ X7 f/ D" {2 l5 u2 ]) g 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
; L; c+ P9 Q+ B" c& g 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
5 E, H( I! J; ?. V9 b- D 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
1 V. n( S! Q% o) V* ^! D % X$ d8 d% F+ e, J# J" [
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
( K. H/ G7 k; o" e! Z 你不算我不算，声呐图像怎么办？
7 G( B8 R [: n& a' p4 k 你参赛我参赛，海底世界任我探！
% @& H9 ?- V q( H- j; Y 期待在排行榜上看到各位的大名。以上。
6 T+ |- O' I! @; W) k: p 相关资料：
; D0 ~! B9 s j' }6 a6 f 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
3 h: Q! B/ Y% r: b& D1 J/ u 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
! E. h( E B/ x% @) f/ E7 l: ?0 {/ l5 ]2 v! u
$ k1 X `, n. b3 G) w/ q3 N
2 g* t [$ W5 J- q: C4 \- p
) [ v* K. @1 T8 [& | | 
