|
" H9 X5 S6 N, t2 B8 E$ X# g/ e, ~
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
' L& |2 q5 E w; Q6 i9 L! n5 O 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
: h$ g0 z) b+ A: ^3 q" i 好嘛，举手之劳。 |7 F9 D# D8 M& C5 @
) u/ p: E- u/ p$ G4 p5 [7 K 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 + r" P! a0 r) o# c5 e: ^9 k& R
" h* p" c. ]" s& U9 z. L 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 2 I. y' T# m4 d& Q. ]. Y' T9 J: e
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 " \8 T. [7 U, F9 I* a- a
先看这两张图
9 F2 I! _# A' C5 ]6 Z# ?7 q+ y * a: S: Z3 g. X4 x0 p1 n: p4 G; \. U
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） & q1 \+ U2 D7 M! O! S. u* {
7 g9 ^% A" {4 J5 p5 x0 D& ~ 第二张是一张声呐图像，显示的是海底的一辆自行车。 * E* P+ E7 a; R/ q1 L6 U
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 7 d& o T) y) X' H8 f6 v
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
& W9 o! O$ _& }3 c3 \0 b" O! w2 ^3 h+ H" t 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 ! |5 U3 q! ~! U3 _; L) K- V7 b
2 ]; R3 ~# u: X& m1 ~$ A( `
你看这就是辆小汽车
% \6 k6 D! A( ?) p% P9 G 0 |' M) a3 \$ T% y# N9 K
这就是人工堤坝和沙坡 " i7 [! g4 I0 |( C& Y
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 ' \0 P# I3 Z J
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 0 f0 T5 x6 E5 w& P. d7 i+ V
" V9 x0 j" P& F0 @, {( W2 P 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
9 S! V9 u- n8 a ? 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
6 b% x% @4 w& c- @ 9 ^- T( z' J D8 [3 @) e+ T* ]
大致就是这么个意思，你品，你细品。 7 ` d5 ?2 N1 {$ ^3 c" ?$ Y
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 2 K m @2 P* e& i' |
2020“水下目标检测算法赛”
7 w0 K$ [ `7 t 水下目标检测算法赛（声学图像赛项） / 讨论区
7 }( ]9 D" P* t6 D+ D8 Y4 e( k# r 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
0 `5 {* O% l# W: Z, j- w
. I0 G6 E. T1 [ 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
9 E9 ^" Z8 b3 |. a# X3 } 讲完图像之后，我们再来讲讲题该怎么做
% [ C3 I& `9 c( A0 m 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
p7 D m. Y8 R* r9 A' q 举个例子： ! \0 [6 f4 ]1 Z4 w$ n2 s0 i" @4 I
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
$ y9 ]. y9 B; o7 p; I" ] 老师给的论文中，使用的方法为CNN/FCN
6 p' L \3 n8 W6 M7 J9 B ' r8 d% s! f9 T6 D0 |
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 - t8 I9 `9 R% _ k
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： 7 V0 t+ d# Q6 s+ k- X. Q
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
u6 D2 x" t9 `- m6 w3 G W 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
7 s! Q F/ Q6 b+ i: e 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ ) A( g' `3 N& B( O/ U6 a$ ]
4 ~+ ] \. G+ K1 v- s 最后，要进行我们的传统项目，也是大家最最最期待的环节： 6 V8 J$ W; G+ p! e5 m, I' h
官方baseline公布+ C6 j4 a; Q9 _; O
使用Google Object Detection 完成水下目标检测
* K( e/ `, M6 T# y' x% x https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
6 t: n" g# L% n' V1 D% p 项目优雅介绍了baseline的使用全流程，欢迎大家试用
L# A f+ C, Z1 y$ B0 P9 z% E 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 , h) o. U8 H& y: P2 ^( _
懒人版声学 Baseline
4 m& w$ \( P: d https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
$ N! F& x: D8 ]6 n& Q) c/ K/ G- ] 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
' s: H2 {# Z" o% \" a7 d 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 ) n* H0 o. R% Q+ S& l
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
; l, b! C6 ]9 c$ G; ]3 y : ^7 w' \! O% H7 a/ n& o( }
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 ) G, I4 P; ?% T b
你不算我不算，声呐图像怎么办？
8 j/ r# W2 x2 b# ?; { 你参赛我参赛，海底世界任我探！
/ k1 j9 e3 }" d+ @# ^7 p# Z- n. @ 期待在排行榜上看到各位的大名。以上。 5 r) q- z o( }$ C0 J ^
相关资料：
: W' A( m# F2 k5 x8 v4 \% j, f% G. r8 I 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
1 p/ D& ~/ a- J8 j# O' C 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 ) F$ }1 P1 d6 W4 x
, X' o2 E" {: u, E6 T
. U7 a& v) i) r. k
6 `3 S- _* i- ]; ]
8 [1 @$ ]4 X, d: n) X | 
