|
; E3 x; T4 a, ~* v hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com0 o6 l( Y0 d& t' _. Y- G
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
. L% A$ ?0 J0 s5 a( C. v3 l) e 好嘛，举手之劳。 2 t0 H2 {' O+ H! c- ~
) C/ V0 [$ R, i/ U3 O" C) R 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 ; r) X$ ^& [6 f6 S$ \8 l
" r7 j) P" a, P E5 x 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” ; i) @. V( g$ Y7 @, w7 u
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
* _+ C; F4 P" T6 ^ 先看这两张图
9 a2 N4 w$ @& Z: ~6 r* q8 U , p! D: f7 }2 C' H; l- u {
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
: F6 S) v( R2 m, [! m/ T% [! K5 @/ d
- j7 f# h! e7 p% u" ]1 L! V 第二张是一张声呐图像，显示的是海底的一辆自行车。 ! [, L# Q8 p( g! H5 d) m
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
- j+ b& S: Q* \# Y4 P 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 % T) d- j- ~; G5 F( g2 V; o0 u
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 % Q6 L# R# a7 }9 T
8 x$ x. i% u. b. }
你看这就是辆小汽车 " J) n" ?3 z t0 T6 P2 ]
. S5 Q: o# g, ~; y
这就是人工堤坝和沙坡 : ?6 A, K+ ^* ~! R+ F
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 - t* t+ l3 t% B. G5 [8 @9 [ v
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 , u5 a( s4 j( }, g, t5 G7 q* x$ A
/ {) {2 E0 J* w9 e8 h+ q8 _2 C 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） 1 s2 q1 A4 F8 A1 c
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
. O/ m+ s( @6 h" g7 g1 P
0 _) k$ P+ b+ a* r' [6 s 大致就是这么个意思，你品，你细品。
\9 }+ F9 O2 D( y8 ? 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 9 j( d, N, z1 F
2020“水下目标检测算法赛”
) P* R) F% T, y4 p 水下目标检测算法赛（声学图像赛项） / 讨论区 # _8 ~" p4 t: w9 X- j
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
) F) z% l: w y 8 X# L4 L8 p8 O* v( }$ B% v+ o
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
1 ~, F" v- q- T% X' F5 ?! X; K 讲完图像之后，我们再来讲讲题该怎么做
( ]5 E, l# z$ u9 ^ P; S 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 7 W! \( O1 Z; n' j& |- d5 E+ ]
举个例子： 5 ~- `- {0 ^( g1 \. L+ T' s
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
5 n3 A' B. h T$ g- I 老师给的论文中，使用的方法为CNN/FCN $ r$ ~5 D4 c% S# K# D- D5 R
2 A, d$ J7 c+ y0 i$ F& G
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
: E* {: g) G& m- R' i 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
% { M# j; n. \- U$ Y1 m3 K “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
" h- e+ A, S2 d: Q 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） ; }# \ @4 g; p; h( m! c
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
$ x/ _9 X9 q! M1 S" Q4 M0 U
5 Z: ^* Y0 G' _+ ?4 A+ F 最后，要进行我们的传统项目，也是大家最最最期待的环节： 6 n; U4 y4 e6 \; [
官方baseline公布
0 p3 x; s: g# A# U9 V' S" Y7 E 使用Google Object Detection 完成水下目标检测 : }3 m2 D- o% @7 d2 A3 l0 S
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
/ ]8 C4 u, a% [; X0 w 项目优雅介绍了baseline的使用全流程，欢迎大家试用
, m$ R) S( a8 N4 L) F 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
% g0 ?: n5 X. Y 懒人版声学 Baseline 6 \& F" E6 z3 i9 j: ~' {7 N
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 ?; x4 R! q V
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
% x3 _2 X, W9 n' R2 \4 K 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
% d6 }# Z \7 ~! w 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 $ ]7 K0 ^% |9 f2 p6 v, C
" d" `- ]+ I6 j! o 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 6 s, J. {% E3 N- X; E8 i
你不算我不算，声呐图像怎么办？ 0 K7 q$ N4 r7 w( C3 ~
你参赛我参赛，海底世界任我探！
4 ?1 t2 E7 e% j0 k0 ]6 g/ W 期待在排行榜上看到各位的大名。以上。 0 A( e+ m8 g' C" V; s& O
相关资料：
* ^/ ~7 z H$ a. S 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. " _8 ~3 e$ c* K5 k
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
1 I2 T2 k) N V2 `& L, J+ T5 \/ i3 N
! u5 |( n/ Y& }" Y+ [2 o
! q ]2 ^/ `8 p" S( a W9 Q6 A; k' D: n) a4 [
| 
