|
8 g5 Y9 G/ z: M [ hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com" m; [" A% \0 p3 y+ i% L
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 ' ] y! z6 @8 C; v8 v8 m1 Y
好嘛，举手之劳。
8 I s' u4 w3 \4 \5 u9 H/ ^
' I# r, v6 W! j2 L8 b 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
6 e) {' |3 ~+ t. y+ B/ J: ^
2 ?/ E9 ^3 l% y$ u/ C7 s2 H 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” / E b& {; U" l' q# O% E/ x
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
1 B, Y4 z, B& s6 t2 m8 \# W9 U 先看这两张图 $ ]( t" n0 N0 N, Q% s
4 q: N* X& Y5 b
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） : p& l+ x8 {- k9 m. x. A
) B2 i, j z/ B5 _$ F f
第二张是一张声呐图像，显示的是海底的一辆自行车。
! m3 o" F5 M9 X% y Q& d$ r( Q Y9 G! i 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 + Y. [! \' Z$ Z, y# m# i) {
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
" T ~9 l. b: l 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 0 _- T5 n0 b7 ?
/ X! U* X3 ] w 你看这就是辆小汽车
" a8 K* X8 O! Y, |( p& m$ ?$ \
( k$ ^6 G. v8 P$ O- m! i' c 这就是人工堤坝和沙坡
$ ], x. ^' @; N) v 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 ( ^! x" [4 ?7 _
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 5 O) |. `8 N( ?2 q- E" G
6 y; b X1 n! M& e% m
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） : ?4 z$ B0 o7 ~, B4 e$ K2 c9 c) n
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
^) ?$ n7 H+ a' q2 j% A: h
& c& L% \( G$ G% _ 大致就是这么个意思，你品，你细品。 & B7 I) C. a( S: b- G) s6 _+ u( R
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
5 k$ h8 |/ y: h) | 2020“水下目标检测算法赛”
6 P+ b5 w7 G# ^0 l 水下目标检测算法赛（声学图像赛项） / 讨论区
# p' y3 d4 e0 l, z. ?0 `# M 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ & P8 j0 s( t# ^8 G6 a* Y
: {3 r! ] b, c; }# z
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 + P9 a& B, a: h- V
讲完图像之后，我们再来讲讲题该怎么做
5 ]8 Y+ U' m" C9 {9 v 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
! I# M0 e( ^0 j+ C 举个例子： ; o+ u( `8 _ H/ E" Q' O4 ]
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN + l/ \# n5 n. J, |- p2 L
老师给的论文中，使用的方法为CNN/FCN
% m" \8 W8 _/ a) [7 n : o$ r. x0 | z7 ~ s: s! I5 G
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
* R) a7 U! N" @& n* [ 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
7 R7 `9 m7 {5 _9 Q1 \; A% V- U “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
$ o: |4 F1 a5 u: S" Q! o 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） $ S9 q' Q* I8 W5 b, h, n) D6 [2 Z
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ . @/ A! n0 k- K: _2 s
9 q6 I8 v# \9 t0 h 最后，要进行我们的传统项目，也是大家最最最期待的环节：
2 h0 I8 ^ Y& L$ F 官方baseline公布8 i+ r; x! z- ~
使用Google Object Detection 完成水下目标检测 & s3 l, x3 t. U# C6 V' k8 S
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e A4 Y4 `/ m1 S4 @4 b; {5 S# S
项目优雅介绍了baseline的使用全流程，欢迎大家试用
5 M4 q* P" ~7 D' ^! R 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 / q" k7 p2 N3 p" M3 ^
懒人版声学 Baseline
- w! N! W3 }7 ^! `) k; z https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 & E9 N( Z3 E2 v1 N! a% f- V
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 ; {. c3 ]" Z6 T5 f" V
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
- z$ F ~/ E0 O 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
; D% V$ y) |0 ?$ q0 `. g1 S
8 e8 b) b+ N' x" m* B 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 / f O+ C( V3 P4 [0 @1 N( D
你不算我不算，声呐图像怎么办？ ( ~ y- Q8 T/ O$ H
你参赛我参赛，海底世界任我探！ 0 ?: Q3 _1 ~$ h& [! B1 c1 x
期待在排行榜上看到各位的大名。以上。
3 z" t2 @1 d1 a4 t. M% w. }% o 相关资料： / h) p' ]; e1 {! o; x
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. 6 S. G: `& ]! ]/ ~) n: M
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 4 H9 N- F3 Y- s( k
+ m% u6 R" j6 \" w. d1 z( [( a5 K1 T" d" A
' z3 e: d0 A" R8 P! @4 h; `- k! J0 T v' B5 E
| 
