|
1 d* P9 J8 o% A9 I
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com8 a% q0 G0 ]# [
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
& [- ^; c7 I; b0 I+ R3 P# M2 }& t5 A 好嘛，举手之劳。
" {' Z2 }! f9 A; a9 j8 H8 c5 g + m# ^$ B' J: p, _9 e4 M8 O- K' _
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
2 B) n" L, c- f2 C/ o; P! K' Y 0 w( t8 e, ^% {7 `
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
" ^3 A4 Q2 U6 g 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 % M# {9 w, x r/ H4 |" Q9 `4 P
先看这两张图 2 N. X6 u, d; o
5 v+ M, D9 N: s+ ]& U- k
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
- X# B% d8 k5 v T. g " Q2 S4 Z( _. [8 f1 d# N- t E
第二张是一张声呐图像，显示的是海底的一辆自行车。
% c9 M+ @# @: v/ q% d 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 + y+ @' E- S+ M& g- w6 N9 X6 {0 C
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 5 c7 U0 U; o% j2 t
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 . O( D% ^1 m3 M
' ]% {: Q& n+ O. z2 x
你看这就是辆小汽车
% t: r. F1 H! @ 0 X+ u# S) |& l8 S) @/ b6 E% |
这就是人工堤坝和沙坡
' K3 j' g( T3 S( E 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
8 z( A4 Q+ t( a* z0 E5 P; E 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
6 b2 l+ J8 F% b0 w
1 a! O, y* K, ~ 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） " r* w- m$ t/ k+ h
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
4 ^5 Y; p4 [' M+ B5 H$ z: L/ g
( \( k7 O W4 G" Q- }2 A 大致就是这么个意思，你品，你细品。 $ E3 r* \" \3 _4 h3 x$ [! w. i
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 3 W k" a; D: ?9 i& d6 ^
2020“水下目标检测算法赛”
7 x( ?7 n- a$ R. i 水下目标检测算法赛（声学图像赛项） / 讨论区 1 B0 b. l5 s2 }: p/ ^
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ . V& `; n$ M% s/ N* I! n2 W
* F' C) H% u ^: V1 ^/ { 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
. ~/ X& V7 @) N; Z/ B- A; o 讲完图像之后，我们再来讲讲题该怎么做
, c5 U1 j7 }# C: Y D" g5 s 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
: d: Q5 m. X: B9 J' ? 举个例子： + z+ R9 s' N$ E4 q, U
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
' v' Q, L0 Y+ J! Y* O5 U 老师给的论文中，使用的方法为CNN/FCN 0 G' |1 D: r+ D8 l5 _; R2 @
/ U Q9 J) P3 O3 {/ n 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
0 Z' g: f" [* x 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
4 i4 n% ]4 x: u “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” 6 g8 x% D8 M# s& i( y3 s
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） ; g+ z' u1 L- `9 q) @. H
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
) a. a; E( X: M( k; R5 P % q8 V1 I3 W6 ~! u g! s
最后，要进行我们的传统项目，也是大家最最最期待的环节： ) _1 I( \* M: J0 r M
官方baseline公布
; r5 T: L' { d$ M 使用Google Object Detection 完成水下目标检测
( W5 p3 r8 z$ Z, J8 }9 K4 D https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
. N1 R2 e6 t: F1 ?6 ~+ r2 E& ]+ D9 u 项目优雅介绍了baseline的使用全流程，欢迎大家试用 , h% Q$ ?7 y B# b; P7 I
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 9 H8 R" {# G2 W: Y l: v
懒人版声学 Baseline 7 ?3 ^* A" D# K2 C" X7 ~
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
$ R( ]+ N) k6 v4 d0 d2 d! { 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
/ T! @; l1 U L2 } 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
& d# g! t7 K0 a, g& k8 T0 u 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
0 D. ]7 s1 O# p3 N% {5 k7 d
; m* r4 z5 I1 d# p. W. c0 n 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
' }# b" v+ Y- M, ~ 你不算我不算，声呐图像怎么办？ 8 g' i R- g6 I* D! K! L
你参赛我参赛，海底世界任我探！ ( I# d; d4 Q& N7 b
期待在排行榜上看到各位的大名。以上。 0 r- z, h" c( z: d1 H j) U
相关资料：
2 `; H4 X5 r: i+ l 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. ! j+ T) M& [' d. y
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 & r1 \5 h9 M9 Y+ j
1 q+ i* }8 L+ X& ?7 m6 T$ O, N0 ~0 i7 C
# L+ g9 }2 Z1 j5 c/ |& A% e! `( \$ @! U/ J' v; {5 E; m6 Z x
| 
