|
/ F* S( S! U& I. k' L
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
3 {. h" G5 {1 Z& z6 c8 y- `' c# j9 E 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 / d5 q3 ~: C2 |8 ?+ Y% V# J
好嘛，举手之劳。
+ ?, h/ E1 c% v) M
$ r& S$ W1 Z( L3 V1 S& ^% D% c 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 7 [( o& G. @- M" U
/ ` G: }/ }% X# T d- \$ x" D5 ~1 v 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
$ k- z* ]4 I- S6 Y+ L2 _5 ~ 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
' D9 ? p$ D4 t2 Y# ` 先看这两张图 ! O; q/ E" Z. _
7 a" a: r9 F: D+ Y: Q+ C
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） * g7 f l2 m* _
) L, `& ?* d% v7 s 第二张是一张声呐图像，显示的是海底的一辆自行车。
J% v& x' g. q) V6 S 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
5 ^) G4 y1 o8 n+ l3 ~6 m 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
$ J5 _2 ?! |$ } }% e) q 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
( @! p1 k) t) p5 v0 b ' k( E c f, u6 ?/ p$ |
你看这就是辆小汽车
: m. L. g& h* v) i7 T ) w. a9 M1 j" W" s2 [" }. Y
这就是人工堤坝和沙坡
! E% P& O& I& c8 b 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 ; ^. O* n& ~* q
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
: N3 r; T$ p1 ^, D, _! C
5 Z; h9 s3 @5 A 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） 4 Q1 v( o' @) T; l
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
9 ~% |* _; D- f2 Q! s! p - {. }2 W; ?5 C* B8 I
大致就是这么个意思，你品，你细品。 ' S4 f* b, ?( E& _# \. c' W
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 / x5 `9 E9 N' g, o
2020“水下目标检测算法赛”
" `* D: b: {/ l4 I% `% R 水下目标检测算法赛（声学图像赛项） / 讨论区
" D7 i: Y3 r4 S, Y& T 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
& h7 p& T( Z4 Y5 x' J( M ; F0 w _ J. I
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 7 h( K) _2 k; G; x- q H2 L' e
讲完图像之后，我们再来讲讲题该怎么做
5 x1 ~% j9 Q8 B; Q z9 a" Q* i 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 & y" H, D+ Q9 L" q. I
举个例子： " T* o8 S4 [; o$ S6 g
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 3 a7 `( z7 ?3 M
老师给的论文中，使用的方法为CNN/FCN
- z: u( y" a2 O, g
$ X) X0 N5 f' f. ?' V 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 1 K P+ ]( |7 H+ k& \: s- @+ z0 F" n8 {
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
/ \5 _: M9 n2 S, ?0 ?8 X7 g/ {5 X! X “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
( h1 U& J: ~( @# ~- u 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） * b h5 O0 j3 j" _# Y8 y
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ * j0 A+ X3 b8 }: Y: f
* v- x1 z( c: z. @/ j: J8 V 最后，要进行我们的传统项目，也是大家最最最期待的环节： 4 j% T8 L6 W0 U6 A7 y
官方baseline公布) Q. p' \9 k. g
使用Google Object Detection 完成水下目标检测 # X i$ L' b; }) |% Q
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e 8 |) K9 v- g G4 D
项目优雅介绍了baseline的使用全流程，欢迎大家试用 3 z+ T6 h' s+ ~2 t2 D2 |
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
4 x9 \5 f; D9 ~: `- h 懒人版声学 Baseline
; T) J: U. S T7 K https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
% c2 L3 b0 m8 Z5 A8 M+ R7 | 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 - ~. I& t1 L, r, c
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 $ k& l( ]5 a3 M H8 T
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
' U" [5 P3 d6 D
& l9 p- l/ x6 m; `6 G: { 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 : I0 \. u- n8 ^) }: \* P/ g
你不算我不算，声呐图像怎么办？ ( a. t/ b( n$ p7 r. @
你参赛我参赛，海底世界任我探！ 5 |3 f8 c B3 }/ ?
期待在排行榜上看到各位的大名。以上。 ! @% h4 m0 O5 R/ k6 u4 {) v
相关资料： : z# p% B; k6 w- ^& w: n
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. & ^5 g: A) B P7 E. B
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
6 S# r6 ^3 D! Q3 s7 `: c6 t. p' ?, Q/ w) K4 P
5 b) a# x* N7 N3 }3 Y" b. S: L, O. s, m9 f
6 ^8 e5 ^7 n/ A' L6 x3 z& |
| 
