八、各种数据集的格式转换、可视化与编辑（舰船检测数据集为例） - 海洋测绘数据格式转化

我们经常会用到一些开源数据集或第三方标注的数据，需要根据实际需求对其进行格式转换（如VOC格式转化为DOTA格式，或DOTA格式转化为ESRI Shapefile格式等）和可视化操作，以便进行标注风格和标注质量检查以及进一步的更新修改。

5 f- v! e% P J' J# z

新发布的GeoLabel1.2.9版本（2021年11月14日发布），新增了各种标注格式的转换功能，该功能结合“导入”功能使用，可实现各种格式样本的统一处理。

1 总体说明

9 H, q) \1 Y5 S; t3 i: U

在界面中完成转换参数设置，即可开始自动化转换。当前提供三种转换：

1） 矢量到栅格的转换

, q9 M4 K: ]# _: L0 e1 k. e

2） 矢量到文本（xml、txt）的转换

# N. w$ B( m9 l9 D5 H! y7 x7 y5 a

3） 文本（xml、txt）到矢量的转换

$ x$ @* l4 l' w6 s* R/ f8 p

各种数据标注在转换过程中没有精度损失，各种格式完全等价。

; X/ d* c1 c8 ?" w* s, Z

新增功能在软件中的位置

& X- C3 Q" o @/ C* g* M z

格式转换配置界面

( ^. h5 R# y. [7 [+ |

$ e; f, v' Q$ Q" f

2 当前支持的转换类型

% p' q E1 B1 ?+ X: ?* V

1）Shapefile转栅格

Shapefile转栅格是GeoLabel分割、变化检测、目标检测流程均提供的功能，但如果Shapefile格式的样本不是基于GeoLabel制作完成的或者工程文件已不存在，就需要用本功能完成相应的转换操作。

2）Shapefile转文本

当前已集成Shapefile转VOC、Shapefile转glVOC和Shapefile转DOTA三种转换类型。其中VOC和glVOC为xml格式，DOTA为txt格式。

# I0 P3 N# c; I8 `/ Y0 Z% l6 _

3）文本转shapefile

当前已集成VOC转shpefile、glVOC转shapefile和DOTA转shapefile三种转换类型。

: d9 ?7 E) N4 X

3 与导入功能的配合使用

3.1 原始标注为Shapefile格式

如果我们是将空的样本分发给不同的人进行众包标注，那整体处理流程可以描述为：

1）空样本生成

在GeoLabel中通过选点等操作完成空样本的生成，并分成多份。

& ]0 H- o. i) t$ j" J3 J3 e

2）分头标注

每个标注人员领取相应的空样本进行标注，标注人员可以使用任何工具进行标注，如ArcGIS。当然，希望标注人员也使用GeoLabel进行标注，只需在“工程-导入”菜单中导入领取到的样本，即可使用GeoLabel提供的便捷标注功能进行快速标注。

/ _4 c: S; D! I" Q; C

3）检查和修改

" G4 Q F2 S8 J

当标注人员完成相应标注任务并提交后，汇总人员可以在GeoLabel中通过“工程-导入”菜单导入标注完成的样本，快速逐个查看样本标注质量，在此可以对标注质量进行评价，也可直接进行修改。

* q5 I( x3 L- h: @& _

4）格式转换

当检查确认所有样本均满足要求后，即可通过相应的格式转换功能完成相应格式的样本生成，包括；转换为VOC格式、转换为glVOC格式（支持旋转框）、DOTA格式、栅格格式等。

5 j" s2 g( J& d: p

3.2 原始标注为文本（txt、xml）格式

如果我们拿到的标注文件格式为文本格式，主要有txt、xml、json等（json当前还没提供支持，可根据需求添加），目标检测类的数据集基本上是这类格式。这类格式的问题主要是没有通用的工具能把这种格式的样本方便地可视化出来，更不用说编辑了。

对于这种情形，典型处理流程如下：

3 B1 ?; s' B) `0 D

1）文本转矢量

GeoLabel采用Shapefile矢量格式数据作为中间格式，基于矢量格式进行可视化和修改，故首先将文本格式转换为矢量格式。

2）可视化和检查修改

6 r; q+ t# ?6 U* T8 E

通过“工程-导入”功能导入矢量格式样本进行可视化检查，对不符合当前样本要求的可以进行修改更新。

% B, M, y) p$ {

3）矢量转文本

5 C: N1 p) d! C z# }

由于最终需要的还是文本格式的样本，故需要将矢量格式转回文本格式。前面已经说过，GeoLabel中所有格式转换是等价的，即从文本格式转换为矢量格式再到矢量格式转换为文本格式，主体信息是没有变化的，特别是标注位置是没有产生任何偏移的。

4 舰船检测数据集示例

0 m8 N# i5 @# U' N; [

以SSDD舰船检测数据集为例，SSDD数据集包括两个文件夹，一个存放jpg格式的图像块，一个存放xml格式的标注，如下图所示：

- F1 o4 O8 g! T1 o. R5 n

SSDD数据集原始样式

% b0 X- S; ~% C, q

4.1 VOC格式转换为矢量格式并可视化

/ B6 o. n0 T0 y+ K. [

SSDD数据集可视化

/ u1 S# {4 d; I! v N; ]! M% \

4.2 矢量转VOC

( Z! }) t: V) D8 O

转换后的格式与原始xml格式的基本信息完全相同，去除了一些非关键信息（如果需要，可以修改并保留）。

原始格式<annotation verified="no"> $ t4 i7 w6 w* Y* {: E <filename>000006_voc</filename> <size> ) _9 s* [; c3 Y% i) I7 t+ y# t* M <width>501</width> <height>357</height> <depth>3</depth> </size> <object> . R/ ?) k$ d, t6 K$ s( K) ^6 \, z <id>ship</id> <name>ship</name> <bndbox> * M" K( E( {( n% D# e6 y <xmin>101</xmin> <ymin>136</ymin> <xmax>181</xmax> <ymax>185</ymax> </bndbox> </object> 4 y0 M9 e+ G: s8 h" _ <object> 6 M2 ~$ O3 l: k$ Q+ H# y <id>ship</id> <name>ship</name> 1 i/ A- N a% j9 ?& v3 z8 b: D6 g <bndbox> <xmin>343</xmin> , c6 W0 d2 l! ^1 w4 [! P0 f W5 V3 ~ <ymin>153</ymin> ! @* O- P6 V4 g1 d: I+ f: V <xmax>396</xmax> <ymax>180</ymax> * @8 ~: t. j; P) e9 B# j; y6 }9 f2 ^0 V </bndbox> 2 j! n, Q S/ a+ f5 ]# S </object> ; b6 g9 @; [: ^2 e <object> 5 P# g v# b& d, j; e2 g7 L) X* C# x <id>ship</id> ' r+ N4 [# L. i. |+ L <name>ship</name> <bndbox> <xmin>266</xmin> <ymin>242</ymin> ( v1 u( k' X) I2 ~$ m6 L% g1 z <xmax>279</xmax> <ymax>302</ymax> </bndbox> </object> + l7 X! H2 b, t/ @ </annotation>转换后的格式<annotation verified="no"> <filename>000001_voc</filename> & T# f3 b2 r3 i" w <size> ) z) |( j ?3 g5 ]0 j9 M <width>416</width> <height>323</height> 2 D/ e" _: _% R8 P7 e9 R <depth>3</depth> $ U4 y4 ?8 W6 b5 O </size> 8 Z3 Z2 C7 q1 S7 F3 g/ Q, E& K2 I6 z <object> <id>ship</id> y* O' q3 n1 f <name>ship</name> - \/ N3 \6 {+ n/ w <bndbox> ' E8 s Y4 J3 D9 ^; @ <xmin>208</xmin> / K4 d( u3 N; L9 ]' i0 M S1 @ <ymin>50</ymin> <xmax>273</xmax> <ymax>151</ymax> % c z& Q* P6 r9 g </bndbox> $ t! `: k9 ?# V: L' r( ]; N </object> $ k+ y# y3 D6 u* H% ]$ ]3 ~) b5 m </annotation> 3 k8 B+ x! ^: Z+ t9 l, N1 r

4.3 转换为其他格式

除了转换回原始格式，还可以shapefile格式为中间格式，转换为其他的格式，包括：

转换为glvoc格式<annotation verified="no"> <filename>000006_glvoc</filename> 5 _3 l) d3 o u! J: ~1 y Y1 P <size> <width>501</width> - _0 I7 t/ W: A, J0 S2 a) `6 n <height>357</height> ! S# Y6 s0 A$ U$ R7 ] b! i* l <depth>3</depth> + u1 a$ }3 [ L; F </size> 0 C8 S1 |& y, U) [, b1 T <object> <id>ship</id> * y* ~" X3 e+ D# c <name>ship</name> <bndbox point_number="4"> <point>101,136</point> <point>181,136</point> 3 O2 D( Q9 T1 z1 e6 j. K <point>181,185</point> & k4 s S& z5 Q1 H% s <point>101,185</point> </bndbox> </object> 5 S1 X7 L2 U0 S4 O7 @ <object> <id>ship</id> * w U) t$ m. ]" ^1 H" c$ L9 U$ ]) Z6 m <name>ship</name> <bndbox point_number="4"> <point>343,153</point> ! [" }+ A2 m9 L <point>396,153</point> 6 q$ L' ~# X" K& T; j; b7 r8 o. [ ` <point>396,180</point> <point>343,180</point> </bndbox> </object> <object> <id>ship</id> <name>ship</name> <bndbox point_number="4"> <point>266,242</point> 7 E8 f! P# `: r$ [' [8 ^8 ` <point>279,242</point> <point>279,302</point> <point>266,302</point> * ~& W/ A( C' ?5 F </bndbox> # U. n; H- c [2 y9 D' A) q </object> </annotation>转换为dota格式imagesource:unknown $ m( n( P+ { \- a% O& L/ L; R gsd:1 101 136 181 136 181 185 101 185 ship 0 ship - Y' F0 M2 z& X9 g 343 153 396 153 396 180 343 180 ship 0 ship : z. D* y* E P# T9 d/ u4 B0 K 266 242 279 242 279 302 266 302 ship 0 ship转换为栅格格式

3 [9 T& d! a* ?# o& n

舰船目标栅格化

3 ?0 h: P" L3 \

! c6 O# F' D4 T

5 1.2.9版本更新的其他主要内容

1） 支持创建没有坐标参考的Shapefile矢量文件，匹配没有坐标参考的通用影像。与历史版本中对无坐标影像的支持进行整合，GeoLabel已完整具备通用图像（不仅是遥感影像）的标注功能。

2） 对批量样本生成功能中添加“基于没有坐标参考的影像和标注的样本批量生成”。

/ K& i/ N9 G) F1 m' E

3） GeoLabel1.2.8版本生成的voc、glvoc、dota格式有半个像素的误差，已修复。

6 其他

关注可获得软件下载地址、全套视频教程和最新的软件更新推送。

% [' Q% h: G/ B' [- r : |$ }# ~, [) ?# U6 b