多传感器影像建模的海洋遥感数据管理应用 - 海洋遥感数据处理

那年那人 · 发表于海洋技术发展 2024-4-21 04:37:42

多传感器影像建模的海洋遥感数据管理应用摘　要：针对海洋遥感数据多源、异构特点显著、采用传统文件型或关系型数据库难以有效集成管理的问题，该文提出了面向海量多源影像数据集成管理的多传感器影像建模技术。在系统分析各类数据存储、组织结构的基础上，分别构建元数据模型和数据模型；数据模型由惟一标识ＩＤ、元数据信息、快视图、空间特征和影像数据实体构成，并由ＩＤ进行关联；提出了元数据的自动提取与匹配方法，实现了多源遥感影像数据元数据和快视图的自动提取，以及元数据与数据文件、空间特征和快视图的自动匹配，构成了海量多源遥感影像数据统一入库和集成管理的基础。该文提出的方法在我国海洋部门遥感影像数据管理系统中得到了成功应用，有助于提升现有海洋遥感影像数据集成管理和信息化的服务能力。

对地观测技术是国家重要的战略高新技术，是大范围快速获取海岛、海岸带以及海洋环境要素的有效技术手段。随着我国遥感事业的发展和海洋调查能力的提升，我国海洋调查专项、国家科技攻关、重大工程项目及专题调查积累了大量海洋遥感数据。作为国家基础性和战略性的空间信息资源，大量海洋遥感数据只有经过统一集成与有效管理才能充分发挥作用。尤其是２１世纪以来，对地观测技术突飞猛进，各类卫星传感器相继研制发射，遥感数据量大幅增长，使我国海洋遥感数据管理面临更大的挑战。

相比内陆遥感数据管理，海洋遥感数据时空分辨率自亚米级至数十公里级、自年调查频次至日调查频次，时空跨度更大；涉及卫星传感器类型更多，数据格式种类形式多样，多源、多态、异构等特点更为显著。加之数据因条块分割存在多次提交、内容多次修改等情况，加大了统一集

成管理的难度。因此，如何对海量、多源、结构复杂的海洋遥感影像数据进行统一集成与管理，是整合现有数据资源、“盘活” 现有数据存量的关键，也是海洋数据管理部门亟待解决的问题。海量影像数据的存储管理最早可以追溯到２０世纪９０年代。美国微软公司开发的ＭｉｃｒｏｓｏｆｔＴｅｒｒａＳｅｒｖｅｒ将１９８０年以来的覆盖地球２００００００ｋｍ２以上地区的影像数据发布在互联网。具有里程碑意义的ＧｏｏｇｌｅＥａｒｔｈ系统整合了各类高分辨率影像数据，向公众提供便捷、高效的地理信息服务。但是，ＴｅｒｒａＳｅｒｖｅｒ仅录入单波段影像数据并对其进行有损压缩，因此仅能用于浏览显示，并未实现对真正影像的入库管理。ＧｏｏｇｌｅＥａｒｔｈ采用Ｇｏｏｇｌｅ独有的ＢｉｇＴａｂｌｅ和搜索技术保证数据访问效率，但是并不适用于多源异构影像的存档管理。目前的多源影像管理大多局限在对元数据和矢量图层的管理，受数据入库和读取效率限制，这种传统文件型管理方式存在集成化程度低、共享能力差、冗余度大和安全性较差等问题，难以满足数据量日益增长、数据类型日趋多样化的海洋遥感影像集成管理需求。鉴于此，本文应用数据建模的思路，抽象并概括出一套适用于多源异构影像集成管理的统一数据模型；采用“元数据＋快视图＋空间特征→数据文件”的管理方式，实现海量数据的无缝管理。在具体实现上，构建元数据模型和数据模型，提出多传感器影像数据模型实体自动提取与匹配技术，实现了数据实体与元数据信息、空间特征和快视图的自动提取与匹配，并成功应用于我国海洋遥感影像集成管理。

１　多传感器遥感影像数据建模

１.１　建模原理

为实现多源异构遥感影像数据的统一管理，需要建立统一的数据模型。在逻辑结构上将遥感影像数据划分为描述性元数据信息和数据实体，在业务流程上将数据建模分为元数据建模和数据建模。

１.２　元数据建模

遥感影像通常格式特定、数据量大，而元数据是对影像获取信息、质量信息、空间特征等的概括抽取，通常为文本格式、数据量小，具有信息丰富、读取方便等优点。本文根据元数据描述对象的特点和数据管理要求，构建了海洋遥感影像元数据的统一模型。其中，数据要素级信息由元数据解析读取获得；数据集级信息可批量手工录入，便于按照专项、区块、调查单位及时间等对各专项数据进行管理；数据库级信息在数据入库时由系统自动扫描数据的存储路径、大小、状态、权限等生成。

１.３　数据建模

本文基于面向对象的思路方法，将多源异构的海洋遥感数据抽象表达为数据实体、元数据、空间特征和快视图等基本组成部分及其对应关系。建立数据模型由Ｅ-Ｒ图表示。由于目前存档的海洋遥感影像数据包含多种星源影像、航空影像和４Ｄ产品，且同源数据还包含不同级别、类型产品，因此，需要对每种产品类型数据分别构建数据模型，完成主数据标识确定、影像ＩＤ命名规则、数据对象和元数据识别规则等定义。影像数据建模支持面向多种数据源的各种影像目录模型的定义，具备对影像数据存储方式、

２　多传感器影像数据模型实体自动提取与匹配

２.１　技术路线

为将构建的数据模型应用于实践，本文提出多传感器影像数据模型实体的自动提取与匹配技术，解决了如下几个关键问题：①多源异构影像元数据自动识别与解析；②空间特征、快视图及影像覆盖范围矢量自动提取与生成；③数据ＩＤ命名规则制定及数据模型实体间自动匹配。

２.２　元数据自动提取与输出

根据构建的数据模型，本文建立了一套自动提取与输出元数据信息表的技术流程，核心是从多源异构的元数据中提取出与元数据模型对应的字段信息，消除数据冲突，并利用元数据中关于空间特征的描述自动生成影像数据矢量覆盖范围。具体如下：

１）元数据文件识别：依据建立的数据模型，对每类影像产品定义元数据文件格式。如ＡＬＯＳ影像产品定义“ＨＤＲ．ｔｘｔ”为元数据格式。

２）元数据格式解析及数据冲突消除：建立元数据提取配置文件，将多源元数据文件中的字段名称对应至提取配置模板中，消除元数据命名冲突和语义冲突。命名冲突指相同字段（如影像左上角纬度）在不同元数据中有不同名称（如ＩｍａｇｅＳｃｅｎｅＬｅｆｔＴｏｐＬａｔｉｔｕｄｅ、ＳＣＥＮＥ＿ＵＬ＿ＣＯＲＮＥＲ＿ＬＡＴ等）或同一字段（如ＰｒｏｄｕｃｔＴｙｐｅ）在不同元数据中表示不同意思（产品类型或产品处理级别）。语义冲突指不同元数据对同一字段在描述方式、内容上的不同造成的语义不一致性，如投影带号在不同元数据中表示

为ＺｏｎｅＮｕｍｂｅｒ和ＺｏｎｅＮｏ．两种形式。本文数据冲突消除方法的实质是通过元数据配置文件将多源元数据字段名称映射到元数据模型的全局名称，通过提取配置模板和输出模板两步实现。

３）元数据信息提取：将元数据文件内容全部读入内存，用程序分步定位的方法提取元数据字段信息。以ＡＬＯＳ影像元数据“ＵＴＭＺｏｎｅ＝＂５１Ｎ＂ ……”为例，提取投影带号信息需先定位至“ＵＴＭＺｏｎｅ”字段，查找“＝” 后、符号“＂” 之间的字符串，即为带号“５１Ｎ”。又如，ＸＭＬ格式的ＲＡＰＩＤＥＹＥ元数据文件中，提取成像时间需定位至以“＜ｅｏｐ：ａｃｑｕｉｓｉｔｉｏｎＤａｔｅ＞” 开始、“＜／ｅｏｐ：ａｃｑｕｉｓｉｔｉｏｎＤａｔｅ＞”结束中间的字符串，即为成像时间。元数据信息提取将原始元数据字段对应至提取配置模板字段，生成中间元数据文件。

４）元数据信息输出：定义元数据输出配置模板，将中间元数据文件字段对应至元数据模型中的字段。输出配置模板按卫星影像、航空影像、４Ｄ产品和动力卫星数据等设置四类。输出时还可对模板字段进行批量统一赋值。

５）矢量范围输出：由元数据提取影像四角坐标值，调用ＡｒｃＧＩＳ脚本语言函数ＣｒｅａｔｅＦｅａｔｕｒｅｓＦｒｏｍＴｅｘｔＦｉｌｅ＿ｓａｍｐｌｅｓ（），将四角坐标文本文件、分隔符、输出矢量文件和空间参考基准作为输入参数，生成带有空间参考信息的ＳｈａｐｅＦｉｌｅ格式的影像范围矢量。

２.３　基于犌犇犃犔的快视图自动提取

以往快视图作用仅定位于数据浏览不同，本文提出的数据模型要求将快视图匹配至影像空间特征，并录入关系型数据库实现集成管理。然而，影像产品数据集中提供的快视图通常不包含空间坐标信息，因历史原因各单位汇交数据中快视图或已丢失或因重命名已不满足数据模型识别要求，加之航空影像、４Ｄ产品通常不具备快视图，快视图自动提取面临较多问题。因此，针对多源异构影像，本文基于ＧＤＡＬ（ＧｅｏｓｐａｔｉａｌＤａｔａＡｂｓｔｒａｃｔｉｏｎＬｉｂｒａｒｙ）对快视图自动提取并匹配至空间特征。ＧＤＡＬ是Ｘ／ＭＩＴ许可协议下的开源地理栅格空间数据转换库，支持几乎所有常见的遥感图像文件格式的读取、格式转换和重采样等基本操作。本文选用开放源代码的ＧＤＡＬ库作为多源影像的访问引擎，为影像的访问和基本处理提供统一接口。提取后的快视图具有了和影像文件一致的空间坐标和数学基准。

２.４　数据模型实体自动匹配

本文在分析各类影像产品数据建模的基础上，提出基于规则的影像ＩＤ命名方法，通过指定影像惟一ＩＤ实现影像数据文件、快视图、元数据和矢量范围的自动匹配。具体如下：

１）针对特定影像类型，根据数据模型定位至元数据文件，确定元数据存放目录，将元数据上级文件夹记为ＰａｒｅｎｔＤｉｒｅｃｔｏｒｙ（１）。定位至元数据的好处在于：与元数据信息提取的过程相一致避免重复搜索；部分影像数据分波段存放（如中巴、ＴＭ等）或分块存放（如ＷｏｒｌｄＶｉｅｗ），定位至影像文件很难形成与影像数据包一对一的关系。元数据文件通常与影像文件在同一目录、名称一致，并且元数据中通常有影像文件名信息。

２）制定影像ＩＤ命名规则，标识惟一影像数据包。通常情况下，元数据文件名能够标识惟一影像数据包时，采用元数据文件夹名命名；若不行，则需要考虑数据文件名、或上级（ＰａｒｅｎｔＤｉｒｅｃｔｏｒｙ（１））至上几级文件夹名（ＰａｒｅｎｔＤｉｒｅｃｔｏｒｙ（Ｎ））的组合形式来命名影像ＩＤ。部分示例如表１所示。

３）以影像ＩＤ命名提取的快视图，并将影像ＩＤ

写入输出的元数据信息表和生成的覆盖范围矢量数据中。这样，就实现了以影像ＩＤ为主键、元数据与影像数据包、快视图和空间特征的相互匹配，为数据建库和入库管理奠定基础。

３　多传感器海洋遥感影像集成与管理根据数据模型和集成管理的要求，本文研发设计了多传感器影像自动加工工具（以下简称“工具”）和海洋遥感影像管理信息系统（以下简称“系统”）。考虑到数据安全和保密需要，工具设计为单机版，系统采用Ｃ／Ｓ架构。系统采用．ＮｅｔＦｒａｍｅＷｏｒｋ框架搭建平台，利用ＡｒｃＧＩＳＥｎｇｉｎｅ组件做专业性功能开发；服务器端部署Ｏｒａｃｌｅ１１ｇ数据库和ＡｒｃＳＤＥ空间数据引擎，服务器端与客户端通过内网连接。

工具研发基于多传感器遥感影像数据模型实体自动提取匹配技术，对不同影像元数据操作提供统一的配置交互界面。工具支持用户根据影像类型和建模要求配置元数据提取和输出模板，提供预定义的影像ＩＤ命名规则。模板与规则均以ＸＭＬ格式保存，支持用户自定义修改，扩展性强。工具能够从元数据和影像数据文件中批量生成元数据信息表、快视图和空间特征一一对应的标准数据集，并通过影像ＩＤ与原始数据包自动匹配，与后端管理系统有效衔接。依据本文构建的多源异构影像数据模型，系统按照“元数据表＋快视图＋空间特征→ 数据文件”的方式，将数据存储路径记录在二进制变长字段内，并将影像对应的元数据信息表、空间特征和快视图信息存放于关系型数据库表中，从而实现了海量数据的无缝管理。系统提供数据空间范围、快视图、数据包详情的查询浏览、分析统计等功能，并支持用户通过选择元数据记录、下载相应的遥感影像数据实体。

数据建模是整个系统的核心内容。系统将入库配置环节设计为功能模块，按照“元数据项管理—资料建模—数据建模—编目管理”的步骤，向导式指引用户完成数据建模和存储规划。其中，元数据项管理完成元数据项的定义；资料建模为元数据模型的定义；数据建模为每类资料构建数据模型；编目管理为数据入库设计相应的数据节点。系统入库需用户提供影像数据实体文件存储路径，以及影像加工工具生成的标准元数据表、快视图和矢量文件。入库过程中，系统首先根据数据模型校验是否能在指定路径下正确识别遥感影像原始数据包。校验完成后，系统根据主标识字段（即影像ＩＤ），自动匹配影像数据包、元数据表、快视图和矢量范围，并根据元数据模型判定输入元数据表信息是否正确、齐全。在所有判定条件都满足后，系统扫描并存储每条数据文件的存储路径，并将元数据表、快视图和矢量范围入库。系统支持用户浏览查询、编辑修改和数据下载等操作。用户可按数据节点、数据查询结果等方式浏览影像快视图、矢量覆盖范围和元数据表，并可对元数据表编辑修改。数据查询支持数据节点下自定义几何形状（线或多边形）、跨数据节点综合模糊查询两种查询方案。数据下载通过元数据表、快视图或矢量范围等与数据文件的自动匹配，在记录存储路径下定位相应数据文件并提供下载服务。

４　结束语

本文基于面向对象的思想，将多源异构的海洋遥感数据抽象表达为数据实体、元数据、空间特征和快视图等基本组成部分及其对应关系，构建统一的数据模型。从数据要素级、数据集级和数据库集，建立了统一的海洋遥感影像元数据模型；从数据主标志判定、影像ＩＤ命名规则、快视图判定等方面完成了各类遥感影像产品的数据模型构建。采用“元数据＋快视图＋空间特征→数据文件”的管理方式，实现了海量数据的无缝管理。依据构建的数据模型，本文提出多传感器影像数据模型实体自动提取与匹配技术，实现了数据实体与元数据信息、空间特征和快视图的自动提取与匹配，构成了多传感器遥感数据实体与元数据一体化集成管理模式的基础，并在我国现有海洋遥感影像数据管理系统中得到了成功应用，从根本上实现了海量多源遥感影像数据的统一集成和灵活管理，提升了现有海洋遥感数据的信息化管理服务能力。

引用格式：王祎婷，邢喆，李四海，等．多传感器影像建模的海洋遥感数据管理应用［Ｊ］．测绘科学，２０１６，４１（２）：１６３-１６７．

多传感器影像建模的海洋遥感数据管理应用 - 海洋遥感数据处理

相关帖子

您看了很久哦，登陆下吧！