海洋遥感数据管理论文

时间:2022-09-19 02:36:57

海洋遥感数据管理论文

1多传感器遥感影像数据建模

1.1建模原理

为实现多源异构遥感影像数据的统一管理,需要建立统一的数据模型。在逻辑结构上将遥感影像数据划分为描述性元数据信息和数据实体,在业务流程上将数据建模分为元数据建模和数据建模。

1.2元数据建模

遥感影像通常格式特定、数据量大,而元数据是对影像获取信息、质量信息、空间特征等的概括抽取,通常为文本格式、数据量小,具有信息丰富、读取方便等优点[11-12]。本文根据元数据描述对象的特点和数据管理要求,构建了海洋遥感影像元数据的统一模型,如图1所示。其中,数据要素级信息由元数据解析读取获得;数据集级信息可批量手工录入,便于按照专项、区块、调查单位及时间等对各专项数据进行管理;数据库级信息在数据入库时由系统自动扫描数据的存储路径、大小、状态、权限等生成。

1.3数据建模

本文基于面向对象的思路方法,将多源异构的海洋遥感数据抽象表达为数据实体、元数据、空间特征和快视图等基本组成部分及其对应关系。建立数据模型由E-R图表示,如图2所示。由于目前存档的海洋遥感影像数据包含多种星源影像、航空影像和4D产品,且同源数据还包含不同级别、类型产品,因此,需要对每种产品类型数据分别构建数据模型,完成主数据标识确定、影像ID命名规则、数据对象和元数据识别规则等定义,流程如图3所示。影像数据建模支持面向多种数据源的各种影像目录模型的定义,具备对影像数据存储方式、数据格式、坐标系统等参数的设置。

2多传感器影像数据模型实体自动提取与匹配

2.1技术路线

为将构建的数据模型应用于实践,本文提出多传感器影像数据模型实体的自动提取与匹配技术,解决了如下几个关键问题:①多源异构影像元数据自动识别与解析;②空间特征、快视图及影像覆盖范围矢量自动提取与生成;③数据ID命名规则制定及数据模型实体间自动匹配。技术路线如图4所示。

2.2元数据自动提取与输出

根据构建的数据模型,本文建立了一套自动提取与输出元数据信息表的技术流程,核心是从多源异构的元数据中提取出与元数据模型对应的字段信息,消除数据冲突,并利用元数据中关于空间特征的描述自动生成影像数据矢量覆盖范围。具体如下:1)元数据文件识别:依据建立的数据模型,对每类影像产品定义元数据文件格式。如ALOS影像产品定义“HDR-*.txt”为元数据格式。2)元数据格式解析及数据冲突消除:建立元数据提取配置文件,将多源元数据文件中的字段名称对应至提取配置模板中,消除元数据命名冲突和语义冲突。命名冲突指相同字段(如影像左上角纬度)在不同元数据中有不同名称(如ImageSceneLeftTopLatitude、SCENE_UL_CORNER_LAT等)或同一字段(如ProductType)在不同元数据中表示不同意思(产品类型或产品处理级别)。语义冲突指不同元数据对同一字段在描述方式、内容上的不同造成的语义不一致性,如投影带号在不同元数据中表示为ZoneNumber和ZoneNo.两种形式。本文数据冲突消除方法的实质是通过元数据配置文件将多源元数据字段名称映射到元数据模型的全局名称,通过提取配置模板和输出模板两步实现。3)元数据信息提取:将元数据文件内容全部读入内存,用程序分步定位的方法提取元数据字段信息。以ALOS影像元数据“UTMZone="51N"……”为例,提取投影带号信息需先定位至“UTMZone”字段,查找“=”后、符号“"”之间的字符串,即为带号“51N”。又如,XML格式的RAPIDEYE元数据文件中,提取成像时间需定位至以“<eop:acquisitionDate>”开始、“</eop:acquisitionDate>”结束中间的字符串,即为成像时间。元数据信息提取将原始元数据字段对应至提取配置模板字段,生成中间元数据文件。4)元数据信息输出:定义元数据输出配置模板,将中间元数据文件字段对应至元数据模型中的字段。输出配置模板按卫星影像、航空影像、4D产品和动力卫星数据等设置四类。输出时还可对模板字段进行批量统一赋值。5)矢量范围输出:由元数据提取影像四角坐标值,调用ArcGIS脚本语言函数CreateFeaturesFromTextFile_samples(),将四角坐标文本文件、分隔符、输出矢量文件和空间参考基准作为输入参数,生成带有空间参考信息的ShapeFile格式的影像范围矢量。

2.3基于GDAL的快视图自动提取

以往快视图作用仅定位于数据浏览不同,本文提出的数据模型要求将快视图匹配至影像空间特征,并录入关系型数据库实现集成管理。然而,影像产品数据集中提供的快视图通常不包含空间坐标信息,因历史原因各单位汇交数据中快视图或已丢失或因重命名已不满足数据模型识别要求,加之航空影像、4D产品通常不具备快视图,快视图自动提取面临较多问题。因此,针对多源异构影像,本文基于GDAL(GeospatialDataAbstractionLibrary)对快视图自动提取并匹配至空间特征,流程如图5所示。GDAL是X/MIT许可协议下的开源地理栅格空间数据转换库,支持几乎所有常见的遥感图像文件格式的读取、格式转换和重采样等基本操作。本文选用开放源代码的GDAL库作为多源影像的访问引擎,为影像的访问和基本处理提供统一接口。提取后的快视图具有了和影像文件一致的空间坐标和数学基准。

2.4数据模型实体自动匹配

本文在分析各类影像产品数据建模的基础上,提出基于规则的影像ID命名方法,通过指定影像惟一ID实现影像数据文件、快视图、元数据和矢量范围的自动匹配。具体如下:1)针对特定影像类型,根据数据模型定位至元数据文件,确定元数据存放目录,将元数据上级文件夹记为ParentDirectory(1)。定位至元数据的好处在于:与元数据信息提取的过程相一致避免重复搜索;部分影像数据分波段存放(如中巴、TM等)或分块存放(如WorldView),定位至影像文件很难形成与影像数据包一对一的关系。元数据文件通常与影像文件在同一目录、名称一致,并且元数据中通常有影像文件名信息。2)制定影像ID命名规则,标识惟一影像数据包。通常情况下,元数据文件名能够标识惟一影像数据包时,采用元数据文件夹名命名;若不行,则需要考虑数据文件名、或上级(ParentDirectory(1))至上几级文件夹名(ParentDirectory(N))的组合形式来命名影像ID。部分示例如表1所示。特征的相互匹配,为数据建库和入库管理奠定基础。

3多传感器海洋遥感影像集成与管理

根据数据模型和集成管理的要求,本文研发设计了多传感器影像自动加工工具(以下简称“工具”)和海洋遥感影像管理信息系统(以下简称“系统”)。考虑到数据安全和保密需要,工具设计为单机版,系统采用C/S架构。系统采用.NetFrameWork框架搭建平台,利用ArcGISEngine组件做专业开发;服务器端部署Oracle11g数据库和ArcSDE空间数据引擎,服务器端与客户端通过内网连接。工具研发基于多传感器遥感影像数据模型实体自动提取匹配技术,对不同影像元数据操作提供统一的配置交互界面(见图6)。工具支持用户根据影像类型和建模要求配置元数据提取和输出模板,提供预定义的影像ID命名规则。模板与规则均以XML格式保存,支持用户自定义修改,扩展性强。工具能够从元数据和影像数据文件中批量生成元数据信息表、快视图和空间特征一一对应的标准数据集,并通过影像ID与原始数据包自动匹配,与后端管理系统有效衔接。依据本文构建的多源异构影像数据模型,系统按照“元数据表+快视图+空间特征数据文件”的方式,将数据存储路径记录在二进制变长字段内,并将影像对应的元数据信息表、空间特征和快视图信息存放于关系型数据库表中,从而实现了海量数据的无缝管理。系统提供数据空间范围、快视图、数据包详情的查询浏览、分析统计等功能,并支持用户通过选择元数据记录、下载相应的遥感影像数据实体。如图7所示。数据建模是整个系统的核心内容。系统将入库配置环节设计为功能模块,按照“元数据项管理—资料建模—数据建模—编目管理”的步骤,向导式指引用户完成数据建模和存储规划。其中,元数据项管理完成元数据项的定义;资料建模为元数据模型的定义;数据建模为每类资料构建数据模型;编目管理为数据入库设计相应的数据节点。系统入库需用户提供影像数据实体文件存储路径,以及影像加工工具生成的标准元数据表、快视图和矢量文件。入库过程中,系统首先根据数据模型校验是否能在指定路径下正确识别遥感影像原始数据包。校验完成后,系统根据主标识字段(即影像ID),自动匹配影像数据包、元数据表、快视图和矢量范围,并根据元数据模型判定输入元数据表信息是否正确、齐全。在所有判定条件都满足后,系统扫描并存储每条数据文件的存储路径,并将元数据表、快视图和矢量范围入库。系统支持用户浏览查询、编辑修改和数据下载等操作。用户可按数据节点、数据查询结果等方式浏览影像快视图、矢量覆盖范围和元数据表,并可对元数据表编辑修改。数据查询支持数据节点下自定义几何形状(线或多边形)、跨数据节点综合模糊查询两种查询方案。数据下载通过元数据表、快视图或矢量范围等与数据文件的自动匹配,在记录存储路径下定位相应数据文件并提供下载服务。

4结束语

本文基于面向对象的思想,将多源异构的海洋遥感数据抽象表达为数据实体、元数据、空间特征和快视图等基本组成部分及其对应关系,构建统一的数据模型。从数据要素级、数据集级和数据库集,建立了统一的海洋遥感影像元数据模型;从数据主标志判定、影像ID命名规则、快视图判定等方面完成了各类遥感影像产品的数据模型构建。采用“元数据+快视图+空间特征数据文件”的管理方式,实现了海量数据的无缝管理。依据构建的数据模型,本文提出多传感器影像数据模型实体自动提取与匹配技术,实现了数据实体与元数据信息、空间特征和快视图的自动提取与匹配,构成了多传感器遥感数据实体与元数据一体化集成管理模式的基础,并在我国现有海洋遥感影像数据管理系统中得到了成功应用,从根本上实现了海量多源遥感影像数据的统一集成和灵活管理,提升了现有海洋遥感数据的信息化管理服务能力。

作者:王祎婷 邢喆 李四海 李艳雯 焦红波 单位:北京师范大学 地理学与遥感科学学院 国家海洋信息中心

上一篇:信息数据管理风险研究 下一篇:高校预算管理方法探讨