气象大数据跨平台分析与应用技术研究

摘要：为了更好处理和应用诸如气象数值预报产品等非结构化的气象大数据，基于NetCDF技术实现了全序列气象数值预报产品原始格式解码、数据的格式转换以及生成符合各类数值预报产品特征的NetCDF格式的存储库，并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中；基于NCL（The NCAR Command Language）编程语言读取NetCDF库文件中的数据生成精度高、内容展现丰富的数值预报图形产品，并提供给业务用使用，业务运行结果表明大数据处理技术的引入对气象大数据在业务中的应用具有一定的促进作用。

关键词：气象大数据；NetCDF；数据解码；算法

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）31-6943-05

近年来我国的气象事业有了长足的进步和发展，广东省建设了大量的常规、特种自动气象探测设备，其传输、处理和服务应用的信息量呈指数式增长，目前广东省气象信息中心每天接收的数据量达到1T级的规模，预计未来3-5年每天接收的数据总量将会增长到1.5-2TB左右，其中80%的数据都是非结构化的大数据，目前这些非结构化的大数据仅能做到初步的实时业务应用，无法做到大数据的长时间序列存储以及进一步的分析处理和决策分析应用，这也造成了极大的“气象数据价值”浪费。因此气象行业迫切需要进行气象大数据的应用分析研究[1]。

本文以气象数值预报产品为切入点，详细分析气象大数据的特点和实际业务需求，基于NetCDF技术实现了全序列气象数值预报产品原始格式解码，实现数据的格式转换，生成符合各类数值预报产品特征的NetCDF格式的存储库，并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中；基于NCL（The NCAR Command Language） 编程语言读取NetCDF库文件中的数据生成精度高、内容展现丰富的数值预报图形产品，并提供给业务用户业务应用[2]。

1 关键技术应用与设计

1.1 数值预报产品应用现状

目前气象预报领域已建立起比较完善的数值预报业务体系，在各级气象台站的日常公众气象预报服务中发挥着越来越重要的作用，特别是为灾害性、关键性、转折性天气的预报服务、航空气象服务、军事气象服务、水文气象服务等提供了有物理基础的指导产品和定量参考信息，并为预报业务向应用气象和环境气象领域的拓展提供了有利的技术支持[3]。

然而在目前数值预报资料的使用过程中存在以下问题：

1）目前我们能够获取到的数值预报的种类已经比较丰富，如欧洲大气模式、欧洲海洋模式、欧洲细网格数值预报、JMA、JMA细网格、Grapes模式等。各国数值预报中心生成的数值预报存储格式各异，对预报员的使用，以及查询、存储、归档等都造成了一定的困难。尤其像T639，JMA，EC等数值预报模式，都将不同预报时次的数据分为单个文件进行传输，这对单站连续时间数据的读取造成了非常大的困难，时效也特别低。

2）随着数值预报精度越来越高，它的数据文件也越来越大，如Grapes 12KM的单时次数据文件为16G，全序列数值预报日数据总量约几百GB，三年的数据量大约为20T左右，这对于存储空间和存储管理也有了比较高的要求[4]。

因此，为了给预报员提供更多种类，格式更加丰富的数值预报产品，为了能够将历史资料完整有序、有效的存储并让其提供服务，需要完成全序列数值预报数据的收集、存储和加工处理。不但要将选序列数值预报产品归类存储，形成数值预报产品库，还将对其进行加工，生成更加便于存储、查询、展示的NetCDF格式的数值预报产品，形成规范的NetCDF产品库[5]，并可提供给不同的业务用户使用。同时将使用NCL编程语言对NetCDF产品进行加工，实时生成多要素、多层次、多时次、多范围的数值预报图形产品，旨在为预报员提供更直观、更有用的预报素材。

1.2 系统总体设计

系统总体架构如图1所示，整个系统由4个子系统组成。

子系统1：原始格式数值预报产品收集程序

实现诸如欧洲大气模式、欧洲海洋模式、欧洲细网格数值预报、JMA、JMA细网格、Grapes模式等原始格式产品的收集和管理。

子系统2：数值预报产品格式转换和数据集成

基于NetCDF技术，将日本数值预报产品（JMA）、欧洲大气模式、欧洲海洋模式、欧洲细网格数值预报、JMA、JMA细网格、Grapes模式等7类数值预报产品进行格式转换写入NetCDF库[6]，每月生成一组库文件，从而实现了数据的集成。

子系统3：数据服务开发

基于NetCDF库文件，利用NCAR Command Language工具，将日本数值预报数据（JMA）、T639数值预报数据、Grapes数值预报数据及欧洲数值预报产品（ECMWF）等全序列数值预报产品经过资料加工后转换成图形产品[7]，并实现产品的按需分发。

子系统4：可视化系统监控管理模块

系统对各个独立的系统转换程序进行统一的可视化的管理，并实现系统运行状态的全过程实时监视，并能实现日志系统的查询统计。

1.3 气象大数据数据结构设计

NetCDF（network Common Data Form）网络通用数据格式是由美国大学大气研究协会（University Corporation for Atmospheric Research，UCAR）的Unidata项目科学家针对科学数据的特点开发的，其通用的数据结构在广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域，但是针对气象数值预报产品的分析和处理，其通用的处理方法面临挑战，为此基于NetCDF技术设计和实现了针对气象数值预报产品这类典型的气象大数据的数据结构。

1.3.1 NetCDF通用数据结构

1.3.2 气象大数据数据结构设计

区域范围：不同的模式或不同要素预报范围可能不同，如南半球、北半球、[经度60～150，纬度-20～70]，等等这里模式一般定义东经为正、西经为负，北半球为正、南半球为负。所以有时需要将不重叠的不同范围的数据拼接在一起，形成完整范围的可用数据。

要素变量：对于每个模式的每个要素，都包含不同时效的预报，如未来3小时雨量rain003，未来6小时雨量rain006，未来12小时雨量rain012……，不同要素的预报时效可能相同也可能不同，需根据模式定义来判断。

2.2 关键技术实现

以气象数值预报产品为代表的气象大数据是多源数据，各类产品的格式不同，有grib1编码格式、grib2编码格式、顺序二进制编码格式等，如何将这些多源的数据格式转换成统一的数据格式是一个重点解决的技术难点。为此我们设计实现了数据解码算法，经过解码的数据流按照气象大数据数据结构模型批量写入NetCDF库文件中。

3 实际业务应用

业务应用在Linux开发平台下从生成的NetCDF产品库中读取数值预报数据，利用NCAR Command Language工具，将日本数值预报数据（JMA）、T639数值预报数据、Grapes数值预报数据及欧洲数值预报产品（ECMWF）等数值预报产品转换成图形产品，同时运用定时作业方式运行ncl脚本文件，从而实现数值预报资料到图形产品的自动化运行。最终形成多预报时次、多层次的多种气象要素的图形产品展示到气象业务网等门户网站，供预报人员及其他用户使用，图5中是通过转化后的NetCDF库读取数据绘制图形产品的流程图，图6是通过系统绘制的气象水汽通量图[10]。

4 结论

经过对气象大数据的分析和处理，实现了气象数值预报产品原始格式解码，实现数据的格式转换，生成符合各类数值预报产品特征的NetCDF格式的存储库，并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中，通过接口服务的方式为气象相关的业务应用单位提供数据服务，基于NetCDF的数据流绘制了气象行业广泛应用的树预报产品图，目前系统已经业务化运行，运行结果表明系统数据读取性能和稳定性方面完全满足业务实际需求。

参考文献：

[1] 董晓婷.大数据的定义特征及其应用分析[J].硅谷，2013（11）

[2] 康波，刘胜强.基于大数据分析的互联网业务用户体验管理[J].电信科学，2013（3）.

[3] Chang-Tien Lu，Yufeng Kou，Jiang Zhao.Detecting and tracking regional outliers in meteorological data[J].Elsevier Journal，2006（11）.

[4] 刘碧湘.如何利用大数据推进计算机审计[J].科技信息，2013（21）.

[5] 崔忠燕，杨鹏，李杰，等.基于NetCDF的数据交换平台研究[J].微型机与应用，2011（20）：35-37.

[6] 张林，高玉春，杨金红，等.基于VC++平台的相控阵天气雷达NetCDF数据读取与产品显示[J].气象科技，2010（2）：27-29.

[7] 杨兆礼，万齐林.实例分析如何应用GrADS实现NetCDF格式转换[J].广东气象，2008（5）：39-41.

[8] 基于Windows Azure平台的SUSE Linux Enterprise Server[J].办公自动化，2013：23-25.

[9] 庞博文，李国庆.基于C/S结构的大数据量遥感图像显示方案[J].科学技术与工程，2008（14）：27-31.

[10] 王宝红，郭水旺，季钢.基于布尔云模型算法的图像修复研究[J].科学技术与工程，2013（17）：31-33.