县级气象数据的共享应用的实现

时间:2022-09-23 08:54:43

县级气象数据的共享应用的实现

基金项目:河南省新密市气象局县级综合气象业务平面建设项目资助。

作者简介:于保安(1965―),男,河南新密人,大专,助理工程师,主要从事气象服务与管理工作。

摘 要: 为了满足越来越多的部门内外对于气象资料的共享需求,提高县级气象资料收发共享能力,设计并实现了一套基于跨平台开放源代码的共享应用:通过虚拟主机提供各类气象产品和部门外共享的数据的下载,通过可配置的自动文件分发软件可以主动向用户推送资料。在郑州市新密市气象局的实际业务试运行表明该应用可以满足现有业务需要,并能够为未来新增业务需求提供扩展,适合在其它县级气象部门推广使用。

关键词: 气象数据;共享;县级;虚拟主机;自动文件分发

中图分类号:P4:TP39 文献标识码:A 文章编号:1672-3791(2015)03(c)-0000-00

Implementation of County Meteorological Data Sharing Application

Yu Baoan

(Meteorological Bureau of Xinmi city, Xinmi Henan, 452370)

Abstract: In order to satisfy the growing demand for both inside and outside the meteorological department to share meteorological data, it is designed and implemented a set of cross-platform applications for county meteorological data sharing based on open source code, which will improved the transmission capability of county meteorological department. First, it is provided to download all kinds of meteorological products by established virtual host servers. Second, it is supported to push information to the user by using the configurable automatic file distribution software. The application is verified by Meteorological Bureau of Xinmi city. According to the actual business test run, the application meets existing business needs and can provide for future expansion of new business requirements. Moreover, the application is quite suitable for all the counties in the country to reuse.

Key words: meteorological data; sharing; county; virtual host; automatic file distribution

引 言

长期以来,地县级气象部门的数据传输没有统一的通信软件[1]。气象资料常通过办公系统、FTP服务共享或者即时通信工具来进行传输,不仅安全性差而且耗费人力。随着气象资料服务更加广泛的应用,外部门获取资料的信息量也越来越多,迫切需要建立一套数据共享应用,以满足日益增长的数据共享需求以及多样的传输方式。

1 现状

在“十二五”期间,为了保障县级综合气象业务能力建设,依托山洪地质灾害防治气象保障工程的投资[2],将全面启动县级气象业务平台建设,旨在提升了观测自动化水平、预报预警服务能力。从县级整体的总体构成来看,县级气象业务平台包括5大系统,如下图1所示。作为信息网络支撑系统的重要组成部分,信息业务软件充当着为预警信息与服务、预报与风险评估、监测等系统的基础数据支撑以及信息服务的任务。对于基层气象部门而言,这些软件是中国气象局统一下发并推广全国使用的业务软件,为县级的观测、预报等业务系统提供了重要支撑,主要包括:

一、以通讯组网接口软件(Communication Network Interface Software,简称CNIS)为代表的监测系统信息软件,它是自动气象站采集计算机与中心站服务器的接口软件,实现自动气象站数据文件的自动上传、中心站对自动气象站的远程控制、提供对网络状况的监视和通信传输情况的查询[3];

二、以CMACast卫星广播小站接收软件为代表的通信软件,2012年6月1日CMACast全面建成并投入使用,将中国气象局现有的三套卫星广播业务系统(PCVSAT[4]、DVB-S[5]、FENGYUNCast[6])进行整合,实现各类气象数据、视频资源的统一播发和管理,成为中国气象局唯一的广播系统,是全国基层气象部门获取全国气象资料的主要渠道[7]。

图1 县级气象业务平台整体架构

目前,由于中国气象局对于气象服务的共享软件还没有统一的规范,因此基层气象部门采取各种手段来满足越来越多行业内外资料共享需求,往往一个应用系统便采用一种共享服务方式,使得资源分散,不利于管理,资料收发共享能力不适应业务需求的问题越来越突出[8-9]。以新密市气象局为例,由于没有专门的数据共享分发服务器,所有与行业内外部门共享的资料均分散在各个办公PC机上,大部分使用Windows操作系统以及Serv-U软件架设的FTP服务器提供资料获取服务[10],业务人员需要实时维护多个FTP服务主机,从而确保资料能够正常提供共享服务。

2 需求分析

随着信息技术的不断发展和社会对于信息共享需求的日益迫切,采用现代信息技术和网络技术管理海量信息资源,并面向各阶层用户提供信息获取服务的信息管理系统得到了快速发展[11-13]。在资料的服务方面,迫切需要构建一个数据共享服务器,用以存储实时接收的广播数据以及对近实时资料进行备份,同时能够存储县级气象的公共服务产品等。为了使得该服务器的运行稳定并且能够有较强的处理能力,采用PC服务器并使用Linux操作系统。在该共享服务器上部署一套数据共享应用,满足资料的各种共享服务要求。

从服务模式上看,包括推送和抓取两种各种模式:一、服务端主动推送方式能够保证气象资料第一时间提供给用户,特别对于气象预警信息等时效要求较高的场景[14],但是需要接收端保证网络和服务器资源的稳定,否则会造成服务端的资料积压等情况出现;二、服务端提供用户抓取的获取机制不需要考虑接收端的状态,由用户自主进行获取,这种情况下用户端往往通过轮循扫描方式来侦测资料是否到达,一定程度影响时效,适用于对时效要求不高的资料共享。

从服务协议方式上看,一直以来FTP因其可靠性和易用性是气象部门资料共享主要采用的传输协议。随着互联网的发展以及Web浏览器技术的革新,越来越多的基于HTTP的传输应运而生,HTTP是一种为了将位于全球各个地方的Web服务器中的内容发送给不特定多数用户而制订的协议,Web浏览器下载Web服务器中的HTML文件及图像文件等,并临时保存在个人电脑硬盘及内存中以供显示[9]。为了快速直观的提供文档、图片等气象信息,建立基于HTTP协议的共享网站是有效的手段之一。

从安全性上考虑,需要支持基于SFTP,HTTPS等安全性协议的传输手段。由于需要区分对内部用户和外部门用户的资料访问范围,需要增加访问控制和目录授权来保证共享数据的安全性。

3 技术实现

对于县级气象部门,建立一个气象数据的共享应用除了需要考虑软件的集约化外,更重要的是软件稳定性、人性化并且易于维护。因此,结合新密市气象局的实际情况和上述需求分析,充分利用现有的PC服务器资源,基于Linux平台采用了成熟开源软件建立一个可配置的共享应用。主要实现技术应用包括基于自动文件分发软件(AFD:http://www.dwd.de/AFD/)传输应用和基于Apache HTTP Server(http:///)建立的虚拟主机服务。

3.1数据共享服务器的组织

目前数据共享服务器主要是以目录文件的形式存储向用户分发的各类产品和供有关部门共享的数据。主要包括三部分的资料和产品,如图2所示:

(1) CMACast原始数据(cmacast目录)。按照卫星广播接收的通道和目录来进行编排,与播发节目表相对应。

(2) 气象产品(product目录)。分布在新密市气象局不同的业务单位和台室的地县级气象业务系统需要经常公用许多加工后的气象产品,比如MICAPS输出产品、统计产品等;还有一些产品需要提供给多个平台使用,比如天气预报和预警信息需要提供手机短信、展示大屏、121等服务终端;另外由于业务需要会从省局气象资料服务网站获取卫星云图等资料。按照资料的不同来源和日期时间组织这些气象产品。

(3) 共享目录(share目录)。目前新密市气象局与各个部门都建立有信息交换的渠道。未来为了实现中小河流洪水、山洪、地质灾害监测预警信息在各级气象、水利、交通、林业、农业、国土资源等部门应急指挥平台的实时显示和应用,按照部门单位分目录建立资料共享的空间。

图2 县级气象数据平台网络架构

3.2 Apache虚拟服务器

Apache HTTP Server项目是可以跨平台运行的开源HTTP服务器软件,该项目的目标是提供安全、高效、可扩展的HTTP服务。Apache HTTP Server自从1996年以来,如今已经成为世界排名第一的Web服务器软件[15]。通过Apache HTTP Server可以实现构建数据虚拟主机的目标。虚拟主机是在一台服务器上同时运行多个网站业务。在Apache配置文件中虚拟主机指令需要使用VirtualHost(虚拟主机)容器封装。如图2所示,通过在数据共享服务器建立内网和外网两个虚拟主机,映射不同的共享目录以实现目录授权的目的,不同的共享目录还可建立对应的FTP服务器提供服务。同时,Apache HTTP Server还可以实现网络访问控制和用户认证功能,只需要根据需求进行配置即可,如下图3所示是客户端访问虚拟服务器的访问用户认证框,成功后即可以访问数据目录,如图4所示,对于浏览器可以处理的数据文档则可以直接进行展示,如图5所示。

首先需要建立一个密码文件,事先利用Apache的bin子目录中提供的htpasswd的工具建立密码文件,逐一配置数据平台的访问账户和口令。这个密码文件应放在服务上不能被网络访问的位置,以避免被下载。然后,需要修改httpd.conf(Apache HTTP Server配置文件),以指示服务器允许哪些用户访问并向用户索取密码。其中包括几个重要的参数:AuthType指令选择了对用户实施认证的方法,最常用的是由mod_auth提供的Basic;AuthName指令设置了使用认证的领域。为了增加访问的安全性,可以通过配置网络访问控制配置来实现:Allow和Deny指令可以允许或拒绝来自特定主机名或主机地址的访问,另外,Order指令告诉Apache处理这两个指令的顺序。

图3 Apache访问用户认证框 图4:Apache数据服务目录 图5:Apache虚拟服务器数据展示

3.3基于AFD的传输应用

AFD是一个用来自动分发文件到本地或远程主机的开源软件。该软件支持本地及远程多协议数据传输,支持优先级控制的并发数据分发,收集与分发通过消息紧密结合,使得数据能在收集与分发功能模块之间高效流转。系统支持本地文件系统目录数据和远程多协议(SMTP,FTP,HTTP,SFTP等)两种收集方式。系统通过配置文件能够灵活设置文件名变换、压缩/解压缩、定时处理等各种预处理逻辑,以适应不同用户的业务需要。

如图6所示,经过消息生成器(amg)派生的目录扫描进程(dir_check)将数据实体文件组织成分发任务,进入消息队列。目录扫描的依据是由分发目录配置(DIR_CONFIG)和目的主机配置(HOST_CONFIG)预先由管理人员设定的。文件分发进程(fd)守候任务消息,当新任务到达后及时调度各分发或远程获取程序完成分发任务或远程获取文件任务。根据不同的分发协议编写分发程序(sf_loc,sf_ftp等),可以实现多目的主机并发、单个目的主机多任务并发。分发任务进行由调度程序根据分发消息激活,使得分发任务可以进行优先级控制,从而可实现多用户并发和同一用户多任务并发的调度。

图6 AFD应用的处理逻辑

4 总结

数据共享应用是县级气象综合业务平台的重要组成部分。结合新密市气象局的实际业务情况设计并开发了此共享应用,该应用试运行情况良好,可以满足现有业务需要,并可以为未来新增业务需求提供扩展。该应用的优势还在于采用了可配置的开源软件,非常适合在其它县级气象部门推广使用。

参考文献:

[1] 王甫棣. 国内气象通信系统的设计和实现[J]. 计算机应用, 2012, 32(s2): 220-225.

[2] 陈皎, 江丽. 重庆市山洪地质灾害防治气象保障工程项目建设管理与思考[J]. 贵州气象, 2013, Vol.37(4): 58-62.

[3] 杨立志, 艾艳, 王敏. 河南省自动气象站组网系统的建设[J]. 河南气象, 2004(3) :39-40.

[4] 李漫霜, 任晓炜. PCVSAT单收站系统的应用[J]. 广西气象, 2000, 21(3): 47-50.

[5] 蒋克俭, 王春芳, 陈宏尧. DVB-S在气象数据广播中的应用研究[J]. 气象科技, 2006, 34(增刊): 13-18.

[6] Wang Jingsong, Zhang Jiashen, Tang Yunqiu. Fengyun Satellites: Achievements and Future[J]. Chinese Journal of Space Science, 2010, 30(5): 468-473.

[7] 王春芳, 李湘, 陈永涛, 等. 中国气象局卫星广播系统(CMACast)设计[J]. 应用气象学报, 2012, 23(1): 113-120.

[8] 蔡涛, 马丽征, 张春红, 等. 利用远程桌面技术实现气象资料的共享[J]. 气象与环境科学, 2008, 31(增刊): 249-250.

[9] 黄克磊, 闫小珍, 王媛, 等. GPRS自动雨量站状态监控和数据应用系统[J]. 气象与环境科学, 2008, 31(2): 73-76.

[10] 孙宝利, 朝柯, 李亚廷, 等. 县级气象综合业务工作平台本地化[J].气象与环境学报, 2008, Vol.24(3): 46-50.

[11] 李集明, 沈文海, 王国复. 气象信息共享平台及其关键技术研究[J]. 应用气象学报, 2006,17(5): 621-628.

[12] 刘爱容. 气象信息共享平台的开发技巧[J]. 气象与环境科学, 2007, 30(增刊): 201-202.

[13] 宋广才. 应用数据库技术实现县级气象资料的存储和共享[J]. 吉林气象, 2006(3): 27-29.

[14] 王甫棣. 基于ATOM和CAP的预警信息方法研究[J]. 气象与环境科学, 2013, 36(1): 28-31

[15] 张莉. 浅析Apache虚拟主机设置[J]. 湖南大众传媒职业技术学院学报, 2005, Vol.5(2): 84-88.

上一篇:基于激光点云数据的三维建模技术研究 下一篇:系数比例自适应算法的研究