气象行业的数据仓库建立及数据挖掘

摘要:本文概述了现阶段气象数据仓库应包含的内容以及气象数据仓库的设计,利用联机分析处理和数据挖掘技术使气象研究人员获取对其有用的气象数据,并用SQL SERVER平成对气象数据仓库的设计,为气象研究提供支持。

关键词:气象数据仓库;联机分析处理;数据挖掘

中图分类号:TP311.13文献标识码:A文章编号:1007-9599 (2010) 11-0000-01

Meteorological Data Warehouse Industry and Data Mining

Zhuang Ting

(Weather Warning Center in Tianjin Binhai New Area,Tanggu300457,China)

Abstract:This paper summarizes the current meteorological data warehouse should contain content and meteorological data warehouse design,on-line analytical processing and data mining technology allows researchers to obtain meteorological weather data for its useful and complete with SQL SERVER meteorological data warehouse platform design,to provide support for meteorological research.

Keywords:Meteorological data warehousing;online analytical

processing;Data mining

随着通信技术和计算机技术的发展,每日的气象数据资料十分庞大,可谓是海量数据。采用高效的数据立方体计算技术以支持服务器进行快速决策支持查询。数据库在基层,数据仓库在上层,从传统的关系数据库应用环境向信息服务驱动的以数据仓库为基础的应用环境转移,是信息服务系统的必然趋势。

一、气象数据仓库系统的总体架构

(一)数据仓库系统

数据仓库包括3个方面的内容:数据仓库技术,用于数据的存储和组织;联机分析处理(OLAP),用于数据的分析;数据挖掘技术(DM),用于知识的自动发现。

数据仓库的架构见图1。

(二)气象数据仓库系统的建立

1.气象数据仓库建立的必要性。

传统的气象数据库,只包含了气象台站所在位置的气象资料,虽然在一定范围内具有代表性,但还是不能准确的反映该地区的气象情况。目前国家气象局已经完成了全国范围的自动气象站的布网。传统的气象信息数据库系统已经无法满足目前的海量的气象数据资料的存储和处理的需要,而气象数据仓库的建立正好弥补了传统的气象信息数据库系统的不足,所以建立气象数据仓库十分必要。

2.气象数据仓库存储与维度和粒度的设计。

数据模型是开发和构建数据仓库的基础;是联机分析处理和数据挖掘的重要条件。星型模型和雪花模型是基于关系数据库的数据仓库的两种典型的数据模型。“星型模型”是数据仓库广泛采用的数据模型,它能准确、简洁地描述出实体之间的逻辑关系,适用于软件开发,同时相对于雪花模型节点而言交叉点少,查询速度会更快。所以气象数据仓库选择采用星型模型。

3.以数据仓库为基础设计的VIPS系统的数据展示。

SQL Server Analysis Services可以使用Analysis Services的联机分析处理结果通过自定义的组合,实现多维分析展示。用户可自定义维度、维度限制、统计方式等,并可将结果通过网络。此过程中,Reporting Services提供了很友好的图形用户界面,可以为用户简化大量操作。

Reporting Services体系结构是一组集成的组件。该体系结构具有多层,其中包括应用程序层、服务器层和数据层。由于该体系结构是模块化的,且具有可伸缩性,也就是说Reporting Services是支持联机操作的。

以数据仓库为基础设计的VIPS系统,能在一个友好的图形用户界面上同时显示多个气象产品的集合。就是结合了华北地区几部多普勒雷达的基本反射率雷达产品,华北所有自动站的温压湿、风向风速等资料。这就很好的为预报员的工作提供服务。

三、数据挖掘

数据挖掘是知识发现的主要步骤,我们所面对的用户,一般都是领域方面的专家,而不是计算机专家,所以数据挖掘技术要针对用户需求而进行。气象数据挖掘有以下特点:可视化、智能化、挖掘过程的长期化。气象数据的诸多要素之间存在一定的关联,如降水、气温及干旱之间有一定的联系;采用适当的量化方法,如领域专家的经验值或模糊均值法(FMC);将连续的数值型数据,如降水、气温量化为5个语言值,采用基于语言值的关联规则,可挖掘出在降水、气温项集下的干旱指标,并可对干旱进行预测。

四、结束语

数据仓库的建设与知识的发现是一个长期的工作,数据仓库只能一步步进行设计和载入数据,快速的开发方法只会带来灾难性的后果。气象部门是国内少数积累了大量历史数据的部门之一,但由于数据的分散和不规范,研究人员普遍感到数据统计分析的不便,耗费太多精力。应用螺旋式开发方法,逐步建立气象数据仓库,并结合一些成熟的算法和软件进行气象统计分析,可以减少重复的研究。提高效率,使多年积累的气象数据成为财富,更好的发挥作用。

参考文献:

[1]王红霞,朱喜林,马季兰,王志伟.气象数据仓库建立及数据统计与挖掘[J].山西:太原理工大学学报,2006:101-103

[2]谭晓光.数据仓库技术在天气预报决策中的应用探讨[J].北京:应用气象学报,2006:325-332

[3]张德龙,张立,苏和.数据挖掘技术在气象信息存储中的应用[J].内蒙古:内蒙古气象,2008:34-35