数据仓库在大庆油田矿区数据中心设计中的应用

时间:2022-09-10 04:00:10

数据仓库在大庆油田矿区数据中心设计中的应用

摘要:大庆油田矿区应用系统存在着技术多样性与开发的独立性,导致各个系统之间的数据共享比较困难,难以支持企业层面的集中统一数据管理。该文构建基于数据仓库的大庆油田矿区数据中心,阐述了集成的数据交换和共享平台的实现方法,使分散的、松藕合的分布式应用实现有机的集成。

关键词:数据仓库;数据中心;油田矿区

中图分类号:TP311文献标识码:A文章编号:1009-3044(2011)29-7080-02

随着信息技术发展与应用的逐步深入,大庆油田矿区信息化建设迅速发展,逐步构建了面向管理基层并以纵向归口部门为主导的各类应用信息系统,但是,因为这些应用系统存在着技术多样性与开发的独立性,导致各个系统之间的数据共享比较困难,难以支持企业层面的集中统一数据管理。数据中心的实施能够在很大程度上避免大庆油田矿区在信息系统方面的重复投资和建设,提高信息利用率,优化了业务流程,使各类数据趋于一致。本文构建基于数据仓库的大庆油田矿区数据中心,从而进一步提升油田矿区信息化应用水平。

1 数据中心的具体设计

1.1 数据中心需求分析

大庆油田矿区数据中心建设的核心主题就是数据的资产化管理。数据中心实现的概念包括集中存储数据、实现数据共享以及灾难恢复管理等,最终实现数据的高质量和完整性,并支持统一访问门户和数据标准化体系。

结合大庆油田矿区数据需求的具体特点,数据中心建设的目标定位于:建设一个基于数据挖掘和数据整合为核心的专业数据仓库,在油田矿区构建先进的数据管理体系与数据服务体系,实现一个集成的数据平台,从而科学地管理所有专业数据。

1.2 数据仓库的选型

经过分析,如果单纯采用虚拟数据仓库或集中式数据仓库是难以满足油田矿区数据中心实际需求的。虚拟数据仓库只能满足一部分油田矿区数据整合需求,所以,本文在设计中,整合了虚拟数据仓库与主题数据集市,从而构建一个以数据整合为基础的虚拟数据仓库系统,将数据集市引入基于油田矿区专业主题的数据中心建设中。建设内容包括两个方面,一是基于数据整合的虚拟数据仓库建设,二是矿区原始数据仓库建设。

1.3 系统结构的设计

本文所构建的数据仓库分为四个层次,分别是:1)源数据层;2)数据整合层;3)数据仓库管理层;4)数据应用层。如图1所示。

其中,源数据层主要由油田矿区的各类业务数据库组成,这些数据往往存储在隶属于不同系统的异构数据库中。源数据层对这些异构数据库进行收集、统计。数据整合层的功能是对这些数据进行净化、抽取、转换,同时保持数据的一致性。数据经过处理后,即被加载到数据仓库。数据仓库管理层的功能是管理与维护数据仓库和数据集市。数据仓库结合油田矿区目前的业务,形成了具有行业针对性的数据仓库模型,通过预测主题和信息,形成决策信息库。数据应用层通过联机分析处理工具和数据挖掘工具,实现处理用户的决策。此外,数据应用层还要向用户提供功能强大的界面。数据中心通过 Web 服务器,选用 B/S 方式为客户端服务。

1.4 关键技术的实现

1)数据编目索引的实现

考虑到当前油田矿区的不少生产监控、生产调度数据库均分散于各个相关职能部门,因此在集成索引编目数据库模型的基础上,引入分布式数据库集成系统,通过建立系统关联,实现数据的集成。数据编目索引支持以全局的、标准化的检索方法来检索现有的分散数据库,从而实现数据全局共享和规范化。在关联模型的实现中,涉及到构建关联的工具、常用的关联模版以及数据查询器。以油田矿区的供热管理综合数据表为例,图2显示出其关联模型的实现。

2)元数据管理的实现

在油田矿区,元数据指的是能够进行定位管理矿区数据库对象的数据集。三个主要过程构成矿区元数据网格服务,分别是

①用户在元数据库中,利用元数据网格服务实现元数据检索;②结合检索到的元数据,在网格应用数据库中应用数据。③将与之相关的信息、资料到元数据网格数据库。

油田矿区信息系统的元数据主要包括医疗卫生、公共交通、物业、供热、托幼等数据集与资料,通过元数据库检索,用户可以获取所有的数据集,在此基础上在油田矿区网格数据库中检索相关的信息。

3)数据集市模型的实现

本文采用数据库中“雪花型”的模式来实现数据集市模型,与油田矿区相关指标的数据存储在数据实体表中,地区、时间和指标等维度信息存储在维度表中,行业、隶属关系等动态维度又和地区维度进行关联。采用这种类型的数据集市模型,能够支持三个方向――地区、时间和指标的任意组合查询。还能支持跨专业、跨年度的分析查询。结合本文设计的思路与流程,第一步应该完成油田矿区核心业务的数据分析,从而实现初步应用集成;第二步在此基础上开展油田矿区管理流程的数据分析,实现部门间集成应用。这两步全部完成之后,最终实现覆盖整个油田矿区生产经营的模型体系,实现所有机构数据的集成整合。

2 结束语

基于数据仓库的大庆油田矿区数据中心能够支持油田矿区各类应用信息系统的业务重组,构建了一个集成的数据交换和共享平台,使分散的、松藕合的分布式应用实现有机的集成,一方面避免了油田矿区重复投资,另一方面也优化了油田矿区不合理的业务流程,提高信息利用率,实现高效的数据交换和共享,最终提升了油田矿区的效益。

参考文献:

[1] 谷岩,冯华.数据仓库系统中组件的实现技术研究[J].计算机工程与设计,2010(7).

[2] 宋海瑞,周新志.数据仓库在都江堰灌区数据中心建设中的应用[J].计算机工程,2009(5).

[3] 俞文彬,谢康林.基于数据仓库的决策支持系统框架研究[J].上海交通大学学报,2010(6).

[4] 姜震,黄霞.实时数据仓库技术的研究[J].计算机系统应用,2009(7).

[5] 李柯.基于数据仓库和OLAP的民航灾害预警决策支持系统[J].2010(12).

上一篇:轻量级架构在大学英语考试教改系统中的应用 下一篇:民机故障诊断方法介绍