构建实时电力数据仓库的关键技术探析

随着电力行业的改革，产生的数据量越来越多，处理难度加大，实时数据库的优势日益明显。在此提出了一个相关方案，以ODS系统和ETL技术为重点，对其进行了分析，并取得了较好的效果。

【关键词】实时数据仓库 ODS层 ETL技术

在当前信息化时代，计算机网络和电子信息技术不断普及，在社会各领域都有应用。因此产生的数据大幅增长，处理难度加大，如何进行快速准确地分析处理是当前的重点工作。传统的数据库弊端日益显现，响应速度较慢，且数据加载周期长，实时性差，应用范围有限。计算机技术更新速度较快，在不断实践中，实时数据库逐渐兴起，解决了传统数据库存在的诸多问题，能够为电力企业做出决策提供精准及时的数据信息，目前广东电网公司也已展开了实时数据仓库的建设。

1 实时数据仓库应用现状

数据仓库作为一种现代化技术支持工具，多用于现代企业的分析决策工作。通常包括数据采集、数据分析和数据存储三个层次，但体系结构并不固定，需根据企业实际需要而定。随着信息化水平的提升，电网企业各项活动中产生的资料数据越来越多，对数据仓库也提出了更高的要求。

实时数据仓库便在这种背景下应运而生，其存储数据包括静态和动态两大类，前者用于查询需要，后者则主要是满足实时性需求，当数据源中数据一有更新，就会立即传输到数据仓库中，实现两者同步。与传统数据仓库相比，它具有诸多优势，如更新周期缩短，能够实现数据双向传输，且可以主动获取所需数据，并支持战术性和战略性决策，分析处理时能提供实时数据分析，在电网企业中备受青睐。

其应用范围较广，如用于电力行业时，可对潜在的风险加以预防监控，改变以往的被动补救方式为主动防御，通过数据分析，发现潜在的生产风险并及时消除，确保电力生产安全。对于进行生产调度、客户服务时，实时查询功能比较突出，一方面电网企业根据负载数据了解电网负荷情况，调度更加方便，一方面客户也可随时了解用电服务信息。另外在资产管理中也有应用，通过对对电网资产的查询，可获取资产的购买、入库、领取、安装等信息，并能对其进行实时监控。

2 实时数据仓库的设计和构建

传统的数据仓库是建立在数据仓库（DW）和业务数据库（DB）的基础上的，有一定的局限性，在此设计一种三层体系结构的实时数据仓库，即DB-ODS-DW结构，ODS层在DW层和DB层之间。ODS是一种关系型数据库，其应用可分担数据ETL中的某些工作，不过考虑到其存储数据量较大容易丢失，往往只能保持实时数据，所以需将其载入到数据仓库中。

2.1 DB-ODS-DW体系结构

与传统数据仓库相比，该结构多了ODS层，它位于数据仓库和业务数据库之间，起着承上启下的作用。作为关系型数据库，它能够实现分散数据到面向主题数据的转变，经过和OLAP分析工具，可将查询分析结果以表格图形的方式呈现出来。同时，ODS层还能分割日常工作或决策所需的数据。它的应用使得数据传输接口更加简化，明显减轻了数据加载传输的负担，有效提高了系统性能。

ODS层的优势主要有以下几点：首先将原来的操作型和分析型环境完全隔离开来。数据仓库数据源较为复杂，经常来自不同位置的不同系统，将这些数据抽取到数据库具有很大难度。而ODS层可直接从业务数据库中抽取，且与来自源系统没有大的差别，这就使得加载效率明显有所提升。其次可减轻应用系统负担，之前的数据查询工作多由应用系统完成，随着数据量的增加，应用系统负担加重。而ODS层可将其部分查询功能进行转移，从而减轻应用系统分担。此外，ODS层还能完成传统数据库没有的功能，能够为决策工作提供诸多便利。

2.2 ODS系统设计

采用关系设计和多维设计相结合的方法，前者可与源数据库相适应，后者有利于提高数据的查询分析效率。要想实现这两点有很大的困难，必须协调好其关系。实际应用中，ODS系统可作为业务数据的转存，根据实际情况的变化保留数据产生和更新的记录，进而生成所需的多维数据。整个过程在ODS层完成，可减轻数据仓库和事务系统负担，从而提高系统效率。

3 ODS层的ETL设计

ODS系统需对当前数据加以处理，要经过数据初装和初装完成后的数据装载两个阶段。可见，其关键在于如何捕获增量数据、如何实现汇总更新。在此主要对这两个问题进行分析。

3.1 捕获增量数据策略

在此介绍一种触发器方式，在需要抽取数据的表上建立触发器，一般需要建立插入、修改、删除这三个触发器，一旦源表中的数据发生了变化，对应的触发器就会将变化了的数据写入至一张临时表中，再由抽取线程将数据从临时表中抽取出来，而临时表中被抽取过的数据将被标记或者删除。这种方法获取数据的性能较高，使用的ETL规则较简单，加载速度快，不用修改业务系统的表结构，能够实现数据的递增加载。但是要求业务表建立触发器，会对业务系统有一定影响。

3.2 汇总更新策略

常见的数据汇总更新方式有两种：一种是对基础数据进行全量汇总更新，另一种方式是使用实体化视图进行数据汇总更新。本文提出了基于ODS中的实时分区的数据汇总更新策略。从实时数据仓库系统中分离出来的ODS分区，可以用来存储点滴导入的数据，所以此分区经常被称作“活动分区”，或者“delta分区”。一旦数据增量更新发生，可将这个活动分区置为脱机，或者是对所有用户的查询操作不可见，然后依据一个先前规定好的时间间隔，通常为几分钟，重新命名活动分区表，让其能够融合至数据仓库的表当中。当与数据仓库的表融合之后，即可在融合之后的新的数据上面进行查询分析操作。整个过程通常称作实时数据翻转，这样可以有效避免直接对底层基础数据进行汇总而带来的大量系统资源消耗。但是此活动分区在数据翻转的过程中可能被物理地消耗掉，如果出现这种情况，系统将会辟出一个新的活动分区用来保证汇总更新的持续进行。

4 结束语

实时数据仓库在当前社会具有广泛应用，作用越来越突出，与传统数据仓库相比，具有诸多优势。但随着对其要求的提高，以及数据量 的增多，该技术还有很多地方需要改进。

参考文献

[1]成洁.构建实时电力数据仓库的关键技术研究[J].软件工程，2012.

[2]刘双喜，王翠茹.基于SOA的电力系统实时数据仓库技术研究[J].电力信息化，2008，24（10）：165-167.

[3]寿挺，肖善钟，陆翔.一种采用实时分区实现实时数据仓库的方法[J].电力信息化，2009，25（4）：143-144.

作者简介

李志华（1978-），男，广东省梅州市人。大学本科学历。现为广东电网公司梅州供电局信息系统监理师，主要从事电力信息系统应用集成和移动作业等方面管理和研究。

作者单位

广东电网公司梅州供电局 广东省梅州市 514021