综述数据仓库技术在配网自动化中的应用

摘 要:针对配电网的实际情况介绍数据仓库技术,结合配网自动化讨论了数据仓库在配网自动化中的应用,提出了配网数据仓库的总体结构,并着重讨论了配网中数据仓库的设计。

关键词: 数据仓库配网自动化数据模型

中图分类号：C37 文献标识码：A 文章编号：

数据仓库定义为:”数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合”。与传统数据库相比,有以下几点区别:

(1)目标 传统的数据库主要用于企业各部门业务数据处理,是事务驱动方式;数据仓库的建立则是用于数据分析与决策分析,属于分析驱动方式。

(2)运行数据 由于驱动方式不同,因此传统数据库的数据是非常详尽的结构化的与业务相关的当前数据信息;而数据仓库的数据则是由商务模型决定的非结构化的,经过对历史数据汇总、筛选、聚合、分割、叠加等操作方式产生,还可以包含各种图文资料、规则等数据。

(3)容量 用于数据分析的数据仓库,其数据容量一般是传统数据库的103~106倍,可达TB(1012Byte)数量级。而且数据可以跨越数据库的不同版本,可以存储在多个存储介质上。

电力系统的运行和管理将产生大量的数据,尤其SCADA和MIS等系统保存了大量的实时系统运行信息、原始营业数据和其它详细资料,这些数据真实地反映了电力用户情况和电力企业的实际运行状况。但如何对这些大量的数据进行有效的统计、分析、预测和评估,从中快速准确地提取用于电力企业科学决策的信息,为管理决策提供依据,是有别于已建立的MIS等系统的重点工作。对于配网企业而言,对用电特征的分析对于企业取得更大的经济效益有着重要的作用,在当今电力市场形势下也尤为必要。而传统的数据库及其应用程序只能对许多细节的、结构化的数据进行处理,而对这种分析需要则无能为力。因此,数据仓库技术应运而生。它突破了传统的简单的数据库表模式应用,更为贴近决策思维过程,能代替决策者进行复杂的数据与信息的处理,并及时提供正确决策所需的全部信息。对数据仓库在电力系统中的应用已经有了一些探讨,针对地区级配网的应用也作了一些尝试。

1 数据仓库系统的总体架构

首先以扬州智能配电网为例,说明数据仓库在配电网中的应用,总体架构如图1所示。

1.1 数据源

建立配电网数据仓库要确定数据源,包括几个方面的数据:

电信息等,主要的数据:用户表、用户购电表、每日耗电表等。这些数据主要由电力MIS数据库中读入。

(2)电网实时数据 包括每天96点的负荷、电压、电流等数据的实时参数。这些数据主要由SCADA和EMS数据库中读入。

(3)电力设备台帐及地理信息 包括主要设备的性能参数、固定资产、网络地理分布等数据。这部分数据主要由电力MIS和GIS数据库中读入。

(4)其他的数据 如可靠性计算结果、系统安全校验结果等专用软件计算结果也需要读入。所有这些数据源中有些是需要经常更新的,如电网实时数据等。而如设备台账等信息则应当在数据源的数据变更后才重新导入数据仓库中。

1.2 数据处理

通过专门的数据接口对数据源进行数据的提取、转换、清洁,进入数据仓库中。数据处理模块要实现的功能包括数据的提取和转换装载、元数据的建立和数据仓库的建模。所有这些数据都存储到中央数据库中。由于各数据源采用不同的数据组织形式和操作系统平台,加上应用的不同可能造成的数据不一致问题,所以在构建数据仓库时必须通过数据转移工具将这些数据按一定的规则集中到数据仓库中,从而保证数据的一致性,达到充分利用各种数据源的目的。

对于从异构数据库中提取数据可以采用ODBC或OLE DB等通用接口,也可针对不同的数据库编写专用的接口程序。

数据处理需要针对不同的数据源按一定的时间规则对数据仓库中的数据进行刷新与重新综合。

1.3 数据仓库

存储数据以供分析使用。根据不同的分析要求,数据按不同的综合程度存储。它类似于一个中央数据库,但又不同于传统的数据库。由于数据庞大,故宜采用C/S结构。

1.4 数据分析与挖掘

建立数据仓库不仅是为了存储量的信息,更重要的是要对这些大量的数据进行分析处理,从而为决策提供有效的寿命。因此,数据分析与挖掘是总体架构中必不可少的重要环节。它包括以MIS为代表的查询报表工具,以OLAP(联机分析处理)为代表的验证型工具,以DM(数据挖掘)为代表的挖掘型工具。研究需要提取各种各样的原始资料,传统的查询手段主要通过编写程序来实现,这样做的模式是固定的,且维护工作量大。如果使用数据仓库的前端查询工具,它能提供随机查询的功能,研究人员可以进行任意条件、任意模式组合的查询,而不需要编写任何程序。同时,利用数据仓库前端分析工具,研究人员能够方便地产生各种多维比较报表和统计图形,如条形图、饼图、曲线图等,这些图形和报表可以很方便地插入到研究报告中去。另外,还可以利用数据挖掘工具中的神经网络、规则递归、遗传算法等人工智能算法去预测电力市场发展和开拓电力市场。

1.5 客户应用

配电网建设数据仓库的最终目的,是让配网的调度和管理人员能够方便地使用数据仓库这一集成的决策支持环境以获取有价值的信息,从而能对不断变化的网络运行和销售状况作出迅捷准确的判断和制定相应的对策。因此,界面友好、功能强大的客户服务端也需要被集成到总体架构中。目前最实用的就是采取B/S方式,通过WE服务器为各工作站提供查询、分析等服务。

2 数据仓库的设计

构造数据仓库是成功创建数据仓库的关键步骤,它与传统数据库的联机事务处理(OLTP)有很大的不同。OLTP系统的主要任务是执行联机事务和实时查询处理,而数据仓库的目的是组织大量的稳定数据以便于快捷、方便地得到数据的总体视图,供决策人员进行细致的分析,做出准确的决策。由于目的不同,在数据仓库设计中有许多不同于OLTP数据库设计的考虑。

首先要考虑数据仓库的粒度。所谓粒度,与数据仓库结构相关,是指数据仓库中1组数据单元所包含数据的详尽程度。数据内容越详尽,其粒度就越低,能支持的查询就越多;数据内容的汇总程度越高,其粒度就越高,能支持的查询就有限。粒度并非越低越好,因为低粒度同时也意味着庞大的资源占用,用高粒度则使数据难以提供足够的分析信息。因此对数据仓库设计者来说,最关键的是合理地确定数据仓库中数据的粒度。数据仓库内的数据存储分为四个等级:高度综合级、轻度综合级、当前细节级、早期细节能。原始数据经过集成后,首先进入当前细节级,并根据需要进一步综合,进入轻度综合级乃至高度综合级。老化的数据则存入早期细节级。在配网中,根据数据类型的不同,其粒度的划分也不尽相同。对网络运行的实时数据,将高度综合级的数据按年或月存储,轻度综合级的数据则按天或小时存储。而对于实时性不强的数据,高度综合级的数据则按年存储,轻度综合级的数据则按月存储。

另一个重要的步骤就是数据模型的建立。数据模型是对现实世界进行抽象的结果,是面向主题建立的,同时又为多个面向应用的数据源的集成提供了一个统一的标准。最常用的数据仓库模型是星型模型和雪花模型。星型模型以事实表为中心,四周为维表,维表和事实表通过关键字相关联。雪花模型是对星型模型的扩展,增加了层次结构,体现了维的不同粒度的划分,其优点是能通过最大限度地减少数据存储量以及把较小的标准化表联合在一起来改善查询性能,但同时由于增加了用户必须处理的表的数量(即降低了粒度),会增加某些查询的复杂性联系配网的实际,可以对实时数据、运行数据等采用星型模型建模,如图2表示的就是遥信数据的星型模型;而对营业信息数据等则采用雪花模型来建模,如图3所示的售电情况事实表。

总的原则是根据分析应用的实际需要,对查询分析要求较高的数据采用雪花模型,而对查询分析要求较低的数据则采用星型模型。

3 结论

数据仓库是以数据库技术作为存储数据和管理资源的基本手段,以统计分析技术作为分析数据和提取信息的有效方法,以人工智能技术作为挖掘知识和发现规律的科学途径。因此,它是诸多学科相互结合、综合应用的技术。它最大的特点与优势就在于能对大量的历史数据进行快速提取和分析,为管理决策提供有价值的依据。

在配网的实际应用中,能有效地与配网自动化相结合,并能使配网运营企业通过数据分析,有针对性地加强管理和开拓市场,提高企业的经济效益。

参考文献:

[1] 袁 林.基于数据仓库的辅助决策系统设计与实现.电力系统自动化[J].2001,25(21):25-27

[2] 王为国,曾伟民,代 伟.基于数据仓库的一体化电力调度自动化系统.电力系统自动化[J].2003,27(12):67-70

[3] 石 丽,佟 贺,李洪凯.供电预测数据仓库的建设[J].电力系统自动化,2003,27(13):75-77.

[4] 杨 光,张 雷,艾 波.数据仓库及联机分析处理技术[J].计算机工程与科学,2000,22(1):39-42