基于数据仓库的决策支持系统

基于数据仓库的决策支持系统

(武汉理工大学华夏学院,湖北 武汉 430072)

【摘要】 首先阐述了数据仓库技术的特点和体系结构,接着分析了传统的决策支持系统和存在的问题,并在此基础上提出了基于数据仓库的决策支持系统框架。

【关键词】 决策支持系统;数据仓库;OLAP

决策支持系统(Decision Support System,DSS)的概念是在20世纪70年代由美国麻省理工的Michael S.Scott Morton和Peter G.W.Keen首次提出,是信息系统研究的一个新的发展阶段。目前,DSS已经成为系统过程与计算机应用领域中的重要研究课题。1980年Sprague提出了决策支持系统三部件结构(对话部件、数据部件、模型部件),明确了DSS系统的基本组成,极大地推动了DSS系统的发展。20世纪80年代末90年代初,DSS系统开始与专家系统(Expert System, ES)相结合,形成智能决策支持系统(Intelligent Decision Support System,IDSS)。20世纪90年代初期,数据仓库(Data Ware,DW)技术的出现为DSS系统的发展提供了新的思路。

一、数据仓库技术

自从数据仓库概念出现以来,不同学者从不同的角度为数据仓库下了不同的定义。目前,大家公认的数据仓库之父W・H・Inmon在1992年所著《Building the Data Warehouse》一书中对数据仓库的定义最具权威性,他认为数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrated)、非易失的(Nonvolatile)且随时间变化(Time-variant)的数据集合,用来支持管理人员的决策分析。数据仓库的体系结构可以分为四个层次:源数据、数据预处理、数据仓库数据存储与管理、应用工具(如图1所示)。

源数据层:为数据仓库提供了数据源,如各种应用系统数据库,联机事物处理系统的操作型数据,外部数据源等均可以作为数据仓库的源数据。数据预处理层:主要工作是对数据源进行定义,从数据源中提取数据到预处理数据区并在预处理区中对数据进行清洗、转化等处理,再将数据加载到数据仓库中。数据仓库数据存储与管理层:该层是整个系统的中心,其核心功能是完成数据仓库的建模、确定数据仓库的粒度级别、存储经检验、整理、加工和重新组织后的数据、指定数据仓库的物理存储模式、确保数据仓库的运行效率等。应用工具层:为了使数据仓库用户能有效地使用数据仓库中的信息,进行深层次的综合分析和决策,数据仓库系统要向用户提供一整套数据访问和分析工具。常用的应用工具主要是OLAP(On-Line Analytical Processing,联机分析处理)工具和数据挖掘工具。

图1数据仓库的体系结构

二、传统决策支持系统

1.传统决策支持系统。决策支持系统(DSS,)是由电子数据处理系统(EDPS,Electronic Data Processing System)、管理信息系统(MIS,Management Information System)逐步发展而来,支持半结构化和非结构化决策,允许决策者直接干预并能接受决策者的直观判断和经验的动态交互式计算机系统。传统的决策支持系统主要是以模型库系统为主体,通过定量分析进行辅助决策。其模型库中的模型已经由数学模型扩大到数据处理模型、图形模型等多种形式,可以概括为广义模型。决策支持系统的本质是将多个广义模型有机结合起来对数据库中的数据进行处理而形成决策问题大模型。对于DSS的结构,最初由R.H.Spraque提出了基于人机对话系统、数据库与模型库的两库结构。后出现的三库结构则实现了模型与方法的分离存储,即添加了方法库。在近年来,把人工智能技术、专家系统、知识工程的思想方法引入DSS后,即在原来的结构基础上,增加了知识库,并引入了推理机制,就形成了DSS的四库结构框架(如图2所示),从而使DSS成为智能决策支持系统(IDSS)。

2.传统决策支持系统的问题。随着数据库应用的不断推广,对数据的处理呈现多层次的特点。目前数据处理一般可划分为两大类:事务处理和分析型处理。事务处理主要是针对数据的日常操作,以事务快速响应及频繁的数据修改为特征;分析型处理则主要用于决策分析,以支持决策,如DSS、多维分析等,它们往往需要大量的历史数据。二者之间的这种差异使得两类数据处理的分离成为必然,也对传统的DSS提出了挑战。传统的DSS一般是建立在事务处理环境上,因而其对数据信息缺乏分析能力,随着用户对信息需求的不断增强,传统DSS存在的问题也就逐渐显露出来了。

图2DSS的四库结构

(1)传统DSS缺乏内在的统一性。传统的DSS是以模型库、数据库、方法库所组成的系统结构。可是在DSS的开发过程中,模型库、数据库和方法库往往被独立的设计与实现,从而使传统的DSS在系统结构上很难达到内在的统一性和完整性,因而应用效果并不理想。

(2)传统DSS缺乏强有力的工具。企业决策是一个提出问题――分析问题――解决问题的循环过程。分析的过程实质上是一种不断抽取的过程,即要对大量分散的数据进行快速综合分析,然后从中捕获与决策相关的信息。传统的DSS往往侧重于抽象的理论,在理论上和方法上过于复杂,缺乏有效的分析工具,也就得不到有效的分析结果。

(3)传统DSS没有充足数据源的支持。传统的DSS所进行的数据处理是直接利用关系数据库的数据,只能对原始数据进行一般的加工和汇总,致使决策所需信息不足,难以满足DSS的需要。数据库中的数据还存在以下缺点:一是缺乏组织性,从各个部门抽取的数据没有统一的格式标准,数据杂乱且不稳定;二是数据的利用率低,由于数据缺少统一标准,难以转化为有用的信息,原始数据定义的不一致性导致其可信度降低;三是数据存储不完整,DSS只有对较长一段时间的完整数据进行分析才会有较高的预测率;四是缺乏综合的数据,数据库中存储的是进行事务处理时积累的大量的细节数据,如果对这些细节数据进行分析必然会影响分析效率,分析人员也要花费大量的时间和精力而忽略了有用的信息,往往要求对这些细节数据进行不同程度的综合。

(4)传统DSS开发困难。传统DSS的各部件中只有数据部件有成熟的商品软件可以直接使用,其他部件及部件的接口和集成问题需要自行设计和开发。计算机语言对传统DSS的接口技术和集成技术的支持能力有限,研制新语言又需很大代价。

三、基于数据仓库的综合决策支持系统

数据仓库是一种新兴的管理技术,将分布在企业网络中不同站点的商业数据集到一起,为决策者提供各种类型、有效的数据分析,起到决策支持系统的作用。在传统的决策支持系统基础上,将数据仓库、联机分析处理、数据挖掘技术结合起来,形成了更高级形式的决策支持系统。其中数据仓库主要实现对数据的存储和聚合;联机分析处理主要是对多维数据进行切片和切块、钻取、旋转,以实现多维数据分析,便于投资者从不同角度观察有关数据;数据挖掘主要采用决策树方法、粗集方法、神经网络方法、遗传算法、统计分析方法、模糊论等多种方法挖掘数据库和数据仓库中的知识;专家系统利用知识推理进行定性分析;传统决策支持系统的模型库与数据库功能未变,模型库实现多个广义模型的组合辅助,数据库为辅助决策提供数据。它们集合成的综合决策支持系统将相互补充和依赖,发挥各自的辅助决策优势,实现更有效的辅助决策。将以上三部分结合起来就形成了一个新的决策支持系统结构,综合决策支持系统的结构(如图3所示)。

从图3中不难看出,基于数据仓库的综合决策系统包括三个主体:第一个主体是模型库系统和数据库系统的结合,它是决策支持的基础,为决策问题提供定量分析(模型计算)的辅助决策信息;第二个主体是数据仓库、OLAP它从数据仓库中提取综合数据和信息,这些数据和信息反映了大量数据的内在本质;第三个主体是专家系统和数据挖掘的结合。数据挖掘从数据库和数据仓库挖掘知识,放入专家系统的知识库中,由知识推理的专家系统达到定性分析辅助决策。三个主体既可以相互补充,又可以相互结合。根据实际问题的规模和复杂程度决定采用单个主体辅助决策还是多个主体相互结合辅助决策。

图3基于数据仓库的综合决策系统结构图

由于数据仓库和OLAP技术是近年来才发展起来的新技术,对它的研究还刚刚起步,特别是它与决策支持系统的集成过程中还存在许多需要探讨的问题和需要解决的关键技术,因此,在研制中需要克服很多困难,这是今后努力的方向。

参考文献

[1]武森.数据仓库与数据挖掘[M].冶金工业出版社,2003

[2]徐洁磐.数据仓库与决策支持系统―数据库应用系列丛书[M].科技出版社,2004