数据仓库技术在银行业绩价值管理系统中的应用

摘要:利用数据仓库技术对企业内部积累的大量历史数据以及可能得到的外部信息进行分析和挖掘,提取有价值的信息,帮帮管理人员分析业务状况、预测市场,作出正确的决策。《业绩价值管理系统》(Performance Value Management System,简称PVMS)以数据仓库的方法理论和实现手段,以银行核心系统为主要数据源,综合计算收益、成本、风险,从四个角度――产品、机构、客户群、服务渠道考核银行经营业绩。

关键词:数据仓库;数据挖掘;业绩价值管理系统;银行核心系统;商业智能技术

中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)35-9891-04

Application of Data Warehouse Technology in Bank's Performance Value Management System

CHEN Nong-xin1, ZHANG Xiao-yan2

(1.Heyuan Polytechnic,Heyuan 517000,China;2. Educational Information Technology Center,South China Normal University,Guangzhou 510631,China)

Abstract: Data warehouse technology is used to analyze and dig a huge amount of historical data accumulated in bank as well as outside information obtained possibly and to find valuable information,which will help the manager analyze the business situation, predict market and make right decisions. Revenues, costs, risks are calculated using data warehouse to exam banks’ operating results from four perspectives -products, agencies, customer base and service channels in PVMS,which based on bank core system as main data source.

Key words: data warehouse; data mining; PVMS; bank core system; commerce intelligence technology

随着国内金融服务市场的开放、竞争,银行多样化的产品、服务发展和信息技术的突飞猛进,从市场、质量、效益、成本、改革这五个方面看,建立数据仓库对我国银行的发展都具有非常重要的意义 [1] 。

当前,国内银行的利润报告体系很不完整,传统的三大报表不能准确衡量各业务单元、产品、客户群、渠道,特别是单个客户的责任成本和贡献,成为决策的瓶颈。

为有效地为上述问题的决策提供依据,业绩价值管理系统主要由成本分摊、内部转移价格、贷款实际损失、关键业绩指标四大模块构成,从业务单元、产品、客户群、渠道等角度考察银行的收入和成本, 产生业绩价值报告。从而在国内银行系统范围内,做到多角度准确评估和把握业绩状况,产生分业务单元、产品、客户群、渠道的四分一体的业绩报告,实现面向管理、面向市场、面向客户、面向决策的自动化业绩价值管理系统。系统兼具现实性与前瞻性、多维性与整体性,能够适应业务品种的变化。

1 数据仓库的理论和技术

1.1 数据仓库技术

1.1.1 数据仓库概念

20世纪90年代初,美国著名信息工程科学家W.H.Inmon提出数据仓库的概念是:“数据仓库就是面向主题的、集成的、稳定的、不同时间的数据集合,用以支持经营管理中的决策制订过程。[3]”,主题是指用户使用数据仓库进行决策时所关心的重点方面;集成是指数据仓库中的信息不是从各个业务系统中简单抽取出来的,是经过系统加工、汇总和整理,保证数据仓库内的信息是关于整个系统的一致的全局信息。所谓稳定,是指一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的插入和查询操作,但修改和删除操作很少。所谓包含历史数据的,是指数据仓库内的信息并不只是当时或某一时点的信息,而是系统记录了从过去某一时点到目前的各个阶段的信息,通过这些信息,可以表明发展历程并对未来的趋势作出定量分析和预测。

数据仓库既是一种结构和富有哲理性的方法,也是一种技术,数据仓库至少应包括3个基本的功能部分[4]:数据获取、数据存储和管理和信息访问。

1.1.3 数据仓库的组成

数据仓库由以下几个部分组成[5]。

1) 源系统(Source Systems)。即各种事务型数据库, 它们是数据仓库数据的来源。

2) 数据转移和清理工具(Data Transport and Cleansing)。它们是将数据从源系统中转移到中央存储库并加以清理的软件, 一般具有描述数据在不同系统之间映射的图形界面。数据清理包括消除数据的不一致, 更新过期数据和补齐缺失数据。

3) 中央存储库(Central Repository)。这是数据仓库中实际存储数据的部分。它包括以下三个关键要素: 可扩展硬件、关系型数据库系统和逻辑数据模型。

4) 数据集市(Data Marts)。数据仓库通常有成百上千的用户, 这些用户对数据仓库往往有不同的要求, 而用一个集中的系统来满足所有用户是低效的。解决这一问题的方法是采用面向某一部门或某一应用的数据仓库――数据集市。数据集市一般通过创造中央存储库中原有数据库的视图来实现。

5) 在线分析处理(Online analytical processing, OLAP) 工具。OLAP是一种基于多维数据模型的分析工具, 它可以提供数据的多层面, 多角度的逻辑视图, 为复杂的分析查询产生快速响应。用户可通过OLAP对数据仓库进行有效的利用。

1.2 数据挖掘

1.2.1 数据挖掘的概念

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这些数据可以是结构化的,如关系数据库中的数据,也可以是半结构化的,如文本,图形,图像数据,甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的,也可以是非数学的,可以是演绎的,也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等,还可以进行数据自身的维护。数据挖掘借助了多年来数理统计技术和人工智能以及知识工程等领域的研究成果构建自己的理论体系,是一个交叉学科领域,可以集成数据库、人工智能、数理统计、可视化、并行计算等技术。

1.2.2 数据挖掘的主要步骤、任务、方法和应用

数据挖掘一般有以下几个主要步骤:数据收集、数据整理、数据挖掘、对数据挖掘结果的评估以及最终的分析决策。数据挖掘过程需要多次的循环反复,才有可能达到预期的效果。

数据挖掘技术的目标就是从大量数据中,发现隐藏于其后的规律或数据间的关系,从而服务于决策。

数据挖掘主要任务有:数据总结、分类、关联分析和聚类分析。

数据挖掘工具采用的主要方法包括决策树、相关规则、神经元网络、遗传算法,以及可视化、OLAP联机分析处理等,另外也采用了传统的统计方法。

目前,数据挖掘的研究和应用非常热门,应用主要集中在以下几个领域:金融、市场业、工程与科学研究、产品制造业、司法和证券业。

2 系统总体设计

业绩价值管理系统主要由成本分摊、内部转移价格、贷款实际损失、关键业绩指标四大模块构成,从业务单元、产品、客户群、渠道等角度考察银行的收入和成本。本系统完成成本分摊和关键业绩指标、实际贷款损失和内部转移价格的计算和分析,从而产生业绩价值报告。

2.1 系统设计概要

本系统的设计原则是以自顶向下设计为主线,以自底向上的方法论进行设计审查,以减少后续主题开发中的重复建构。

项目设计分三层。

第一层:系统总体逻辑结构,如图1所示。

对数据流的各个处理阶段说明:

1) 数据下载和OLTP存储:数据仓库的数据源主要是银行核心系统的各个子系统以及必要的手工信息输入;

2) 数据仓库处理:以总分类帐为中心,包括三大处理内容:数据清理、数据仓库加载和存储、数据汇总导出;

3) 数据集市处理:维度定义和参数维护、数据导入和数据整合、报表制作;

4) 面向普通用户的静态报表浏览展现、面向高级用户的客户端分析以及用户管理。

第二层:对上述四部分进行细化设计,重点是第二步围绕数据仓库及其计算的处理,将其局部放大,从数据源到最终用户界面的处理如图2所示。

第三层:各模块的详细设计。

2.3 数据流程图

根据最终所要生成的利润报告的数据组成要素,把整个系统划分为关键业绩指标、成本分摊方案、中间转移价格、贷款实际损失四大功能组件。四大组件均包含存储模型和计算模型两种成分。

数据处理的逻辑模型如图3所示。

2.4 数据仓库设计

1) 数据模型设计

根据本项目的特点,设计了三个主题存储域:客户、帐户、帐务。其关系如图4所示。

图中产品用虚线椭圆表示,是由于在业务系统中并无明确的产品概念,而是在本系统中根据需要而增加的。图中实线椭圆内各实体说明如表1所示。

2) 客户主题域

客户主题域包括客户信息和银行评级或分类。前者主要来自银行核心系统中客户信息系统;后者来自本系统或相关系统(包括人工系统)的运行结果。

3) 产品定义

产品定义是本项目的基点,本项目采取在科目层面对产品进行定义,在账户层面(通过科目定义到产品后)对产品进行数据归集和计算。产品定义分为两部分:产品的资产负债定义和损益定义。

3 系统的分析建模

业绩价值管理系统主要由成本分摊、内部转移价格、贷款实际损失、关键业绩指标四大子系统构成,从业务单元、产品、客户群、渠道等角度考察银行的收入和成本,产生业绩价值报告。

3.1 成本分摊

首先,该子系统先将成本分类成共享成本和直接成本。再根据得到的成本,将其分摊到各个产品(帐号)当中。

3.1.1成本归集和维度

1) 成本归集定义

① 成本归集的目的是将发生的费用归集到相应的成本中心。归集到成本中心的成本包括直接成本、共享成本。

② 进行成本归集的数据源为计财系统的计帐明细表

2) 维度定义

在该系统中,根据报表、分析的角度和内容,分为三个维度:机构、产品和指标项目。

3.1.2 成本分摊建模

1) 成本分摊的基本流程(由成本中心至网点―产品)如图5所示。

2) 分摊基数

① 网点:发生在网点的成本全部是经营成本,直接分摊到网点的产品上去;

② 支行经营部门成本按照基数分摊法直接分摊到所属网点的产品上;

③ 分行经营部门成本按照基数分摊法直接分摊到所属网点的产品上;

④ 支行办公室成本首先按支行三部的各部人头数分摊到这三个经营部门,然后按照各部门成本分摊规则,将该部分成本分摊到网点的产品上;

⑤ 分行管理部门的成本分摊:

a) 按人头基数分摊到分行经营部门(A)和所属各支行(B);

b) A部分成本按照相应的经营部门的分摊基数分摊到网点产品上;

c) B部分按支行中三部一室的人数分成4部分,然后按相应的规则分摊到网点产品上。

3.2 内部转移价格

内部转移价格,也叫中间转移价格(以下简称MOR),是指企业内各部门之间由于相互提品、半成品或劳务而引起的相互结算、相互转账所需要的一种计价标准。转移价格广泛地应用在企业决策制定、成本计算、业绩评价等方面。它与公司经营战略和公司的内部控制、管理制度相关。

MOR的计算建模主要分为以下五个步骤,其计算频率和计算时间段皆为一季度。

1) 导入现行三大资金市场的各期限参考利率和现行的存、贷利率;

2) 计算无市场利率的各期限利率,得到完整的基准利率;

3) 计算分期限、分市场的资金量Ak 、Bk 、Ck 。其中k为各个期限;

4) 根据资产与负债的利差和利差分配方式,计算各期限资产/负债的MOR。

假设利差为0.5%(“利差”要可维护),分配方式为均分,计算公式为

资产MOR(k)= (Ra *Ak + Rb * Bk + Rc * Ck)/ (Ak +Bk+Ck) + 0.45%

负债MOR(k)= (Ra *Ak + Rb * Bk + Rc * Ck)/ (Ak +Bk+Ck) - 0.45%

其中:k为各个期限。

5) 计算各产品的MOR。方法有两种,一是根据该产品各期限余额占比计算,二是根据该产品各期限的沉淀率计算。

3.3 贷款实际损失

1) 根据上个报告期的贷款实际损失率,计算期初贷款损失A1。

2) 计算本报告期的贷款实际损失率。

贷款实际损失率L按以下公式计算:

贷款实际损失率L(k) = 不良贷款发生率E(k) * (1C回收率)

其中:回收率作为参数由人工输入,k为各种逾期天数。

3) 计算本报告期内贷款实际损失ALL

把期末所有贷款根据其逾期天数分为k类,假设每一类的期末余额为B(k),根据第2步得出的本报告期的贷款实际损失率L(k),可计算期末贷款损失A2

A2 = ∑ B(k) * L(k)

其中: k为各种逾期天数。

本报告期内贷款实际损失ALL = 期末贷款损失A2 - 期初贷款损失A1

4 总结

银行的利润和成本是相辅相成的,某项业务、某个产品、某个部门的利润收入,一定与其所占用的银行资源密切相关,因此,深入理解业务的出发点,就应当是对银行业务的完整观察,所看到的不仅仅是业务的收入情况,还要综合考察业务、产品、部门的成本情况,只有这样,才能综合判断银行某个产品、某项业务、某个部门的盈利率,才能正确指导银行的投资方向决策。数据仓库建设的第一步,是统计银行的业务数据,不仅包括核心业务的数据(包括会计、零售、信贷、卡业务、国际结算等),还应包括内部财务管理的数据(如成本、费用等),该系统以数据仓库的方法理论和实现手段,以银行核心系统等系统为主要数据源,综合计算收益、成本、风险,从四个角度――产品、机构、客户群、服务渠道考核银行经营业绩;提供信息,指导银行的投资方向。

参考文献:

[1] 张成虎.金融电子化热点问题透析[D].西安:陕西财经学院计算机科学系,2006.

[2] 夏火松.数据仓库与数据挖掘技术[M].北京:科学出版社,2004.

[3] Han Jiawei,Kamber M.数据挖掘概念与技术[M].范明,译.北京:机械工业出版社,2001.

[4] Inmon W H.Building the Data Warehouse Third Edition[M].王志海,林友芳,译.北京:机械工业出版社,2002.

[5] 锡德 阿德尔曼.数据仓库项目管理[M].薛宇,译.北京:清华大学出版社,2003.

[6] Kimball R.数据仓库工具箱―维度建模的完全指南[M]谭明金,译.2版.北京:电子工业出版社,2003.

[7] 林宇.数据仓库原理与实践[M].北京:人民邮电出版社,2003.

[8] 林杰斌,刘明德,陈湘,等.数据挖掘与OLAP理论与实务[M].北京:清华大学出版社,2003.