证券公司的数据中心建设研究

背景:随着全球经济一体化市场环境的逐步形成，面对国际、国内的竞争环境，如何利用信息技术手段强化业务管理水平，控制经营风险已是证券行业所面临的一个重大课题。另一方面，2007年5月的中美经济战略对话会议中，我国将允许外资证券业投资者和从业人员通过合资等方式从事我国的证券经纪，自营和资产管理等业务。对于我国证券公司来说，如何有效的利用现有资源应对国内外复杂环境下的竞争成为当前紧迫的任务之一。

我国证券公司的现状分析:我国各个证券公司经过十余年的信息化建设，先后建立了OA系统、集中交易系统和风险控制等信息系统，各个业务部门也分别建立了一批与本部门业务相关的信息系统，如计划财务部的财务系统、登记结算中心的法人清算系统、资产管理部的集合理财管理系统以及经纪业务部的CRM系统等。这些信息系统的建设大大提高了工作效率，实现了公司内部主要业务的自动化、规范化管理，为提高管理水平和公司运作效率起到了重要的推动作用。

然而，随着信息系统的运行而积累了大量的历史数据，目前的各类信息系统中，对于该类数据资源的利用明显不足，信息孤岛现象十分明显。主要表现有：

数据资源不能共享，给数据挖掘和决策分析带来一定的难度。各部门之间的数据资源不能互通，造成各个业务系统相对孤立和无序。历史数据不能充分利用，大量数据资源处于闲置和浪费的状态。如何有效的利用它们，使之能够为企业创造直接或间接效益值得深入探讨。本文认为，通过建设切合实际而有效的证券公司企业级数据中心将能有效的解决这一问题。

一、证券公司中的数据中心

1.数据中心的定义和特点。在企业管理集约化、精细化的需求下，企业为了优化业务和管理流程而进行信息系统的数据集中。数据中心是企业数据集中的载体和的支持平台，是实现数据集中的必要手段。数据中心在企业中根据其发展成熟程度的不同主要分为以下四个阶段。首先是企业的存储中心，以单服务器存储企业总体数据为其特点，随着企业管理复杂程度的发展逐步演变成为企业数据处理中心。当简单的计算不能满足企业要求时，数据中心必须面向业务，面向应用即企业业务和应用中心。最高一级的数据中心是企业的运营中心。根据相关IT咨询机构的调查和统计，目前国内企业的数据中心建设主要还处在数据应用中心为主这一阶段，但是像运营服务中心和提供服务的需求呈明显上升的态势。

2.证券公司数据中心的设计思想。数据中心建设的目的是能够容纳证券公司所有的业务数据和管理数据，并且对其实施管理，搭建起各信息孤岛之间的桥梁，实现证券公司业务数据的大集中。从而解决数据整合问题和实现知识共享。通过数据共享，打破部门边界，支持公司级决策，为企业级管理应用系统、PORTAL等应用提供数据支持，并可方便地作为数据仓库等再开发项目的数据源。

证券公司数据中心的最终目标是有效地支持证券公司现有的以及未来的管理和决策应用。要建立一个有效的，符合企业实际情况的数据中心需要做到以下一些原则：实用性和先进性相结合的原则：数据中心本身是一种先进的，崭新的管理哲学，而企业实施数据中心是作为一个项目展开的，需要取得实效和投资回报。

重点突出、分步实施的原则：数据中心的建设应该有明确详细的规划作为指导，需要注重时效，突出重点需求。应该优先解决证券公司中关键部门和关键业务对数据中心的需求。可靠性和安全性原则：作为金融行业企业，证券公司对于信息系统的可靠性和安全性有着较高的要求。信息系统可能存在的风险是证券公司风险控制的一个重点。另一方面，数据中心由于承担全企业数据处理的重任，维系着整个企业各个业务系统的正常运转，因此数据中心系统的可靠性和安全性建设是重中之重的问题。

二、数据中心系统设计方案框架

根据前文中所描述的证券公司数据中心的设计特点和设计原则，结合证券公司实际的系统架构和业务情况，得到如下的总体设计框架。数据中心系统主要由四大模块组成：采集中心、处理中心、数据网关和控制中心。

图 数据中心设计架构图

1.采集中心。数据采集部分主要完成从数据源采集数据，传输并存入数据中心的主数据库。在证券公司业务系统框架下，它主要采集各个业务子系统数据源中的原始数据，并完成数据传输和记录等任务。考虑到证券行业的数据特点，数据采集系统应考虑以下几点：

数据采集不能影响业务系统的正常运行。采集得到的数据是公司的关键数据，必须保证数据采集、传输的安全性。需要有保证数据完整性及可靠性的手段。随着公司业务的扩展及信息技术的更新，数据采集量和数据源种类将会不断增加，需要充分考虑维护人员的工作量，提供简单易用的扩展手段及日常维护工具。

2.处理中心。处理中心部分完成数据的规整、转换以及一些数据预处理功能。包括文件接收、数据入库、转换、清洗和装载等过程，其核心部分就是ETL。处理中心同时也是整个数据中心体系中的核心部分。

ETL是指数据抽取、转换、清洗和装载的过程。它是构建数据中心的重要一环，数据中心从原始层抽取数据，按照预先设计好的规则将抽取的数据进行转换、清洗，以及处理一些冗余的、歧义的数据，使本来异构的数据格式能统一起来；最后把这些转换完的数据按增量或全部的导入到数据中心的核心层中。ETL通常采用以下步骤实现：

数据提取：捕获源数据的过程。有完全复制和增量复制两种主要方法：数据清理：清理有效数据，使之更精确更有意义的过程。数据清理包括下列任务：

（1)合并数据源中相关的数据；（2)数据转换和同步；（3)数据类型和格式的转换；（4）用于不同目标表的数据分离或从完整的流水数据中分离出异常的数据。

数据集成：数据集成是将多个数据源联合成一个统一数据接口来进行数据分析的过程。对于证券公司来说，数据分布在多个系统中，因此，数据集成的规则可能相当复杂，数据转换逻辑和算法必须要切合实际的业务规则。集成结果通常生成新的数据实体或属性，使数据变得易于终端用户进行访问和理解。

数据聚集：收集并以总结形式表达信息的过程。数据聚集通常是以业务报表的形式出现的。

数据装载：是 ETL 过程的最后步骤，即将数据移入目标表。

3.数据网关。数据网关是应用系统和数据中心之间的封装层，其目的就是为应用系统提供数据支持，应用系统必须通过数据网关才能获取数据中心中存储的数据。它的核心功能包括：

封装隔离功能、数据服务功能、安全认证功能。

4.控制中心。控制中心主要用来对数据中心内部各模块的正常运行提供支持。主要包括任务管理、日志管理、认证服务、数据库密码服务器、消息管理、系统监控和系统维护等功能。控制中心时应该能够做到以下几个方面：

独立性：控制中心的运行状态不应受被监控模块的运行状况的影响，也不应受数据库运行状况的影响；及时性：系统应及时处理各种监控信息，实时报告各系统的运行情况；可恢复性：因系统异常，如机器掉电而出现系统重启后，系统应能恢复退出时的状态，并继续处理尚未处理的工作，因此要求系统有一定的序列化的功能。

三、结论

在证券公司中引入数据中心建设，可以对证券公司的业务数据进行集中，在此基础上全面整合这些数据，为总部各应用系统提供统一而清洁的数据支持。通过数据中心可以提高证券公司总部各应用系统的处理效率，还可以加强对各分支机构的集中管理，节约证券公司行政管理和风险控制的管理成本，提高证券公司的创新能力，为证券公司的发展保驾护航。

参考文献:

[1]孙九林黄鼎成:我国科技数据管理和共享服务的新进展. 世纪会计研究与发展，2005，Vol. 24 No. 5，15～19

[2]雷朋才:省级国土资源数据中心的建立与应用.地矿测绘，2005，21（2）:4～7

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。