一种双向元数据管理系统

摘要：作为企业级数据仓库的“路径图”，元数据在企业级数据仓库的建设中起着重要的作用。设计一个描述能力强、内容完善的元数据，是有效实现企业级数据仓库功能的重要环节。该文通过对双向体系元数据管理系统的研究，给出了一个企业级数据仓库的元数据管理的解决方案。该方案能够支持从企业级数据仓库子系统抽取元数据存储到元数据管理系统，同时也支持向数据仓库子系统提供其所需的元数据信息，解决诸多企业级数据仓库的运行管理问题，大大减少了企业级数据仓库的管理难度、保证了元数据的准确性、使得各子系统能高效地通信和稳定运行。

关键词：企业级数据仓库；元数据管理；双向体系结构；元数据分析引擎；逻辑数据模型

中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)13-2991-03

A Two-way Meta-data Management System

DING Xian

(Software Engineering of Tongji University, Shanghai 200092, China)

Abstract: As the "road map" of the enterprise -data-warehouse, the metadata plays an important role in the construction of enterprise -data-warehouse. Designing a sound content meta-data system is an effective way to achieve the enterprise-data- warehouse. By studying the two-way metadata management system,the essay gives a metadata management solution for the enterprise-data-warehouse. The solution can not only extract the meta data from the enterprise-data-warehouse and store the information in the metadata management ystem, but also provide the necessary metadata information for the data warehouse subsystem. Such solution can solve a lot of operation issues of the enterprise-data-warehouse and greatly reduce the difficulty in managing the enterprise-data-warehousing, ensuring the accuracy of the metadata, which can ensures thateach subsystem can communicate efficiently and operate stably.

Key words: Enterprise data warehouse; meta-data management; two-way architecture; meta-data analysis engine; logical data model

1 概述

1.1 研究的背景

随着数据大集中的完成，各家银行都在研究适合银行信息分析处理的数据仓库解决方案，并建立相应的数据仓库系统，提高分析数据和挖掘信息的能力，以提升银行自身品牌和潜在竞争力。整个银行数据仓库的组织结构是由元数据来组织的，它是“关于数据的数据”，元数据至少应包含如下一些信息：数据结构、数据综合算法、从基于OLTP的业务环境到银行数据仓库环境的规划等，元数据在数据仓库的建设中起着重要的作用。元数据管理系统必须成为集中了企业级数据仓库所有管理和运行信息的一个统一的知识库，才能够为庞大的企业级数据仓库的开发、运行和管理提供足够的信息，提升企业级数据仓库的生产效率，保证企业级数据仓库的稳定运行。因此，要求元数据库中的信息必须是集成的、准确的和保留历史的。然而对于目前那些具有元数据管理系统的数据仓库来说，存在着一个很大的体系架构缺陷，就是企业级数据仓库只采用了单向的元数据管理体系架构，即元数据信息只从外部流向元数据库，而元数据库无法在运行时为数据仓库提供支持。

企业级数据仓库中包含多个子系统，每个子系统都具有与其开发、运行相关的元数据。元数据管理系统从这些子系统中提取元数据，形成数据仓库统一的元数据视图。但是如果元数据只是单向地从各个子系统流向元数据管理系统，虽然可以将元数据集成，为数据仓库的开发和管理提供一定帮助，但很可能造成以下的缺陷：

1）元数据库逐渐演变成一个元数据的查询工具，无法发挥出作为数据仓库核心知识库的总控作用；

2）元数据信息不会从访问接口流向其他子系统，则无法促进元数据的及时更新，难以从根本上保证元数据的保证准确性；

3） 元数据库不提供运行时所需信息，各个子系统需要维护自己的一套元数据以支持自己的运行，造成了元数据的冗余；

4）元数据库无法保证其内容的准确性，则无法成为数据仓库运行时的核心部件，造成相关的各系统之间需要进行直接信息交互，大大增加了子系统之间的通信成本，难以管理。

1.2 研究的目的

本文描述的元数据系统建设方法，克服了现有技术中的缺点，提供了一种基于双向体系架构的元数据管理系统，能够支持从企业级数据仓库的其他子系统抽取元数据存储到元数据管理系统，同时也支持向企业级数据仓库其他子系统提供其所需的元数据信息，解决上述的诸多元数据和数据仓库的运行管理问题，大大减少了数据仓库的管理难度、保证了元数据的准确性、使得各子系统能高效地通信和稳定运行。

2 双向体系架构

2.1 框架简述

本文提供了一种具有双向互动特征的元数据管理系统，通过元数据提取装置将数据仓库各子系统的元数据提取到元数据运行库装置中，并采用通用的关系型元数据模型存储元数据；通过通用桥接器，可将关系型元模型的元数据提取到对象型元模型的元数据知识库装置中，形成分析结果供用户查询；通过数据库视图，可以向其他子系统提供其所需的元数据信息。最终实现了元数据的统一管理，为子系统的运行和它们之间的交互提供了统一平台。其中，

1）通用的元数据模型是通过对各子系统的元数据进行概括形成的、能满足各子系统要求的统一的元模型；

2）通用桥接器是可以灵活定制同步任务和数据映射的元数据同步程序；

元数据管理系统采用数据库视图的方式提供元数据访问接口，实现子系统之间的元数据交互。

2.2 框架组成

本系统中主要由4部分组成：包含元数据运行库装置、元数据提取装置、元数据服务接口装置、元数据知识库装置(如图1所示)。

其中，“元数据运行库装置”与“元数据提取装置”连接，负责存储数据仓库统一的关系型元模型，将其它子系统的元数据集成于统一的元模型中；“元数据提取装置”连接着“元数据运行库装置”和其他子系统，负责将其他子系统中未经加工的最基础最为明细的元数据，提取存储到元数据运行库装置中；“元数据服务接口装置”连接着“元数据运行库装置”与“元数据知识库装置”以及其他子系统，元数据服务接口装置负责将元数据运行库装置中的基础元数据变换成满足其他系统应用需要的元数据，向其他子系统提供元数据；还负责将“元数据运行库装置”中基于关系型元模型的元数据，提取到基于对象型元模型的“元数据知识库元装置”。 “元数据知识库装置”与“元数据服务接口装置”连接，负责将元数据进行分析，形成满足特定要求的分析结果，提供用户查询使用。