基于数据仓库技术的移动综合网管系统研究与应用

摘要： 由于移动通信业务涉及的网元种类繁多，相关专业支撑系统相对独立，企业管理层迫切需要从大量的跨专业数据中获取有效信息，实时制定有效的决策，提高企业的整体竞争力。移动综合网管系统是移动通信业务支撑的基础，而数据仓库又具有对异构数据重新进行组织，并对大规模数据进行综合分析的能力，因此数据仓库技术在移动综合网管系统中的应用具有广阔前景。

Abstract： Due to a wide variety of network elements involved in the mobile communications business， professional support system is relatively independent， enterprise managers need obtaining effective information urgently from the large number of multi-disciplinary data， make effective decisions in real time， and improve the overall competitiveness of enterprises. Mobile integrated network management system is the basis of the mobile communications business support， data warehouse has the abilities to re-organization of heterogeneous data and comprehensive analysis of large-scale data， therefore， the application of data warehouse technology in the mobile integrated network management system has a broad prospect.

关键词： 移动综合网管；数据仓库；移动网管；移动通信

Key words： mobile integrated network management；data warehouse；mobile network management；mobile communications

中图分类号：TP31 文献标识码：A 文章编号：1006-4311（2013）10-0193-03

0 引言

随着移动通信网络规模的不断发展，运营商之间的竞争也从原来的市场占有率之争转为面向用户服务之争，而服务对支撑系统的依赖，使得支撑系统建设得到很大发展，随着经营分析系统、计费系统、网管系统等的深入使用，为企业的运行积累了大量的历史数据。在多数情况下，这些海量数据只是在原有的作业系统中供一些特定业务使用，无法提炼和升华为有效的信息来供业务分析人员与企业决策者使用，首先：联机作业系统由于需要保留足够量的详细历史数据，以备后期查询，从而使系统自身变得笨重不堪；其次：管理人员和决策者只能根据固定的报表系统获得有限的、零散的数据信息了解企业状况；再次：各专业间这些数据中的有效信息未能得到有效整合、关联、分析等处理，使得历史数据没有被充分利用起来为业务开展提供服务，因此难以适应未来激烈的市场竞争要求。

随着计算机技术的快速发展，存储成本迅速降低和计算能力大大提高，使得企业引入数据仓库成为必然，它可以大大提高决策支持系统的能力，并把企业决策者所需的信息从各个专业原始操作数据库中提取、分离出来，把海量的、分散的、难以有效利用的原始数据转化为集中统一、随时可用的有效信息。

1 移动综合网管系统功能结构

根据网管系统所面向管理对象的不同，可将其分为三大类功能要求：

1.1 面向移动通信网络部分 面向移动通信网络的管理部分主要功能包括：配置管理、性能管理、告警管理、拓扑监控、局数据管理等以及与移动通信网络相关的各种资源管理。这部分功能都是网管支撑系统中最基础也是最核心的部分，它是网管系统的基石。

1.2 面向运维体制部分 这部分是面向企业运维体制和运维分析，结合移动通信网络现有的运营思路和和维护模式，面向运维体制相关的管理功能，主要包括：报表管理、运行质量管理、维护管理及其他与运行维护相关的管理需求。

1.3 面向网管系统自身管理部分 面向网管系统自身的管理部分功能主要包含网管系统自身管理及安全管理功能。

从移动综合网管系统建设和演进发展思路来看，这三大类功能并不都是独立存在的，三大类管理功能之间是有数据依赖关系和管理功能支撑关系。

数据是移动综合网管支撑系统的基石。网络数据分布在多类网元中，如MSC Server、MGW、HLR、BSC、RNC、SGSN、GGSN等，区域和设备厂家也很分散。移动综合网管支撑系统正是通过对网元数据的采集、解析、关联、运算，从而为网管系统使用者提供必要信息，并为维护人员提供良好的运维支撑平台。

2 数据仓库概念简介

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，我们可以从两个层面来理解，第一，数据仓库用于支持决策、面向分析型数据处理；第二，数据仓库是对多个跨专业、异构的的数据源进行有效集成，并在集成后按照主题进行重组。

企业数据仓库的建设，将以企业现有业务系统的大量业务数据的积累作为基础。数据仓库并不是一个静态的概念，只有把信息加以整理、归纳和重组，并及时提供给相应的管理决策人员，供他们做出改善业务经营的决策，此时信息才能真正发挥作用，而这个过程也是数据仓库的根本任务。因此，从产业界的角度看，数据仓库的建设不仅是一个工程，更是一个过程。

整个数据仓库系统是一个包含四个层次的体系结构：

①数据源：是数据仓库系统数据的源泉，对于企业来讲，它通常包括企业内部业务数据和企业外部数据。企业内部数据包括存放于数据库中的大量业务相关数据、企业内部各类文档资料等；而外部数据则包括市场信息、政策信息、竞争对手资料等；

②数据的存储与管理：它是整个数据仓库系统中最为核心的部分。数据仓库的关键作用就是数据的存储和管理。由于数据仓库系统本身的组织管理方式决定了它不同于传统数据库，同时也决定了其对外数据展现方式有所不同。企业需要从数据仓库的技术特点着手分析，来决定采用什么产品和技术去建立自己的数据仓库系统。企业需要针对现有各业务系统的数据情况，进行集成、抽取、清理，并按照主题来进行组织。

③OLAP（联机分析处理）服务器：对企业内需要分析的数据进行有效集成，按业务需求进行多维模型的组织，以便进行多角度、多层次、多方位的分析，发现其内在趋势，并提供数据分析和决策支持，用不同的形式展现数据以满足用户的需求。

④前端工具及应用：主要包括各种查询工具、报表工具、数据分析或挖掘工具，以及各种基于数据仓库开发的工具应用等。

数据仓库具备良好的可用性、扩展性、易维护性，弥补了传统数据库系统的不足，使得业务相关的数据、模型、知识及方法的关联关系更加紧密，极大的提高了现有业务数据的利用率，从而使整个业务支撑系统变为一个有机整体，提高了系统的集成性。数据仓库系统为移网综合网管系统提供强大的数据支撑能力，一方面能极大限度确保各支撑系统间的数据一致性，另一方面又支持目前应用系统业务的平滑扩展。

数据仓库系统的搭建将是一个逐步规划、循序渐进和逐步完善的系列过程，当然，一旦将数据仓库系统建立起来并投入应用后，其数据分析和数据挖掘功能将为企业的管理和决策带来极大的益处。

3 移动综合网管数据仓库系统建设方案

3.1 系统建设原则

3.1.1 网管各专业基础数据的整合 针对网管系统中不同厂家、不同版本、不同网元粒度的原始数据，规范现有数据的采集、命名、存储等过程，严格而统一数据命名规范，可以增强数据的可读性，也便于将来数据的再利用；整理和修订已有系统的数据描述文档，完善系统相关资料，对数据库表结构、字段含义、字段属性等要有明确的定义，对于新增的基础数据，从一开始就需要准备好足够清晰的文档资料，要避免与已接入系统的已有数据产生冲突，保证数据一致性，并落实底层个业务系统数据之间的关联关系，使现有数据变得“透明”。

3.1.2 各业务系统数据质量的保证 所谓数据质量包括：①数据的完整性；数据源是否完整、维度取值是否完整、数据间的约束关系是否完整等；②数据的准确性；数据来源是否准确、映射算法是否准确、数据处理逻辑是否准确等；③数据一致性；各业务系统之间同一指标数值是否一致，系统中不同处理环节数据是否一致等。④数据的合理性；从业务角度判断数据源是否正确，如“始发呼叫请求次数”与“呼叫继续次数”之间数值的合理性等。⑤数据的时效性；包括数据加工（抽取、清理、转换等）的及时性，以及加工过程中发现数据异常时及时通知，数据处理回退的及时性等。

3.1.3 业务系统数据模型的搭建 模型是所研究的系统、过程、事物或概念的一种表达形式，是整个数据仓库系统建设的导航图，要实现一个稳定、灵活的数据仓库系统，模型是关键，建模在设计工程上可以分为三大类：概念模型、逻辑模型、物理模型，模型的建立要根据目前业务系统实际情况，提出一个相对先进的模型，不能太超前，脱离实际或者导致工期太长，也不能只停留在现有业务系统水平上，那样失去了建设的意义。要在管理、使用、扩展、维护等方面适度拔高，根据决策支持的需要来建设。

3.2 系统技术特点

3.2.1 跨专业业务支撑系统数据 由于将各专业数据预先进行了整合，因此系统数据涵盖了上层应用所需的各类数据，包括原始网管系统、动环监控系统、经营分析系统等基础数据，为应用系统需求的快速实现提供了最基础的数据支撑，而数据源的完整性、准确性、一致性是一个高质量数据仓库的必要前提。

3.2.2 灵活多变的数据组织模式 数据仓库系统采取了可靠有序的组织模式，为跨专业、不同业务提供需要的服务，能够针对管理决策层的要求，搭建不同的多维数据模型，从多角度、多侧面来观察各业务数据情况。系统具有很强的业务适应能力，能够保证系统根据业务或市场决策的需要，进行功能或主题的增加和规模扩充，充分利用现有的资源，并利用成熟的图形界面技术和经验，保证用户界面的友好、易于使用和维护简单。

3.2.3 可靠而高效的数据存储 由于数据仓库对存储资源需求较高，因此稳定而快速的数据存储能够最大程度的提高数据仓库的运行效率，通过平台底层硬件冗余部署，利用带库或虚拟带库进行关键数据的备份，都将有效提高数据存储的安全性和可靠性。

3.2.4 统一的技术架构 数据仓库系统按照“自下而上、分而治之”的螺旋式开发方法，系统建设的风险和成本会大大降低，同时保证了平台的易使用性、易维护性、可扩展性和可持续发展性。在数据仓库系统中对原始数据在采集、清洗、计算、存储各环节都增加了相应的监控。数据物理存储根据业务特点进行适当分离，采用数据分割技术，将数据按照不同专业特点分散到各自的物理单元以便能够独立处理，提高数据处理速度，便于数据的重组和维护，增加系统并行性，提高了后续应用开发的效率，同时对跨专业的关联分析应用提供良好的数据支持。

3.3 系统实现方式 按照企业决策层或用户需要，进行移动综合网管数据仓库系统的模型设计，设计时需要确定系统的边界，所包含的主题域等，此时需要有一个对业务需求、各专业现有数据情况非常清晰的专业人员，然后开始各专业业务系统间的数据装载接口的设计，采集程序对数据库进行原始数据采集、处理、存储；入库前，对相关数据要进行过滤和筛选。按照网元类型或业务类型，采取“抽取—转换—清洗—入库”的步骤。其中数据的存储、备份等工作将结合综合网管系统应用的开发工作或原支撑系统的改造工作一起逐步展开。在同一个模型的指导下，根据数据仓库的主题域、通用维、业务规则建立不同数据集市，按设备厂家、设备类型、报告类型等，划分不同任务，并行组织开发。

数据仓库创建后，数据装载进程将从数据源抽取、转换、清洗后将数据采集到综合网管数据仓库中，数据装载策略需要考虑装载周期以及数据追加策略两方面，根据各专业业务数据实际情况，装载周期应当综合考虑业务需求和系统装载的代价，不同业务系统采用不同的装载周期，但务必保证统一时间业务数据的完整性。系统应对数据采集进程有实时的监控，一旦发现数据采集异常退出，系统应能够自动重启数据采集进程，并通过短信平台将错误信息发送给维护人员。同时，数据装载进程需要有数据完整性校验机制，一旦发现数据不完整，可自动触发数据采集程序进行补采，并在系统日志有记录。

在完成将数据加载到移动综合网管数据仓库后，OLAP服务器会根据最终的服务请求分解OLAP各种操作，并使用数据仓库中的这些数据完成这些操作，然后将处理结果通过前端工具以直观的方式来展现。

4 结束语

随着运营商网络维护和经营工作的逐步开展，特别是在“全业务”运营模式下，实现灵活多变的市场营销策略，为客户提供更具针对性的服务，同时最大限度合理配置和优化自身资源，降低运营成本，需要将网管各专业大量的数据运用多种分析方法进行深层次的挖掘，让企业管理者了解网络的发展，并为其决策提供丰富、真实、及时的运维信息。本文只是数据仓库在移动综合网管中的应用进行了初步探讨，在实际工作需要按照应用和各专业实际情况，逐步构建和完善数据仓库的模型，使数据仓库技术能够真正为移动综合网管业务开展提供重要作用和服务支持。

参考文献：

[1]郑岩编著.《数据仓库与数据挖掘原理及应用》.2011-01-

01/清华大学出版社.

[2]段云峰等编著.《数据仓库及其在电信领域中的应用》.电

子工业出版社.

[3]徐洁磐编著.《数据仓库与决策支持系统——数据库应用

系列丛书》2005-04-01/科学出版社.

[4]《中国联通OSS-GSM-WCDMA省级移动综合网管系统技术规范（V1.0）》.