大数据时代电信运营商数据管控研究

【摘 要】大数据对电信运营商现有的数据管控体系提出了新的挑战，企业级数据管控是解决当前数据“错、重、缺、慢、乱”问题的有效手段，结合现网数据管控的实际情况，对运营商数据管控体系进行探讨。

【关键词】数据管控 元数据 数据质量 数据生命周期 数据安全

中图分类号：TP315 文献标识码：B 文章编号：1006-1010（2014）-13-0010-05

1 引言

在大数据时代，数据是企业的核心战略资产，随着电信运营商大数据平台建设和应用的推广，大数据的“5V”典型特征（Volume、Variety、Velocity、Veracity、Value）对现有的数据管控体系提出了新的挑战[1-2]，数据不准确、同一数据在多个系统或应用中重复出现且不一致、数据定义或数据项缺失、数据属性不完整、数据生成不及时、数据含义不清晰等“错、重、缺、慢、乱”问题逐渐暴露，其原因主要来自以下4个方面：

（1）在信息体系方面，元数据平台能力显性化不足，数据生命周期管理分散。由于运营商大数据平台的数据源来自于各个分散的内部IT系统、业务平台、通信网络、互联网和外部合作伙伴，元数据管理不全面且未平台化，各数据源的系统信息架构不一致，数据模型不固化，数据标准不统一、不清晰，指标口径存在差异，数据加工规则、映射关系不准确。

（2）在技术实现方面，缺乏贯穿数据流转全程监控平台，主要依赖各分包厂商自行保障数据质量，技术体系分散，无法衔接。总部对各省业务系统（数据源）环境了解不全面；数据采集过程存在数据传输延迟、数据传输失真的现象，缺乏数据稽核规则、数据异常处理规则；数据加工过程中，数据处理方法不合理，数据整合能力不强，数据服务缺乏节奏控制；数据后，缺少监控及管理措施；此外，还缺乏有效的数据备份恢复机制；没有平衡好数据安全、生产效率和使用方便之间的矛盾，对敏感数据的定义、范围也有待规范化。

（3）在流程执行方面，缺乏企业级数据质量保障流程及考核机制，各厂商间的数据质量管理项目流程缺乏协同。数据采集过程中，缺失数据录入审核流程，存在部分省份人为调整数据的现象；数据流转的流程不畅，部分省份数据上传流程有问题；数据加工过程中，缺乏数据稽核流程，数据维护、调整流程执行力不强，监控不严格。

（4）在管理措施方面，缺乏企业级数据管控组织、责任和培训体系。缺乏人员奖惩机制，部分省份贯彻规范不力；人员培训不到位，基层人员缺乏相关技能，各省支撑能力存在差异。

为解决这些问题，运营商亟需完善其数据管控平台，扩展数据管控能力，深入前移数据管控节点、完善数据管控范围，建立起一套企业级的数据管控体系，实现企业数据标准刚性落地，加强数据生产、加工、使用全过程的透明管控，有效预防、监控、分析和处理数据质量问题。

2 运营商企业级数据管控体系

电信运营商的企业级数据管控体系目标是实现智能化、自动化的数据管控，从生产源头进行监控并提升数据质量，实现企业数据标准刚性落地、数据生产加工全过程透明管控，并具备质量问题预测能力[3-5]。

数据管控体系可以分为管理域、核心域和支撑域这3个域，各个领域之间既相互联系，又具有相对的独立性，如图1所示。其中，管理域实现数据管控组织、岗位、流程的管理和考核；核心域实现数据质量问题的预防、监控、分析和数据问题处理；通过支撑域完成底层技术实现，支撑域实现数据标准管理与元数据管理，是数据管控平台的底层技术支撑。

对电信运营商而言，数据质量问题是最大的痛点。数据质量与其他管控领域的互动最为密切，因此建议运营商将数据管控以数据质量为中心。数据质量管理的目标是实现从数据生成到数据加工及应用全过程的透明管控，预防、监控、分析、处理数据质量问题。

数据质量管理由数据质量监控、数据质量问题分析和数据质量问题处理构成。

（1）数据质量监控主要包括：数据管控平台与纳管系统间的接口传输和采集监控，实现接口文件级校验、接口文件记录级校验和接口及时性监控，对接口上传数据是否及时（包括迟传或者未传）、接口上传数据是否重传、接口上传数据重传次数等进行监控；指标的逻辑性、完整性、一致性和及时性检查以及波动监控；统一编码变更监控、编码映射关系变更监控；模型变更监控和模型一致性检查；实体变更监控、实体完整性监控，监控各个业务系统（特别是已经正式上线运行的业务系统）数据库的实体对象及其变更情况；数据加工、数据稽核、数据和页面监控等。

（2）数据质量问题分析主要包括：数据质量问题自动定位，根据数据加工过程链路关系图、接口采集链路关系图、数据稽核链路关系图（按血缘关系配置）、编码或实体链路关系图（按血缘关系配置），设置重点监控节点，并对重点监控节点进行监控预警规则配置，对出现质量告警的节点进行数据质量状况分析以及血统分析，找到问题出现的根源节点，实现对数据质量问题的快速定位。数据质量问题分析，可采用编码映射影响分析，指标口径影响分析，问题分析报告管理，数据质量报告管理等。

（3）数据质量问题处理则主要负责根据数据质量问题报告的问题列表和问题明细列表，完成数据质量问题工单的生成、分配、派发、接收、协同处理、反馈、结果评估和知识沉淀。数据质量监控如遇异常情况，会自动触发质量问题分析流程、数据问题处理流程以及通知流程，并支持数据质量监控报告的自动生成。

数据质量管理及数据管控的关键点包括数据标准管理、元数据管理、数据生命周期管理和数据安全管理。

（1）数据标准管理的目标是建设企业级的数据标准体系，规范企业数据管理流程和制度，在全企业各IT系统落地执行，实现标准（包括基本指标、维度、指标树、编码、模型）管理、检索和比对，以及标准执行日常核查和应用上线标准化审核等核心支撑能力。其中，应用上线标准化审核是基于指标比对、编码比对和模型比对等功能，检查、审核新上线应用的指标、编码、模型等是否遵从企业的数据标准要求，从源头上管控企业级数据标准的执行。标准执行日常核查则是从多个维度，针对已运行的纳管生产系统选取抽样的生产模型、编码对象进行比对，实现数据标准化执行结果的常态化检查机制。

（2）元数据管理的目标是显性化支撑企业数据标准化，提供元数据采集、信息维护和变更管理，以及元数据地图分析、血统分析、影响分析、活跃度分析、冗余性分析和实体差异分析等元数据基础应用，为数据管控体系的数据导入、维护、质量管理、数据分析提供基础。

其中，数据地图分析是以拓扑图的形式对数据管控平台纳管系统的各类数据实体、数据处理过程的元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制；血统分析帮助了解业务流程，检查指标数据，验证指标实际加工过程是否满足指标计算口径的定义，达到对质量进行辅助检查的作用；影响分析帮助发现因某个实体发生变化或修改时可能会受到影响的实体，并评估这个范围，进行优化整理；活跃度分析显示哪些指标的运行效率、稳定性等对系统的影响相对更大，需要重点保障，降低系统的风险指数；冗余性分析从业务规则、实体定义、业务定义等元数据角度去审查数据是否冗余，并将冗余数据以列表的形式展示处理，并支持数据导出；实体差异分析实现2个实体属性与血统链路图的差异性比较，从而帮助客户选择合适的统计口径。

（3）数据生命周期管理的目标是将存储分级管理规范化，降低成本，实现完善的迁移方案，规范生产应用迁移需求，实现归档数据的自查询能力，提升历史高价值数据的再利用支撑能力。数据生命周期管理由配置管理、执行管理和执行监控分析构成。

配置管理包括：对象管理，确定数据生命周期管理的对象；要素管理，负责配置价值要素、时效要素、成本要素、风险要素等；策略管理，配置数据的分级存储策略（在线/近线/离线的阶段和周期）、备份策略（时间、地址、对象、条件）、压缩策略（压缩对象、压缩比、压缩执行时间）等；设备管理，维护管理被管控的数据对象所涉及的存储设备信息；策略映射管理，将要素、策略和设备信息等映射到具体的数据对象上，形成最终可执行的具体的数据生命周期管理规则。

执行管理实现企业级的数据压缩、备份、分级存储、清理等数据生命周期过程的调度、执行和控制管理。

执行监控分析主要对备份、分级存储、压缩等执行结果进行显性化监控和分析，可对具体的数据对象的各种存储分级状态（在线/近线/离线）进行分析。

（4）数据安全管理的目标是提升敏感数据访问控制、保证系统操作安全、加强应用访问权限等能力，在不降低安全支撑能力的基础上，提升数据提供效率。数据安全管理由权限管理、加密管理和数据安全日志分析构成。权限管理包括数据用户安全和开发/维护过程安全。加密管理包括关键数据加密管理、密钥管理、加密内容查询和加密算法管理。数据安全日志分析包括敏感数据访问分析、应用访问日志监控、主机操作监控、异常操作数据库分析、数据操作监控和异常下载预警等。

3 运营商数据管控组织架构

对照电信运营商的企业组织架构，数据管控建议采用“一级管理、二级维护、三级应用”的模式，数据管控组织覆盖集团总部和省分公司，包括数据管理域和生产业务域，组织架构图如图2所示。

运营商数据管控组织架构中各角色的职责如表1所示。

为保障数据管控工作的有序开展，需要建立相应的数据管控流程、培训和考核制度，规范数据管控流程，定期开展数据管控培训，全面考核数据管控相关角色的支撑能力，确保数据质量的可靠性、有效性和权威性。考核周期可以分为月度考核、季度考核、年度考核。在考核初期，考核人为被考核人制定考核计划，明确考核内容和考核规则，考核计划需经过被考核人确认和上级领导批准；在考核期末，可以先由被考核人自评，然后考核人根据被考核人的表现和指标，为考核人打分，考核结果经过被考核人确认和上级领导批准后生效，考核结果作为员工定岗、升职和奖金发放的依据。考核方式可以采用主观考核和客观考核2种方式，数据管控平台能够提供数据的内容的，采用客观量化考核，并由平台周期性自动执行，对于系统不能够提供数据的内容，由相关管理人员人工打分。

4 结束语

企业级数据管控体系的建立、完善和维护，在采用先进技术手段建立数据管控平台的同时，更需要建立起配套的企业级数据管控组织、责任、流程、培训和考核体系。

鉴于运营商目前已经累积了大量的数据管控问题并不断产生新问题，需要分2步解决数据管控问题，一是数据管控环境初始化，有效解决历史质量问题，形成经验规则；二是在历史经验规则的基础上不断优化，这将是一个长期的过程，应该得到领导层的高度重视和有效参与。

参考文献：

[1] 童晓渝，张云勇，房秉毅，等. 大数据时代电信运营商的机遇[J]. 信息通信技术， 2013（1）： 6-9.

[2] 李勇，曹文娟. 电信运营商大数据策略的“攻”与“防”[J]. 通讯世界， 2013（4）： 39-40.

[3] 叶丹. 初探电信运营商数据管控体系[J]. 通信世界， 2009（43）： 12-13.

[4] 李晓东. 电力企业数据中心数据管控的研究与应用[J]. 电力信息化， 2012（8）： 60-64.

[5] 贾红龙. 论烟草行业数据中心建设中的数据质量管理[J]. 信息技术与信息化， 2009（6）： 33-38.

作者简介

李卫：高级工程师，博士毕业于北京邮电大学，现任职于中国联通研究院平台与云计算研究中心，主要研究方向为云计算、大数据、收入保障。

张云勇：高级工程师，博士后毕业于电子科技大学，现任中国联通研究院平台与云计算研究中心经理，主要研究方向为云计算、下一代开放网络、固定移动融合核心网、移动互联网及业务。