电信运营商大数据应用系统建设方案研究

【摘要】随着互联网的高速发展，全球数据生产高速增长，信息已成为企业战略资产，而大数据被业内普遍认为是电信运营商“去管道化”最有可能的实现方式之一，大数据应用系统的建设对电信运营商而言迫在眉睫。本文对电信运营商大数据应用系统的建设进行探讨，对大数据平台的功能架构、数据库建设方式、数据采集方案等进行研究，力图从解决方案上对电信运营商省级公司部署大数据平台提供借鉴。

【关键字】 互联网 大数据 系统建设一、背景

随着互联网、移动互联网、数码设备、物联网等技术的发展，全球数据生产正在高速增长，信息已成为企业的战略资产，企业越来越需要长期保存各种数据，以进行用户行为分析、市场研究等，服务企业发展。目前，“去管道化”成为电信运营商提得最多和思考最多的问题，业内认为大数据是运营商“去管道化”最有可能的实现形式之一，运营商发展大数据具有其他行业无可比拟的优势，主要体现在：运营商掌握数据充分全面；通信网络数据提供的可持续性；运营商对数据可以有效利用。

在此背景下，本文将对电信运营商大数据应用系统建设方案进行探讨，为省级电信运营商部署大数据平台提供借鉴。

二、大数据应用系统功能架构

大数据系统目标架构，主要由五大核心平台构成，如下图所示：

采集分发平台：解决异构数据源之间数据交互，满足各种数据源之间数据统一采集和统一数据分发，提升数据实时和准实时海量数据采集分发能力；

实时分析平台：实现实时宽表数据整合，提供实时报表，提供统一实时查询；

离线分析平台：Hadoop平台解决海量结构化数据和非结构化数据快速批处理效率、海量数据存储能力；传统ODS、EDW、数据集市采用MySQL平台；

大数据运营监控平台：解决大数据运营监控，调度，开发，运营维护问题处理和运营分析平台；

大数据数据服务平台：满足快速对外提供统一数据服务共享平台。

三、大数据应用系统数据库建设

对于大数据平台数据库，建议采用传统关系型数据库+Hadoop的混搭方式进行建设，主要基于以下考虑：1、对于传统结构化业务数据，采用关系型数据库已非常成熟，新建平台延续采用关系型数据库处理传统数据，避免大量改动。2、对于非结构化数据，则采用Hadopp架构进行处理，解决以下问题：海量数据储存成本高；数据批量处理能力不足；计算和存储扩展能力受限；流式数据处理能力缺失；缺乏非结构化数据的处理能力。

四、大数据应用系统数据采集方案

电信运营商大数据平台数据主要来源为两种：来自IT系统的结构化数据和来自网络的非结构化数据。

4.1结构化数据采集

数据来源主要包括来自CRM系统的客户/用户资料、产品/销售品、产品订购、业务办理等，来自计费系统的账单、详单、余额、缴费、欠费等，来自结算系统的结算清单、过往记录等，来自客服系统的咨询投诉、外呼等，来自网厅的电子订购、业务办理、电子渠道咨询/投诉等，来自ITV的点播记录、节目库等，来自增值业务平台的订购与退订等。

对于上述结构化数据，目前主要通过ODS系统进行采集，大数据平台直接与ODS系统做接口即可获得，不需直接从系统采集，大大提升了数据采集的效率。

4.2非结构化数据采集

非结构化数据视图如下图所示：

1）固网DPI部署方案

以某电信省公司为例，其 IP城域网覆盖所有地州，2015年底预计达到3000G出口链路，其中省会城域网出口1200G。

现网在IP城域网出口部署一套DPI系统，具备280G带宽的监控能力（上下行），主要功能模块为多终端私接监控、 全协议分析。存在问题如下：覆盖能力不足：覆盖城域网规模9%，不具备对单地市出口的完整监控能力。功能缺乏：无法实现终端识别、网站识别、应用识别等功能。

本期可采用如下方案：

方案一：全覆盖部署

在城域网出口部署，实现全覆盖，共3000G。

方案二：两地州及省会两区县轮询方式部署

地州轮询：采集设备部署位置为163骨干机房，容量配置为同时覆盖两个地州共620G。

省会区县轮询：采集设备部署位置为省会CR机房，容量配置为同时覆盖两个县区共680G。

方案三：一地州及省会一区县轮询方式部署

地州轮询：采集设备部署位置为163骨干机房，容量配置为同时覆盖一个地州共310G。

省会区县轮询：采集设备部署位置为省会CR机房，容量配置为同时覆盖一个县区340G。

轮询方式说明：建议轮询周期不短于一个月，以免频繁轮询影响大数据分析系统的数据可用性和精准度。

以上三种方案主要区别在于覆盖范围，以及相应的投资，在投资充分的情况下，建议采用方案一，对城域网出口进行全覆盖部署，在投资紧张的情况下，建议采用方案三，对一地州及省会一区县通过轮询方式部署，后期根据投资情况再逐步扩大覆盖范围。

2）分组域DPI部署方案

新建分组域DPI，分为采集部分和处理部分，对3G、4G、AAA等数据进行采集，通过DPI解析后的数据，同步给大数据平台及其他相关平台使用。

3）七号信令监测系统改造方案

改造现有七号信令监测系统，提供对手机的信令采集，通过A口提供以下数据：所有采集区域内手机主叫的数据；所有采集区域内不处于关机或者占线的手机被呼的数据（不包含占线、关机被呼的数据，信令中不包含此数据）；所有采集区域内手机的短信数据；所有采集区域内手机的位置更新数据。

五、结论

某电信运营商省公司，在大数据平台建成并投产后，成果显著：带动移动、宽带用户发展，增收相当于一个小型地市公司；以用户为中心，构建倒三角的大数据运营体系，支撑线上线下精确营销；线上营销――基于大数据的客户特征刻画、利用互联网入口面向客户进行精准的业务推荐营销；线下营销――基于大数据支撑，让精确营销贯穿生产经营的各个环节、无处不在。实践证明，大数据应用系统的建设和使用，已成为电信运营商业务发展的重要支撑手段之一。