运营商经营分析系统演进探讨

摘要：结合云计算及大数据的发展趋势，分析目前云数据仓库发展情况，探讨运营商经营分析系统未来演进方向。

关键词：经营分析；数据仓库；大数据；云计算

中图分类号：TP311.13

1 研究背景和意义

随着移动互联网时代的到来，三大运营商的业务重点正在从话音、数据业务向互联网业务转变。这种转变将对经营分析系统带来迫切的需求。一方面，日益严峻的竞争环境要求经营分析系统分析粒度更加细化，为前台客户发展、客户保留提供更为细致的分析结果；另一方面，随着业务模式的转变，海量的互联网数据需要纳入分析范围，这两方面的因素决定了未来几年经营分析系统的规模和处理性能将超常规发展。因此，经营分析系统传统的高端小型机+磁盘阵列的建设模式已难以适应移动互联网时代企业发展的要求，亟需寻找低成本、高性能的演进方案。

2 云计算与大数据

自Google提出云计算概念以来，已使得IT行业发生了巨变。最近一年来，大数据概念迅速兴起。大数据的兴起说明数据已成为重要的资产，谁拥有更多数据、更善于使用数据，就能吸引用户、产生价值，在未来IT行业发展中占据竞争的主动。

大数据技术与云计算的发展密切相关，大数据技术是云计算技术的延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术，包括海量分布式文件系统、并行计算框架、NoSQL数据库、实时流数据处理以及智能分析技术等。云计算为大数据提供了发展的可能，大数据是云计算绝佳的业务领域。

大数据技术为运营商带来绝佳的转型机会。除应用于传统企业运营管理分析外（如战略分析、竞争分析、运营分析、流量经营分析、网络管理维护优化、营销分析），还可利用积累的数据，为用户提供内容服务，例如根据对用户上网行为的分析，为用户推荐应用商店软件、IPTV视频节目等。因此三大运营商应抓住机会，发力完善扩充运营分析系统，盘活庞大的数据资产，拓展业务领域。而这种转型，需要现有的数据仓库向云计算架构演进。

而就技术来说，目前应用与大数据领域的云计算技术主要包括MPP（大规模并行处理）数据库与Hadoop技术。

3 云计算MPP数据仓库关键技术分析

随着大数据时代的到来，传统的数据仓库系统已无法满足性能和成本两方面的挑战。而廉价的x86设备通过分布式并行处理软件集群实现了低成本、高性能的解决方案。虽然传统交易型数据库在向x86云平台迁移过程中仍有许多问题难以解决，但在分析型数据领域，由于其数据操作多为连续读写，业界已有较多x86云计算MPP数据库解决方案，构建价格低廉的基于x86平台的云数据仓库已成为现实。MPP云计算数据仓库关键技术如下所述。

3.1 数据库SharedNothing集群架构

面对大数据量的处理，MPP是数据仓库的必然演进方向。并行数据库架构方式主要包括SharedDisk和SharedNothing两种。

SharedDisk架构指数据库集群中每一个CPU使用自己的私有内存区域，通过内部通讯机制直接访问所有磁盘系统。其主要特点为高并发、高可用性。但其存在资源争用问题，当为大数据量处理增加更多的CPU时，因为增加了对内存访问和网络带宽的竞争，系统反而有可能减慢。

而在SharedNothing集群中，每一个CPU都有私有内存区域和私有磁盘空间，而且2个CPU不能访问相同磁盘空间，CPU之间的通讯通过网络连接。其主要特点为，支持大数据量处理高并行、低并发、低可用性。当事务数量不断增加时，SharedNothing体系可通过增加额外的CPU和内存来数据库稳定增长，从而可以保证每个事务处理时间不变。同时，SharedNothing在运行过程中降低了竞争资源的等待时间，从而提高了性能。

就其适用场景而言，当应用代码量很大、相关数据量比较小时，SharedDisk更加适合这种典型的OLTP应用；如计费系统。而当相关数据量很大、而应用代码并发量很小时，由于SharedNothing架构可将单一大任务分解为多个小任务、同时在多个节点处理，通过并行缩短任务处理时间，从而大大提升系统性能。因此SharedNothing架构是云计算数据仓库的必然选择。

3.2 列式数据库

列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即席查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合小批量的数据处理，常用于联机事务型数据处理。

列数据库在数据仓库、商务智能领域应用中有着先天的优势：独特的存储方式，能够迅速的执行复杂查询；列数据库的压缩技术，更是能为数据仓库、商务智能应用中巨大的数据量节约存储成本；列数据库先进的索引技术也大大提高了数据库的管理，其优势详见下表，可见列式数据库是云计算数据仓库的不二选择。

4 运营商经营分析系统演进方式探讨

如前所述，随着移动互联网的快速发展，三大运营商如想在竞争中占据鳌头，则其经营分析系统应快速跟进，提升性能、扩大容量，抓住行业变革的机遇，采用云计算技术构建海量数据分析平台，实现数据的价值化。因此，经营分析系统应在近期快速搭建企业统一云计算分析平台。

就平台搭建方式而言，可采用MPP数据库与Hadoop技术结合的方式。MPP数据库用于处理结构化数据和大批量分析任务，实现对经营分析系统核心数据仓库的接管和替代；而Hadoop适合处理非结构化数据与NoSQL数据，适应小粒度高并发数据处理场景，应用于ETL等子系统，与云计算MPP数据仓库形成互补，充分提升数据仓库的处理能力。

4.1 MPP数据库建设方式建议

从业界主流的两种云数据仓库技术路线来看，一体机方案虽然性能较高，但其无法支持在线平滑扩展，在业务灵活性方面受限；且其硬件为专有硬件，容易形成对特定厂家的绑定；产品价格普遍较高，较传统建设方式优势不明显，随着未来数据量的激增，必将对企业产生较大的成本压力。

而软件数据库管理系统技术路线则在灵活性方面占据优势，可随着未来业务的变化在线扩展系统；其硬件支持标准x86设备，未来建设选型空间较大，系统总体投资较低；在未来使用大云HugeTable时，标准的x86硬件也可平滑利旧。因此，运营商应尽早引入基于软件数据库管理系统的云计算数据仓库产品，一方面降低系统建设成本，另一方面通过系统迁移部署及早积累经验，规范应用软件，为未来全面转向云计算数据仓库做好准备。

4.2 落地实施建议原则

由于云计算数据仓库技术较为前沿，在通信行业落地案例极少，缺乏可借鉴的建设经验；而经营分析系统已逐渐由后台决策支持系统转变为支撑前台业务发展的生产系统，出于保证系统稳定性考虑，在从现有经营分析系统向云平台迁移时，应审慎、分阶段实施。

另一方面，现有经分系统运行压力已非常大，新业务需求层出不穷，系统能力扩容迫在眉睫。结合两方面考虑，云计算数据仓库落地建议以“分流减压、可用验证、渐次替换”分步实施方式进行。

5 结束语

云计算技术在大数据处理方面已具备较好的实践基础，可满足运营商经营分析系统低成本、高性能建设的需求，及早探索云数据仓库的建设，近期将有助于其在移动互联网时代占据竞争优势。远期则可以在经营分析系统基础上，搭建大数据分析平台，通过自己采集、第三方提供等方式汇聚数据，并对数据进行分析，满足在线广告、电子商务等行业的数据分析需求。

参考文献：

[1]孙少陵，周大，钱岭.云数据仓库高性能查询技术研究[J].邮电设计技术，2011，10.

作者单位：中国移动通信集团设计院有限公司山东分公司，济南 251010