海量视频点播系统的云计算技术与建模实现

摘 要： 为解决三网融合进程推进下，海量视频点播业务呈现出的内容杂、平台多、业务量激增等特征对传统点播模式提出的巨大挑战，在分析云计算的基本架构和技术特点的基础上，结合视频点播业务的特点，利用云计算强大的计算能力和高效的海量数据处理方式，论述了云计算在视频点播系统中的应用。讨论了云系统的系统架构、工作原理，并对数据的冗余备份、心跳检测、智能节点替换、负载均衡等关键技术进行了详细阐述，为解决海量视频的流畅传播提出了一个全新的思路。

关键词： 云计算； 海量视频点播； Hadoop系统； 建模

中图分类号： TN911?34； TP37 文献标识码： A 文章编号： 1004?373X（2013）14?0010?03

Cloud computing technology and modeling of mass VOD system

CHEN Xu?wen， HUANG Ying?ming

（Department of Information Engineering， Jieyang Vocational & Technical College， Jieyang 522000， China）

Abstract： With the promotion of the triple?net fusion， the mass VOD emerges out some characteristics such as complicating data， multiple platforms and huge business， which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation， the application of cloud computation in mass VOD system is discussed on the basis of analysis of the basic framework and technical characteristics of cloud computation and in combination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies， such as redundancy backup of data， heartbeat detection， replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.

Keywords： cloud computation； mass VOD； Hadoop system； modeling

随着互联网技术和多媒体技术的迅猛发展，基于网络的视频点播（Video On Demand，VOD）业务成为了网络应用的一大热点。人们通过手机、掌上电脑等简易的终端设备随意欣赏视频的新型模式极大地颠覆了传统的电视观看模式，逐步成为视频点播的主流。虽然流媒体及P2P技术[1]的应用在一定程度上减轻了中央服务器和骨干网络的负担，优化了节目流的播放质量，但当面对热点视频时，海量视频的处理传播极大地考验着视频运营商的实力。另外，随着电信网、计算机网和有线电视网三网融合步伐的快速推进，对于视频点播业务的需求也将呈现出数据量剧增和多平台共存的局面，光靠原有的硬件基础绝对无法满足形势的发展，而增加投入势必会增加企业的运营成本，租用第三方运营平台将成为一种发展趋势。

作为一种新型的商业计算模型，云计算提供了强大灵活的计算能力和高效快捷的海量数据处理方法，其高可靠性也是普通的第三租赁方所无法比拟的。本文以云计算为平台，研究了基于云平台的视频点播模式，为解决海量视频的高效传输提供了新方法。

1 云计算技术及海量视频点播的技术特点

1.1 云计算的概念

自云计算（Cloud Computing）概念提出以来，至今仍没有统一、公认的定义，比较获得业界认可的是2011年由美国国家标准和技术研究院（NIST）提出的[2]：云计算是一种通过网络以便利的、按需付费的模式获取计算资源（包括网络、服务器、存储、应用和服务）并提高其可用性的模式，这些资源来自一个共享的、可配置的资源池，并能够以最省力和无人干预的方式获取和释放。

云计算是网格计算、并行计算、分布式计算、效用计算、网络存储、虚拟化、负载均衡等传统技术和网络技术发展融合的产物，它以虚拟化为核心，通过网络把多个成本较低的计算实体整合成一个具有强大计算能力的资源系统，以按需、易扩展的方式为用户提供所需的各种资源和服务。云是一个包含大量可用虚拟资源的资源池，云中的资源在使用者看来是可以无限扩展、随时获取、按需使用、按量付费的[3]。云模式[4]也即电厂模式，利用电厂的规模效应来降低电力价格，用户根据用电量付费，便可源源不断获取电力资源，而无需维护和购买任何发电设备。

云计算具有低成本、高性能、超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务等特点[5]。目前比较成熟的云计算业务和应用有：Google的AppEngine、Amazon的弹性计算云EC2、微软的Azure云平台和IBM的蓝云等。

1.2 云计算的架构[5]

（1）软件即服务（Software as a Service，SaaS）：SaaS服务供应商将各类应用软件统一部署在服务器上，用户通过简易的互联网接入终端就能直接使用，并按需按量付费。云中的软硬件设施由供应商负责维护和管理，用户不需顾虑类似安装、升级和防毒等琐事，且免去初期高昂的硬件投入、人员配置、软件许可证等费用的支出，经济便捷。

（2）平台即服务（Platform as a Service，PaaS）：PaaS主要面向开发人员提供一个应用的开发和部署平台，包括SDK、文档、测试环境和部署环境等。平台的部署和运维均由供应商负责，用户可一心一意致力于研发工作。

（3）基础设施即服务（Infrastructure as a Service，IaaS）：IaaS由底层硬件或虚拟机资源构建而成，用户从供应商那里获取所需的计算或存储资源来装载相关应用，且仅需为所租借的那部分资源付费。

1.3 海量视频点播的技术特点

（1）文件庞大，数据量多。单个视频文件非常大，视频资源繁多，数据海量化。

（2）编码多样，业务复杂。随着三网融合的推进及视频播放技术的改革，必将出现多编码、多平台共存及多业务共享的局面。

（3）质量至上，要求严格。庞大的数据量对服务器性能及网络带宽要求甚高，而随着点播量的快速增长，对于计算能力及处理强度的要求也相应剧增。

2 海量视频点播系统的云计算技术与建模实现

2.1 系统架构

根据视频点播业务的技术特征及云计算技术的特点，本文提出了基于云计算的海量视频点播平台的基本架构，其拓扑图如图1所示。用户通过Web交互服务器向视频点播系统发出业务请求，经Web交互服务器受理后将具体的业务要求提交给云核心服务器，由核心服务器对整个云文件系统进行控制处理，完成视频文件的调用并反馈回客户端。

图1 系统架构图

2.2 系统工作原理

系统采用Hadoop系统实现云点播平台SaaS层的构建[6]。根据点播系统的功能要求及Hadoop系统的基本构成，包括以下几个功能组件，阐述如下：

2.2.1 Web交互服务器

在整个点播系统中，Web交互服务器作为系统前端窗口，负责受理用户的点播、注册、用户管理等常规业务，当涉及视频文件调用时，则将业务请求转交给后台的云核心服务器处理，Web交互服务器仅负责点播信息的传递工作，没有涉及具体视频文件的传输内容。

2.2.2 云核心服务器

云核心服务器位于云计算的最上层，负责整个云系统的资源管理及任务控制。

（1）资源管理。作为Hadoop系统的主控节点，云核心服务器负责记录文件的数据块分割规则及这些数据块的具体存储位置，对内存及I/O进行集中管理。为加快维护效率，同时减轻本身负担，云核心服务器通过与各集群主控服务器进行交互控制，对集群中的所有节点和所有虚拟机进行实时控制，维护系统的资源状态信息表。为提高系统的运作性能，云核心服务器仅管理文件系统的元数据，具体的数据访问则交由下层服务器负责[7]。

（2）任务控制。响应Web交互服务器的点播请求，检索资源状态信息表，获取资源的具置，然后通过集群主控服务器汇总节点信息，建立客户端与各虚拟机实例的通信，实现数据传输。

2.2.3 集群主控服务器

为提高云系统的运作效率，减轻核心服务器的负担，将云系统的资源划分成多个集群，由集群主控服务器负责管理该集群中的所有资源。集群主控服务器主要有以下作用：

（1）集群主控服务器管理其集群中的所有节点控制器和虚拟机，对系统资源进行实时监控，形成子资源状态信息表，并将结果反馈给云核心服务器，更新整个云系统的资源状态信息表。

（2）响应云核心服务器的任务要求，快速调用集群中的虚拟机实例，建立与客户端机器的连接，传输数据。

（3）担任Hadoop系统的主节点，控制集群中的所有从节点，对集群中所有虚拟机实例及系统资源进行统筹管理，提高系统的响应效率。

2.2.4 节点控制器

节点控制器是整个云系统的前沿阵地，在节点控制器上真正运行着虚拟机实例，并通过虚拟机管理器进行管理，虚拟机实例的数量由节点控制器的资源及计算任务的类型决定，一般为3～5台。节点控制器的功能包括以下三方面[8]：

（1）节点控制器负责监控节点上运行的所有虚拟机实例的运行状态及资源的使用情况，并将监控状况实时返回给上层的集群主控服务器。

（2）响应集群主控服务器的需求，启动虚拟机实例实现数据通信。当任务完成后或在规定时间内客户端无响应（如客户异常退出）时，则停止虚拟机实例运作，释放网络带宽及点播资源。

（3）监控和管理虚拟机实例。包括虚拟机资源的存储备份、虚拟机宕机的应急处理等。

2.3 系统设计的关键技术

2.3.1 数据的冗余备份

云系统的文件传输采用流媒体技术实现，即将多媒体文件压缩后分解成若干大小相等的数据块（数据块的大小可根据实际情况进行配置），并统一编号，再由服务器对客户端进行实时传送。为了容错，文件的所有数据块都会有副本，即冗余备份。系统运行时，节点控制器利用虚拟机管理器对虚拟机上的文件系统进行监控，产生一份数据块与本地文件对应关系的列表，形成块报告返回给节点控制器，节点控制器根据块报告进行完善（如增加数据块具体路径等）后反馈给集群主控服务器更新资源状态信息表。

云系统的集群一般运行在多个机架上，不同机架上的数据通信必须通过交换机，通常机架内节点之间的带宽比跨机架节点之间的带宽要大，这有可能影响云系统的可靠性和性能。采用机架感知（Rack?aware）策略[9]，将数据块以多个副本形式部署在本地机架和不同机架上，改进数据的可靠性、可用性和网络带宽的利用率。此策略可防止机架失效时的数据丢失，也可保证系统的性能。

2.3.2 心跳检测技术

在任何系统设计中，硬件异常检测总是极其重要的。云系统采用心跳检测[10]技术来控制系统硬件的异常情况。集群主控服务器周期性地通过节点控制器接受虚拟机的心跳包和块报告，以此判断虚拟机的存活状态：收到心跳包说明工作正常；若在特定时间t内没有收到心跳包信息，则认为宕机，系统将不会发给它们任何新的I/O请求。对于宕机的虚拟机，系统将不断进行检测并通过虚拟机管理器进行故障修复，若在特定时间内仍无法恢复，则将重新复制该数据块，避免该数据块副本数减少所造成的影响。

2.3.3 智能节点替换技术

智能节点替换技术与心跳检测技术联合应用，当系统在特定时间内仍无法检测到某数据块的心跳包时，则将该数据包重新复制，此时，节点控制器将更新数据包的新位置，并使用新节点替换原来的故障节点，保证数据传输的连贯性。

2.3.4 负载均衡技术

负载均衡是很多系统中需要解决的重要问题。在云系统中，云核心服务器根据节点控制器发送的心跳信息和存储的数据块情况，掌握各节点的当前状态，通过平衡资源状态信息表中的资源分配情况，将数据块分配给负载较轻、写入速度较快的节点控制器。具体包括：在新数据加入时，为新数据寻找优越的存储位置；若现有的资源过于集中，可采用数据块迁移方法，重新分配合适的存储位置，平衡整个文件存储系统。

3 结 语

随着三网融合进程的不断推进，视频点播业务将面对内容繁杂、平台多样、业务量激增等局面，这对传统的视频点播模式提出了巨大的挑战。

本文在分析云计算的基本架构和技术特点的基础上，结合视频点播业务的特点，论述了云计算在视频点播系统中的应用，对其系统架构、工作原理和关键技术进行了详细的阐述，为解决海量视频的流畅传播提出了一个全新的思路。

参考文献

[1] 陈旭文，林若波.基于P2P的多原VOD系统的设计[J].测控技术，2012，31（8）：27?30.

[2] MELL P，GRANCE T. NIST SD 800?145 the NIST definition of cloud computing [S]. Gaithersburg，MD： NIST Special Publication，2011.

[3] 吴朱华.云计算核心技术剖析[M].北京：人民邮电出版社，2011.

[4] GROSSMAN R L.The case for cloud computing [J]. IEEE Computer Society，IT Professional， 2009（11）：23?27.

[5] 周洪波.云计算技术、应用、标准和商业模式[M].北京：电子工业出版社，2011.

[6] HADOOP W T. 权威指南[M].曾大聃，译.北京：清华大学出版社，2010.

[7] 刘鹏，黄宜华，陈卫卫.实战Hadoop：开启通向云计算的捷径[M].北京：电子工业出版社，2011.

[8] Anon. Amazon elastic computing cloud [EB/OL]. [2011?07?18]. http：///cn/ec2.

[9] 李玲，付园，麻晓珍，等.云存储系统中数据冗余策略优化问题[J].吉林大学学报：信息科学版，2013，31（1）：1?7.

[10] 许丞，刘洪，谭良. Hadoop云平台的一种新的任务调度和监控机制[J].计算机科学，2013，40（1）：112?117.