云计算以及云数据管理技术研究

【摘要】云计算技术以互联网技术作为主要技术手段，为用户提供计算资源访问。如何提高云计算对大量数据的快速处理以及提供精确快捷查询的功能，是目前的重点研究问题。而对云数据进行管理的技术也逐步发展成为一个热门的研究课题。本文在分析云计算技术的基础上，结合谷歌Google、亚马逊等代表厂商的云计算方案，对云数据管理作了进一步研究，并对其未来作出了展望。

【关键词】云计算；云数据管理；管理技术

1.引言

近年来，随着网络带宽的不断增长，数据的不断增大，通过网络访问非本地的数据处理、存储和信息服务等计算服务的需求越来越高。在这种情况下，云计算技术应运而生，其发展也得到了越来越多的关注。云计算以其独特的优势有效的解决了用户在使用计算机的过程中计算能力以及储存能力的合理配置，最大限度的减少了用户对计算机软件和硬件方面的投资，节约成本。云计算综合了分布式系统、互联网等各种现今技术，实现了大量数据的快速计算和储存，应用范围广泛。然而，云计算并不是一个完全独立的分支，而是需要各种技术手段作为支持，其中包括对计算数据的相关管理、分布式的储存方式以及数据的同步运算等方面。

2.云计算技术

2.1 云计算的概念

云计算带来存储信息和运行应用程序的方式的重大变化，程序和数据都托管在“云”中，而不再运行和存放在个人计算机上，用户不需要关心它们的具置。这个“云”就是一组可以通过互联网公开访问的、个人计算机和服务器组成的集合。这种云计算的模式来源于企业，是融合了网络带宽、网格计算、SOA、虚拟化等技术的发展而产生的。同时，云计算是一个概念，而非某项具体的技术标准，因此，不同人对云计算有不同的理解和定义。维基百科上对云计算的定义是：云计算是一种计算模式，在这种模式下，动态可扩展而且通常是虚拟化的资源通过互联网以服务的形式提供出来。用户在终端并不需要了解“云”中的基础设施，不需要进行控制操作，甚至不必了解专业知识，只需要清楚自己需要的资源是什么，以及如果通过网络获得服务。通过这种云计算的模式，就可以实现对共享可配置资源的按需访问，包括网络、服务器、存储、应用和服务等等。

大多数企业在面对计算数据以及储存量增加的问题时，需要采购相应数量的计算机以满足计算和储存的需求，这就使得企业的成本大幅提高。而云计算的目的则是让企业或者个人通过在互联网中租用计算和储存的能力，使得个人或者企业能够根据数据的多少随时选择运用或者暂时不运用此计算能力，这就从根本上降低了企业或者个人在计算机软件或者硬件上面的投资。而这一功能的实现，依靠的是由数量庞大的服务器联合使用形成的数据中心。而相互交织的网络正是这些服务器之间联系的纽带，因而可以通过网络对这些服务器进行管理和维护，为企业或者个人供应计算能力。在使用的过程中，计算过程是被分布式系统所隐藏的，企业或者个人在加入云计算之后其计算机的计算能力加强，而对供应计算服务的服务器情况并不知情。

2.2 云计算的实现

根据对云计算的定义，在云计算系统中，用户将个人计算机经由互联网连接到云端。云中的设施对用户来讲是透明的。如图2.1所示，云架构借助智能化的管理连接这些计算机，并处理用户的请求。在终端，当用户启动一个应用后，将请求发送给系统管理，由系统管理寻找正确的资源并调用相应的系统服务。这些服务在云中划分出必要资源，加载Web应用程序。Web应用启动之后，系统的监测和计量功能跟踪云的使用，确保资源分配和归属到用户。在这个过程中，资源的分配管理是自动的。

2.3 云计算的研究发展

从2007年开始，国内外公司纷纷将“云计划”提上日程，Google、亚马逊、IBM、微软和雅虎等知名厂商是云计算的先行者。同时，VMware、Facebook、YouTube等公司也在云计算领域获得了成功经验。

在国内，云计算也在高速发展的进程中。2008年5月，和IBM合作建立的我国首个云计算中心投入运营，这家云计算中心位于无锡太湖新城的科教产业园。一个月后，IBM又在北京建立了国内首家部级的云计算中心IBM大中华区云计算中心，由此拉开了国内云计算发展的序幕。2009年，阿里巴巴公司在南京建立了国内第一个用于电子商务的云计算中心。在国内对云计算研究较早的企业应当属中国移动通信集团公司，其研究部门认为移动化将会是云计算的发展趋势，目前该研究部门的云计算中心试验已经顺利完成。

2.4 云计算应用分析

根据互联网数据中心的结果显示，在2012年云计算的市场总额已经达到420亿美元，在今后的几年中仍将呈现上升的趋势。根据目前国内企业的现状来看，云计算已经进入快速发展阶段，且利用率在逐年增加。在巨大的市场以及研究领域的共同作用下，国内的云计算技术将会实现新一轮的突破，将广泛应用在包括科研领域、医学领域、网络安全领域、图像处理领域和互联网领域在内的众多领域中。

众所周知，网络病毒其产生速度快，种类相对繁多，传统的杀毒模式并不能很好的防御和查杀病毒，这就对使用者的计算机带来严重的安全隐患。正是有鉴于此，部分杀毒软件制造企业也提出了发展“云计划”的构想。所谓的杀毒云计划，就是将所掌握的病毒的数据储存在“云”内，并与使用者的计算机通过互联网相连接，当使用者的计算机试图打开存在安全隐患的链接时，“云”可迅速发现并将病毒进行拦截，有效的防止病毒进入使用者的计算机，保证其储存资料的安全。

3.云数据管理技术

3.1 云存储

云存储是云计算的一个主要用途。在云计算模式下，数据被存储在云端的虚拟空间中，这个虚拟空间的划分和管理是由云动态进行的，对用户来讲是透明的。数据存储时，用户看到的是一个虚拟的服务器，用户虽然可以对这个存储空间像连接在自己电脑一样进行管理，而实际上，这个服务器只是逻辑上存在的，数据的事实存储位置是动态改变的，它们可能的存储位置是云中的任何一台或多台计算机。这与传统的网络存储把数据存在专用的服务器上不同的，而是存储在了多个第三方服务器上。

3.2 几个代表厂商的云数据管理技术

在云计算中，海量数据需要高效管理，其定数据需要快速定位，云端海量数据需要精准查询，这些迫切需求的出现，使Web数据管理正逐步向云数据管理阶段发展。云数据管理是在云计算概念上延伸和发展出来的一个新的概念，具有大量性、异构性和不确定性等特点。云数据管理使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。

3.2.1 Google的云数据管理技术

1）Google文件系统GFS。

GFS是Google的一个结构化的分布式文件系统，其功能在于将多台机器上的存储空间统一管理起来，支持Google实现大量数据的储存、读写操作，容错性较强。GFS将文件系统节点分为3种角色：客户端（Client）、主服务器（Master）和数据块服务器（Chunk Server）。客户端是GFS提供给应用程序的访问接口，是一种专用接口。主服务器是GFS的管理节点，管理的范围涵盖整个系统，在一个文件系统中只有一个主服务器，保存系统的元数据。数据块服务器是系统中数据文件储存的场所，其数量可以是多个，它们直接决定了GFS的规模大小。GFS将数据以默认64MB的固定数据块为单位进行存储，并分布在不同的数据块服务器上。

2）分布式结构化数据表BigTable。

3）分布式处理技术MapReduce。

3.2.2 亚马逊采用的云数据管理技术

亚马逊平台的基础存储架构是Dyn-amo，作为状态管理组件被用于亚马逊的很多系统中。亚马逊是目前世界电子商务提供商之一，其系统每天要接受全球数以百万计的服务请求，很多服务例如购物车等对存储的需求只有读取、写入，满足简单的键/值式存储即可。Dynamo便以简单的键/值方式存储数据，不支持复杂的查询，并以数据值的原始形式位（bit）存储数据，对内容不做解析，可以处理所有的数据结构。Dynamo技术并不是直接被程序所使用的技术，其作用在于为亚马逊公司的云计算服务AWS（Amazon Web Services）包括核心服务S3、EC2、简单队列服务SQS以及SimpleDB提供基础保障。Dynamo技术是以DHT作为其基本理念的，该技术的最大优势在于能够将数据均匀的进行储存，同时其自身具有较强的管理维护性能，无需主服务器对其进行监测，因此没有单点出现故障的可能性。

4.总结与展望

云计算的最终目标是将计算作为一种公共设施提供给用户。尽管当前云计算尚处于发展阶段，但与飞速发展的电子和通信技术不断的相互促进及融合。“3G”乃至“4G”为云计算带来了数以亿计的移动网络用户，借助云计算平台，移动网络用户可以获得前所未有的服务体验。“物联网”的快速发展，使大量的传感器、射频识别RFID采集到的海量数据，通过3G或互联网传输，汇聚到云端进行数据管理。同时，云计算的发展面临的挑战也相对增加。无论是Google的应用程序引擎App Engine，还是亚马逊的EC2，或者是微软的服务平台Windows Azure Services Platform，这些行业厂商们提出的云计算及云数据处理的方案彼此既有相似的地方，又各自在应用场景、实现技术等方面有差异，虽然无完全的优劣之分，但解决方案风格迥异、互不兼容，未来势必会朝着统一平台和标准的方向发展。其次，与移动通信及物联网技术的相互促进，使得云计算适用的领域也在不断增加，这无形中对云数据管理技术带来了一定程度的困难，原因在于应用领域增多的同时其数据的数量以及格式将随之增加，同时需要改变信息系统运行模式的数据迁移相应带来技术难度和成本。由其应用领域的广泛和巨大的市场可以看出，云计算技术以及云数据管理技术在当今的社会中拥有极大的竞争优势，但是不难看出在现行的技术中仍然存在着许多疏漏。

尽管如此，云计算技术以及云数据管理技术作为一种具有重要现实意义的技术，彻底改变着IT产业的运行方式。在我国，随着与IBM公司合作的第一个云计算中心的建立，云计算技术已经和国内迅速发展起来，并越来越多的覆盖到各个领域。

参考文献

[1]陈康，郑纬民.云计算：系统实例与研究现状[J].软件学报，2009，20（5）：136-137.

[2]罗军舟，金嘉晖，宋爱波等.云计算：体系架构与关键技术[J].通信学报，2011，32（7）：29-30.

[3]叶可江，吴朝晖，晓红等.虚拟化云计算平台的能耗管理[J].姜计算机学报，2012，04（6）：52-53.

[4]谭一鸣，曾国荪，王伟.随机任务在云计算平台中能耗的优化管理方法[J].软件学报，2012，18（2）：102-103.

[5]马晓亭，陈臣.云计算环境下图书馆云阅读终端设计[J].图书馆理论与实践，2012（9）：66-67.

[6]杨柳，唐卓，朱敏等.基于风险的云计算环境用户效用分析[J].湖南大学学报（自然科学版），2011，03（7）：950-951.

[7]刘鹏.云计算[M].电子工业出版社，2010：10-34.

[8]朱近之.智慧的云计算[M].电子工业出版社，2010：20-23.

[9]Michael Miller著.姜进磊等译.云计算[M].机械工业出版社，2009：10-12.