横向扩展+高效去重:应对大数据备份挑战

时间:2022-10-22 11:55:21

横向扩展+高效去重:应对大数据备份挑战

电信运营商的备份数据量通常较大,而且对数据的实时性要求较高。中国惠普有限公司存储产品部高级技术顾问张楠表示,电信运营商在数据备份方面主要关注以下四方面因素:第一,在最短的时间内完成数据的备份,这也是大数据备份面临的一个难题;第二,加快数据恢复的速度,特别是在灾难事件发生后,能否及时地恢复数据对电信运营商来说非常重要;第三,解决企业分支机构数据备份和容灾的问题,实现数据的集中保护和管理;第四,实现异地容灾。

福建联通在最近一次备份系统升级中,采用HP StoreOnce B6200备份解决方案,消除了备份系统中的瓶颈。

大数据带来新挑战

随着3G业务的高速发展,福建联通不仅调整了营销策略,而且其整个业务数据的存储、备份和应用也发生了变化。比如,福建联通以前关注用户的话单、话费,现在则开始对用户的上网行为进行精确分析。“这种新的业务需求对我们的信息系统的支撑能力提出了更高的要求。”福建联通信息化事业部经理郑刚举例说,“以前,我们的存储系统的容量大小是根据用户数来估算的。现在,从业务的角度分析,每增加一个应用维度,数据量就要增加20%~30%。随着业务不断增加,我们的业务数据量呈现爆炸性增长的态势。这对于我们的数据存储和备份架构来说是一个严峻的挑战。”

郑刚表示,HP StoreOnce B6200在以下几方面很好地满足了我们的备份需求:第一,HP StoreOnce B6200具有非常好的扩展性,可以满足数据高速增长的需求;第二,HP StoreOnce B6200自带重复数据删除功能,不仅备份性能出色,而且具有高可用性,同时还降低了备份系统的整体拥有成本;第三,与福建联通以前使用过的同类产品相比,HP StoreOnce B6200的优势在于,能够在复杂的SAN环境中更加灵活、高效地实现数据备份。

一专多能

福建联通很早就开始进行数据大集中的工作。数据的集中对备份系统的性能、灵活性、可扩展性以及成本等提出了更严格的要求。郑刚表示:“在升级备份系统时,我们最关注的还是成本,其次是系统的可管理性和可扩展性。HP StoreOnce B6200在上述几方面都拥有明显的优势。”

此次升级备份系统,福建联通用HP StoreOnce B6200替换了原有的虚拟磁带库,备份软件也选用了HP Data Protector。HP StoreOnce B6200备份平台支撑着福建联通的一些核心业务,主要包括CRM系统、计费系统、账务系统等,数据总量约为40TB。福建联通每天每个小时做一次增量备份,每周进行两次全备份。

采用HP StoreOnce B6200后,福建联通备份系统的整体性能有了明显提升。以前备份一个数据库至少需要10多个小时,而现在只需要几个小时。HP StoreOnce B6200在满配(8个控制器、384块硬盘)的情况下,其备份速度最高可以达到100TB/h。“通常情况下,用户每天备份需要8~10个小时,而使用HP StoreOnce B6200,只需2~3个小时就能完成备份工作。”张楠举例说。

郑刚表示,与以前使用的虚拟磁带库相比,HP StoreOnce B6200不仅整体拥有成本更优,而且可以更好地满足大数据备份的需求。“如果仅从容量或性能的角度考虑,我们也可以选择其他厂商的设备。但是,HP StoreOnce B6200不仅自带重复数据删除功能,而且采用多控制器架构,能够同时支持多条数据链路,从而避免了备份大数据时可能出现的网络拥塞,也减少了对网络带宽的占用。今后,如果我们的数据中心SAN网络要跨机房部署,而HP StoreOnce B6200能够有效减少对带宽的占用,那么我们在部署多Fabric架构时就会变得游刃有余。”

在福建联通,HP StoreOnce B6200主要被用于备份数据库数据,而文件备份还是采用传统的磁带库方式。郑刚说:“我们的数据库备份都是基于虚拟的架构,而文件还是备份到物理磁带库中。我们现在有3个大容量的磁带库。”

福建联通此次采购的HP StoreOnce B6200的容量为96TB,实际已经使用的存储空间为20TB~30TB。“现阶段,HP StoreOnce B6200实际安装的磁盘数量还比较少,不过已经能够满足我们当前的应用需求。未来,根据业务发展的需要,我们将进一步优化现有的数据保护整体架构,并对HP StoreOnce B6200进行扩容,相信其性能还会继续提升。”

重复数据删除效果好

如今,备份技术与重复数据删除技术已经密不可分,不仅备份软件中增加了重复数据删除功能,而且许多备份硬件设备,比如虚拟磁带库中也内嵌了重复数据删除功能。在数据存储量不断增加的情况下,重复数据删除技术可以有效节省存储空间,提高数据备份的效率。

福建联通以前采用的备份软件就包括重复数据删除功能。但在实际应用中,郑刚发现带有重复数据删除功能的软件在性能、稳定性以及数据压缩效率等方面仍有欠缺,而基于横向扩展架构的HP StoreOnce B6200具有的重复数据删除功能十分优异,稳定性也更好。

为了满足用户跨平台的数据保护要求,第一代重复数据删除技术厂商会采用不同的重复数据删除技术处理来自应用服务器、备份服务器以及磁盘备份设备上的数据,由于技术不兼容,很容易造成信息孤岛,而且重复数据删除的效率低下,管理的复杂度也很高。

“第一代重复数据删除技术多是基于单节点或单个重复数据删除引擎存储架构的,一旦引擎发生故障,备份或恢复作业就会停止,客户数据就有丢失的风险”。张楠介绍说,“惠普推出的创新的第二代重复数据删除技术——联合重复数据删除,基于面向未来设计的多引擎的横向扩展存储架构。以采用第二代重复数据删除技术的HP StoreOnce B6200为例,它是一个全自动的、高可用的、多引擎的解决方案,可以支持最多8个引擎,能够随着数据量的增加实现性能和容量的同步提升。”

采用第二代重复数据删除技术的HP StoreOnce B6200可以在任何地点进行重复数据删除,包括应用服务器端、备份服务器端以及备份目标端等。惠普已将第二代重复数据删除技术用于HP StoreOnce全系列的备份设备,包括低端的2000系列、中高端的4000系列以及面向大型数据中心及关键业务的6000系列。

实现统一备份

福建联通本地的主数据中心已经没有多少空间。福建联通正在筹划建设新的数据中心。郑刚表示:“基于HP StoreOnce B6200的备份方案上线已经半年多。整个系统的备份速度、稳定性等都能满足我们的需求。从目前情况看,HP StoreOnce B6200的许多先进功能我们还没有用到。但在项目二期进行系统扩容时,我们考虑将HP StoreOnce B6200用于远程数据复制和迁移等,为企业的大数据备份和容灾应用奠定基础。从长远来看,我们将依托HP StoreOnce B6200构建一个统一、完整的数据备份系统。”

未来,在企业的云计算数据中心内部实现统一备份是大势所趋。统一备份要求,企业不能再针对每个应用系统单独建立一个备份系统,那样容易形成信息孤岛。郑刚表示:“我们计划实现统一的备份,就是将整个备份系统,包括软件以及备份设备本身,统一管理起来。从HP StoreOnce B6200具备的可扩展性和可管理性来看,它完全可以满足我们对统一备份的需求。”

2012年6月,惠普对HP StoreOnce 备份产品家族进行了更新,HP StoreOnce B6200配合最新的HP Catalyst软件,其备份性能已经达到100TB/h。郑刚表示:“目前,HP StoreOnce B6200运行十分稳定。未来,在备份系统扩容时,我们也许会考虑采用HP Catalyst软件。”

相关链接

HP StoreOnce B6200

由于采用了可横向扩展的集群技术,HP StoreOnce B6200不仅可以实现性能和容量的同步线性扩展,而且具有更高的可用性。

2011年,惠普公司首次推出StoreOnce B6200,其本机的备份和恢复速度为28TB/h。2012年6月,惠普推出了升级版的HP StoreOnce B6200,其本机的备份和恢复速度已经提高到40TB/h。

惠普在升级StoreOnce B6200的同时,还了HP StoreOnce Catalyst软件。在HP StoreOnce Catalyst软件的帮助下,HP StoreOnce B6200的备份速度可以提高到100TB/h。这意味着采用普通备份产品一周才能完成的工作,HP StoreOnce B6200只用一天时间就能完成。

上一篇:云创益大赛:技术大咖秀场和营养汲取平台 下一篇:《梦想世界》之装备特技特效解析