如何破解数据管理难题

时间:2022-07-11 09:23:38

如何破解数据管理难题

如何管理和利用疯涨的企业数据,是当今用户面临的严峻挑战。存储虚拟化和标准化被视为破解用户数据管理难题的两大利器。

由计算机世界报社和SNIA(全球网络存储工业协会)联合主办的“网络存储世界/2007中国”分别于5月23日~24日、29日和31日在北京、上海、成都举行,这次盛会荟萃了存

储领域的新技术与新产品,并指明了最新的发展趋势。

困扰用户的存储难题

每年,SNIA最终用户委员会(EUC)都会做一次用户调查,今年用户调查的主题是“困扰用户的存储难题”。SNIA最终用户委员会(EUC)对387名最终用户调查的结果显示,用户新增添了比以前更多的存储基础设施和更多的可选厂商,但是他们并没有得到一直所向往的互操作性及管理方式。

受访者最关心的是升级和互操作性,特别是对于一些大企业来说,最担心的是强迫升级存储设备;另外,技术前景的未知性、不稳定性及难以安装和维护,都使得用户感到焦虑。

调查还发现,软件与应用的互不兼容、管理软件在多厂商异构环境中不能使用、软件在新的硬件中不能运行、硬件落后于操作系统的升级速度等问题,也深深困扰着存储用户。

就技术而言,多数被调查用户认为,CAS、虚拟化和InfiniBand都是“还未成熟的技术领域”,而CDP、iSCSI和存储资源管理(SRM)则普遍被认为要成熟许多。

SNIA战略联盟主席Vincent Franceschini表示,在不断增长的环境当中管理各种不同的数据,对于IT人员而言是非常严峻的挑战。

另外,如何更好地利用数据库也是一大挑战。随着数据库的范围和规模不断增加,多数企业希望有效地优化这些数据的应用,有能力在需要的时候快速获取信息,然而现在数据库的利用情况并不好。

根据IDC 2006年IT管理的优先级调查,被调查的企业高管普遍认为,IT管理重要程度由高到低分别为:数据安全、处理增加数据的能力、容量规划、运行成本的降低、存储网络扩展和iSCSI。

因此,成本也是用户不得不考虑的问题。虽然用于整个服务中心或数据中心存储部分的扩展成本已经开始逐渐降低,但根据IDC的数据,用于管理和服务的成本,将从2008年或2009年开始逐渐增加。这将使整个数据中心总体拥有成本(TCO)变得非常巨大,为未来的数据中心管理者和存储的管理者提出了现实的问题。

中国用户同样面临以上问题。以中国建设银行为例,应用系统的数量以每年50%的速度在递增,数据管理遇到了问题。例如在线数据存在单点,随着压力的增大,很难满足系统可靠性的要求;随着数据量的增长和应用系统数量的增长,备份可恢复的窗口越来越长,发生故障时无法快速恢复业务的需求;数据每天都要备份,但无法验证数据的有效率等。

虚拟化渐落实

IDC在2006年6月进行了虚拟化重要性的相关研究,在虚拟化作为一个关键的投资或优先级应用统计项目上,服务器虚拟化和存储虚拟化在今后12个月占的比例很重。但在更长时间的比例上,存储虚拟化和应用虚拟化的增长速度,超过了原来服务器平台的增长速度。也就是说,在用户发展的思路策略上面,已经关注到了虚拟化带来的种种优势。

虚拟化隐藏了过去系统的复杂性,使整个存储设备进行有效的组合,这种组合使得服务和支持变得更加简单和易用;另外,可保持容量的有效利用,从而降低整个总体应用的成本;提供标准化拷贝服务,使数据复制更加容易,使存储间的数据迁移更加容易。同时,虚拟化也可以最大限度地配合ILM(信息生命周期管理),改善数据存储能力。

IDC公司副总经理暨业务发展总监万宁认为,虚拟化带来物理和逻辑上的分离,使存储任务变得更加简化。通过虚拟化技术,企业用户可以得到最有效的解决方案,有效地降低成本,并提高业务响应支持能力。

各个厂家在存储虚拟化方面投入的力量也很大。IBM 存储产品经理金微认为,虚拟化可以为企业带来显而易见的改善: 使用户的环境更加开放,随时可以把新的网络连接方式加到新的虚拟化当中;非常显著地减少时间,无论是计划中按照既定时间做备份,还是计划外的意外步骤,都可以通过虚拟化大规模减少停机的时间;共享带来了利用率的提高;与一些应用程序结合,可以实现动态的自动化。另外,虚拟化实现以后,使用比较方便,也有利于提高存储系统服务的指标和能力。

思科公司亚太区整合方案业务部解决方案架构师何志东告诉用户,在进行SAN 存储网络设计中应考虑到以下问题:首先要考虑性能和可扩展性,例如整合的网络能否随着业务的需求而增长,投资保护如何,新的构架能否支持多种应用等。其次,迁移永远是客户最大的担心,数据的迁移和复制是否会导致网络上正在运行的应用中断。第三是可靠性,一个应用的故障是否会影响到其他应用,极高可靠性的硬件支撑和关键业务的存储保障能力。安全性也是很重要的,包括安全策略的制订、维持数据的一致性和私密性、设备授权和认证等。此外,还要考虑到如何管理和维护多个应用、如何简化SAN的管理和维护、如何考虑数据的冗余备份及数据故障的恢复,以及很重要的总体拥有成本。

存储走向标准化

SNIA战略联盟主席Vincent Franceschini认为,存储管理标准化是解决存储管理难题的良方。针对提高存储互操作性及降低存储管理复杂性的问题,SNIA推出了存储管理接口标准(Storage Management Initiative Specification,简称SMI-S),并正式获得ISO(International Organization for Standardization,国际标准化组织)及IEC(International Electrotechnical Commission)的批准,成为国际标准。

SMI-S标准是优化存储资源的利用和存储管理资源的利用,把各个存储网络的装备标准化,使之达成连续性和一致性。通过SMI-S协议,不同厂商的网络设备将按照统一的协议“对话”,从而形成统一的界面。在中国,SNIA推进了SMI-S 1.2标准。据了解,目前全球已经有来自多家厂商的超过450种产品获得SMI-S规范认证,是否通过SMI-S认证成为用户采购的重要参考要素。

SMI-S一直在不断地发展。2003年推出了SMI-S 1.0标准,2006年了SMI-S 1.1标准,在今年又了SMI-S 1.2标准,很多公司都严格要求所有的设备都必须遵守这个标准。随着技术的发展,SMI-S1.2比SMI-S1.1和SMI-S1.0的涵盖范围扩大了很多,未来这个规范也会加入很多新的功能。

SNIA通过各地区分会组织的各种活动来共同推广SMI-S标准的实施,同时在每年举办的网络存储世界大会上,通过存储学堂、实验操作、互操作性解决方案演示及互操作性测示等环节建立起存储厂商与最终用户之间的国际联盟。Vincent Franceschini表示,SNIA将继续扩展SMI-S的功能性进程,从而满足存储厂商及行业用户快速增长的存储技术需求。从技术上进一步加强存储能力,如基于主机控制、存储抽屉、文件系统配额、快照与复制管理中卷保护和一致性管理等技术的支持。

Vincent Franceschini还介绍了SNIA另一个重要的计划“XAM”(eXtensible Access Method,参考信息和其存储位置之间接口的规范),旨在为与任何特定存储系统技术无关的参考信息――包括医疗图像、文档、PDF文件等提供一个接口。Vincent Franceschini表示,XAM能够进一步促进数据的利用,并能够使存储技术向不同的档案文档数据之间进行转移,并且不会造成任何额外的工作负担。XAM目前处于开发过程中,除了IT的专业人员,很多销售商也参与其中。

存储厂商为用户支招

如何能更有效地管理数据库、存储资源,更有效地解决行业所面临的瓶颈问题?存储厂商带来了不同的解决方案。

中国惠普有限公司亚太区存储管理技术总监Charles Tse介绍了HP Storage Essentials解决方案和技术,利用它可以有效改善运营效率,确保数据的可用性,在购买存储硬件上有很大的自由度,并使之与业务和预算的需求相匹配。

Storage Essentials是一个单一的平台,所有的模块都共享一个数据库,降低了IT工作量和培训成本;它可以全面支持各个厂商的设备,并可扩展和远程管理;其100% WEB 服务架构适合分散的数据中心,无论数据中心和生产、备份中心在哪一个网络或国家,都可以利用Storage Essentials做统一的管理。资源的分布,相关设备的管理,也是Storage Essentials的强项。最重要的是,Storage是根据SMI-S标准设计的,Storage Essentials将来出现的新功能,都可以整合在SMI-S里面。

针对客户希望数据恢复既快又准确的需求,EMC公司中国区技术解决方案部技术商务顾问李君鹏介绍了EMC分层存储平台和EMC在数据恢复方面的产品,既有本地保护也有远程数据保护。李君鹏认为,光有本地保护是不够的,如果是数据中心出了状况,就要采取远程保护,先把重要的信息通过网络或服务器传到远端,在远端做自动化的处理。

国内以前建设数据中心,基本上只有物理数据中心,所有数据都在一个物理位置上,但是在资源和IT基础上是区隔的,建设成了一个个相隔离的烟囱型数据中心。Symantec中国区技术总监李刚认为,把烟囱缩短,第一步需要资源的整合,至少物理上要资源整理。然后通过标准的接口,统一管理和规划,这样可以实现自动化。

HDS技术顾问李少华向用户介绍了HDS今年5月最新的USPV平台。HDS曾于2004年推出的USP平台,可以达到32TB的扩展能力,而新一代的USPV平台在扩展性方面可以达到247 TB,连接端口方面提升了500%,远程复制方面提升了200%。不管性能还是扩展性,都是可用性的体现。

USPV平台还有其他比较独特的地方,如支持HDP软件,可以对前端的应用提供一个响应按需的请求;以前USP的3款型号在USPV可以做无缝的升级,升级的同时整体的性能也会提升。由于端口性能的增强,远程灾备方面也得到了很大提升。USPV还能够实现虚拟化,管理简便,实现灵活的应用。

链接:主要存储趋势

数据中心管理

存储市场在不断地发展,SNIA战略联盟主席Vincent Franceschini表示,随着信息和数据的快速增加,未来存储面临的挑战不仅来自管理数据库,还要确保数据库的管理能够符合现有的IT的架构,无论这些数据是来自于业务的处理过程之中,还是外部的环境,如监管方面的需求。这些挑战包括多个不同的数据中心之间如何协同增效,是否有能力获取信息,能否更好地保护数据和灾难恢复,利用虚拟化、数据库、存储库等新的管理架构、技术和工具来管理更多的数据和信息等。

IDC公司副总经理暨业务发展总监万宁认为,未来的数据中心需要一个有支持无限扩展能力的存储架构,并且日趋扁平化,同时用于管理更多的存储设施和解决方案,从而来完成对于多项应用的支持。

应用存储

创新科存储技术有限公司副总裁崔认为,应用存储有别于传统存储,更加强和强化了对于应用的优化服务,更好地为应用进行结合、优化,完成我们对存储的要求,包括对信息的可用性、信息的安全性、信息的虚拟化等方面。

应用的存储的优点是能够为应用提供更高效的数据服务、更可靠的数据保护、更便捷的数据管理,并降低整个存储的总成本(TCO)。

崔认为,应用存储平台的另一个特质是应该有超强的性能,能够完全满足存储的性能以外,还有富余的资源或能力对应用的优化和智能化进行准备或专门的服务。

同时应用存储的平台,应有多种的缓存或者是数据管理的Cache的机制,通过数据预存取技术Prefetch技术提高Cache的命中率;有针对小文件的技术,改善小文件应用的性能;有处理内存流优化技术,改善大文件的性能;并具备Read ahead和Write Back技术,提高连续读写性能。只有具备了全能的机制,让应用通过不同的渠道进行取舍,才能针对不同的应用,

提供更有效的服务。

绿色存储

在这次会议上,绿色存储成为被关注的热点话题。Vincent Franceschini表示,SNIA一直以来都非常关注绿色IT,而IT行业也已经逐渐考虑到部署一些大型基础架构过程中的系统维护费用或TCO,以及如何有效地节约能耗的使用和电力的损耗。因为某些产品的维护成本有可能超过初期安装成本。

根据Gartner的预测,未来几年,世界上有一半左右的数据中心受到电力和空间的限制,能耗将占IT部门预算的1/3。IDC也表示,IT系统的能耗花费将达到硬件花费的1/4。

同时,很多地方的政府机构也通过规章制度提出一些关于能耗方面的要求。

SNIA认为,为了更好地管理这些能源的效率,应该建立起这方面的行业标准和参考标准。不仅对于存储领域,对于整个的IT领域都应该建立起一些标准和实践,可以帮助业内更好地在降低能耗和提高未来效率上做出指导。很多存储厂商都已经开始制定绿色存储协议,并将更多精力投入其中。

上一篇:奥运会提亮科博会 下一篇:CA EITM全球平稳“着陆”