网络存储技术的应用研究

时间:2022-08-13 01:32:08

网络存储技术的应用研究

摘要:随着网络通信数据量的爆炸性增长,传统的数据存储技术已不能满足海量数据存储的要求,因此,网络存储技术应运而生。本文首先介绍了一些传统的网络存储技术,在介绍这些技术的同时,对它们的应用范围以及存在的优缺点分别进行分析。然后通过研读和网络存储技术相关的一些文献,介绍了一些网络存储相关技术,以及目前一些网络存储研究的热点问题。最后,对网络存储的发展趋势进行展望,提出了网络存储技术发展的方向。

关键词:网络存储;DAS;NAS;SAN;IP SAN

中图分类号:TP333 文献标识码:A 文章编号:1007-9599 (2013) 02-0000-03

1 引言

随着互联网和计算机技术的高速发展,使得网络信息数据以爆炸性的速度增长,对各种数据进行高效率的存储、管理和应用成为大家最关心的课题之一。因此,网络存储技术得到不断的应用与发展,网络存储体系结构也在不断的得到改善,使得数据的共享性,可用性,可扩展性和管理性得到了很大程度的提高。下面是对一些网络存储技术的说明介绍,以及对该技术的相关应用研究。

2 传统网络存储技术

2.1 直接附加存储(DAS-Direct Attached Storage)

直接附加存储这种方式中,存储设备是通过电缆直接到服务器的,I/O(输出/输入)请求直接发送到存储设备。DAS以服务器为基础,实际上是硬件的叠加,没有加载任何存储操作系统。

DAS的主要应用范围:(1)某些数据服务器在位置分布上较凌乱,SAN 或 NAS 进行互连这些服务器非常困难的时候;(2)某些应用服务器只能直接连接存储系统的时候;(3)包括许多数据库应用和应用服务器在内的应用时。

2.2 网络附加存储(NAS-Network Attached Storage)

NAS是一种采用直接网络介质相连的特殊设备实现数据存储的机制。因为这部分特殊设备都有分配的IP地址,于是客户机可以通过相当于数据网关的服务器对设备进行存取访问,在一些特殊的场景下,这些设备也可以直接被不需要任何中间介质的客户机访问 [1]。

NAS的应用范围主要是为一些中小型企业,教育领域,政府部门等提供廉价,高性能,大容量的存储解决方案。

2.3 存储区域网(SAN) [2] [3] [4] [5]

存储区域网络(SAN)是一种高速网络或子网络,提供在计算机与存储系统之间的数据传输。存储设备是指一张或多张用以存储计算机数据的磁盘设备。一个SAN网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成,从而保证数据传输的安全性和力度。

SAN主要应用:(1)构造集群环境,利用存储局域网能够很容易地通过FC把相关存储设备互连,构造成具有数据可用性强、性能效率高和可扩展性强的集群环境。(2)能够做到无服务器的存储备份数据,在SAN上还能够以后台的方式传递数据,极大的缩小了冗余任务,同时减少了网络和服务器上的负载,于是可以实现诸如远程集群、远程镜像、关键数据备份、磁盘冗余等大部分数据保护技术;(3)能够容易地运行多个服务器之间的数据恢复、迁移和备份。以下的表1是传统网络存储技术的比较[6]。

3 网络存储新技术

由于传统的网络存储技术都存在不足,因此为了得到更好的存储性价比,一些新的网络存储技术在它们的基础上应运而生,下面是几种新的网络存储技术的代表。

3.1 IP SAN

3.1.1 iSCSI

IP SAN最典型的就是iSCSI(Internet SCSI,也称SCSI over IP),是近年来发展起来的一种新型网络存储技术,其原理是将以太网络技术和SCSI接口相结合,从而可以使服务器与相关存储装置交换数据。iSCSI的模型是用虚拟电缆把一个SCSI启动设备连接到一个SCSI目标设备,iSCSI启动者和 iSCSI目标完全由它们的IP地址识别。

iSCSI的原理是使用TCP/IP协议封装SCSI命令和数据,使其可以在IP网络中传输在SCSI协议里,SCSI命令是由启动端向目标端发出的,这两个称谓被沿用到iSCSI协议中,以C/S的观点,可把启动端视为客户,把目标端视为服务器iSCSI协议的体系结构,一端的SCSI数据包先被封装成iSCSI的PDU,然后封装相应的网络协议发送到另一端,再依次解封装还原成最初的SCSI数据包[6]。

3.1.2 FCIP(FC over IP)

FCIP的基本原理是将FC帧封装到IP数据包中,再通过IP网络传输到另外一个FC的SAN;目的SAN接收到这个IP包后,将其解包使其恢复成封装之前的FC帧。

3.1.3 iFCP(IP as the inter-switch fabric)

iFCP使用IP作为光纤通道交换机之间的交换协议,该协议支持主机通过现有的IP网络获取存储能力。

3.1.4 InfiniBand

InfiniBand是一种可简化和加快服务器之间的连接以及服务器与其他相关系统之间连接的全新输入/输出技术。它通过一套中心机构在远程存储器、网络以及服务器等设备之间建立一个单一的连接链路,并由中心InfiniBand交换机来指挥流量。InfiniBand技术目前主要被较大的数据中心所采用[7]。

3.1.5 mFCP(metropolitan Fibre Channel Protocol)

mFCP和iFCP大体上是相同的。只是它用UDP而非TCP进行通信。就目前而言,这五种IP SAN存储技术中,较为成熟的是iSCSI[10]。

3.2 NAS网关技术

在NAS网关技术中,NAS网关可以访问SAN上连接的多个存储阵列中的存储资源。它使得IP连接的客户机可以以文件的方式访问SAN上的存储部件,并通过标准的文件共享协议处理来自客户机的请求。当网关收到客户机请求后,便将该请求转换为向存储阵列发出的块数据请求。存储阵列处理这个请求,并将处理结果发回给网关。然后网关将这个块信息转换为文件数据,再将它发给客户机。 [8]。

3.3 基于对象的存储技术

该技术同时具有NAS和SAN的所有优点,如高级的数据抽象、跨平台的数据共享、基于策略的安全控制,直接数据存取、高可伸缩性、安全性等,基于对象存储系统可以是全集中式的、半集中式或全分布式的。目前公认较好的是半集中式的文件系统,即由一个元数据服务器管理文件系统的名字空间、存取控制、负载均衡、错误恢复等,并完成文件到OSD对象的映射,由客户直接存取OSD设备上的数据。

4 网络存储相关技术

4.1 冗余技术

存储网络如果出现软、硬件故障,通过冗余的软、硬件可以保证系统的可用性;如果数据信息出错,可以通过冗余信息对其进行恢复来保证其可用性。

4.2 日志技术

系统失效后的状态恢复主要有基于日志的状态恢复和基于检查点的状态恢复两种。基于日志的方法不仅保存检查点,而且把非事先决定的事件记录下来;在恢复时,这些日志可以用来完全重现进程的执行状态。检查点是一种允许进程在正常运行中,每隔一定时间间隔保存其状态以减小失效恢复工作量的技术。

4.3 复制技术

在网络存储中通过有效的复制技术,可以使得分布在不同网络节点的数据能够维持一致性,从而减少出错。

4.4 安全技术

如何保证存储网络中的数据信息不被非法修改和破坏是存储网络高可用性所面临的另一个关键问题之一。目前网络存储中用到的安全技术主要有:(1)防火墙技术;(2)身份认证技术。

4.5 系统失效侦测与失效处理技术

在分布式的存储网络环境中,要保持整个系统的高可用性,必须有有效的失效侦测手段和失效恢复处理技术。其失效侦测与失效处理主要包括失效监测、 失效诊断和定位、失效消除和恢复三个阶段。失效侦测可以采用被动侦测和主动侦测两种方式。

5 网络存储目前研究的热点问题

5.1 虚拟化存储技术。存储虚拟化是通过虚拟卷映射、流数据定位、数据快照、虚拟机等技术实现异构存储设备的统一管理以及存储位置无关性而提出的,目的在于屏蔽存储管理中的一系列复杂问题而向用户提供简单透明统一的存储访问模式。目的是为了解决存储需求不可预见的持续膨胀式增长、以适应网络存储系统变得越来越庞大和复杂、众多而异构的存储设备如何有效的统一管理和高效的利用 ,屏蔽不同存储设备的差异性而提供简单而统一的访问方式。比如统一虚拟存储,虚拟网络存储空间划分与抽象技术,虚拟网络存储系统数据分配策略的研究都是虚拟化存储的内容[9]。

5.2 无线网络存储技术。也即使用基于无线网络的网络存储,其目的是使移动存储设备在管理和存储数据时获得更好的性能,并提高其移动性。

5.3 动态自适应网络存储系统。也即为了达到网络的稳定高效运行及数据存取服务的持续可用性的目的,引入网络监控与调整机制,由观测样本,根据预定义的约束条件和策略对存储系统自身作出自适应性调整,使存储节点负载平衡,并提高网络稳定性的一种自适应存储系统的研究。

5.4 网络存储系统的数据布局算法研究。在网络存储系统中建立需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法是可扩展和可靠的数据管理的大规模网络存储系统的关键技术。

5.5 网络存储协议的研究。为了的得到更好的存储性能,目前网络存储协议的研究也是这一领域的热点。比如目前新加坡国立大学的数据存储研究所的Wilson Yong Hong Wang,Tow Chong Chong等设计的一种基于SAN的开源网络存储协议HyperSCSI[2]。

6 网络存储技术的发展方向

6.1 多种网络存储技术融合

网络存储技术是朝着功能增强、系统以及效能提高的方向发展。光纤存储网络主要有传输速率快、发展潜力大等优势,未来依然是SAN的主流。由DASNAS、SAN孤岛广域SAN未来的全球性宽带存储网络,肯定是网络存储发展模式的技术路线。跟信息处理及信息传输技术的发展一样,网络存储技术必将朝着技术相互融合、功能不断完善、智能效率更高的趋势发展[15]。

6.2 存储的虚拟化和智能化

存储虚拟化将不同接口协议的物理存储设备整合成一个虚拟存储池,根据需要为主机创建并提供等效于本地逻辑设备的虚拟存储卷。通过动态地管理存储空间,虚拟存储技术避免存储空间被无效占用,从而提高了存储设备利用率。虚拟存储现实中并不是一种新的存储管理技术,但虚拟存储技术发展迅速、潜力巨大,正在逐渐成为共享存储管理的主流技术。同时,下一代存储设备将提供更智能、更灵活的架构,能够无缝地集成新的传输协议,以获得最大限度的灵活性。它将支持更多的协议,例如PCI-X、iSCSI、EtherStorage、千兆以太网、FC及Infiniband、FCIP和iFCP协议等。

7 结束语

本文对一些传统的网络存储技术作了简单的介绍,同时也介绍了一些网络存储新技术。随着通信数据量的不断增长,以及现实应用中对网络存储性能要求的不断提升,更多的网络存储技术将会不断出现。于是,未来的网络存储技术需要解决的问题也将不断增多,例如统一虚拟存储的普及、网络存储协议的开发等等。而这些技术的解决都将对整个网络存储的性能产生革命性的影响。此外,随着各种硬件和软件技术的不断发展,网络存储的发展也势必朝着更加经济,安全,可靠的方向发展,而与此同时,数据的共享性,可用性,管理性等将得到进一步的加强。

参考文献:

[1]Yuhui Deng.Deconstructing Network Attached Storage systems[J].Journal of Network and Computer Applications 32 (2009) 10641072.

[2]Wilson Yong Hong Wang, Heng Ngi Yeo, Yao Long Zhu, Tow Chong Chong, Teck Yoong Chai, Luying Zhou,Jit Bitwas.Design and development of Ethernet-based storage area network protocol[J]. Computer Communications 29 (2006) 12711283.

[3]Cameron Walker, Michael O’Sullivan, Timothy Thompson.A mixed-integer approach to Core-Edge design of storage area networks[J].Computers & Operations Research 34 (2007) 29763000.

[4]Yuhui Deng. RISC: A resilient interconnection network for scalable cluster storage systems[J]. Journal of Systems Architecture 54 (2008) 7080.

[5]Taisir E.H. El-Gorashi, Ahmed Mujtaba, Waleed Adlan and Jaafar M. H. Elmirghani. Storage Area Networks Extension Scenarios in a Wide Area WDM Mesh Architecture under Heterogeneous Traffic[J].ICTON 2009.

[6]韩永,姚念民,刁莹.使用批量处理方法提高iSCSI存储系统性能的策略研究[J].计算机研究与发展.2012,49(9):2036-2043.

[7]郑霄,平,吴志兵.IB QoS的带宽分配机制研究[J].计算机科学.2012,39(4):127-134.

[8]郭京.容灾系统中数据监控及远程异步重放方法[D].四川大学,2006.

[9]吴烨虹,鲁蔚锋,董艾华.一种基于虚拟化存储和PXE远程启动相结合的实验室网络安全技术[J].信息网络安全,2012,(7):49-51.

[作者简介]李云龙(1980-),男,汉族,天津蓟县人,工程师,主要研究方向为计算机网络安全。

上一篇:云计算环境中结构化文档形式化建模 下一篇:基于高级量测体系的电能表计量发展研究