高校图书馆跨区域存储的研究应用

摘要:文章介绍了如何利用云存储中基于存储层的核心技术之一――iCSCI协议来构建跨区域的IP-SAN存储网络,解决多校区模式下图书馆存储网络的延伸问题,并对真实环境下的多校区IP-SAN存储网络的性能进行了实测。

关键词:高校图书馆;跨区域存储;网络存储;iSCSI;IP-SAN

中图分类号:TP393文献标识码:A

文章编号:1009-2374 (2010)24-0187-03

复合型图书馆是高校建设的重要组成部分,而存储网络则是图书馆自动化办公和服务的基础。在高校办学规模快速发展的今天,多校区工作模式越来越普遍,图书馆总馆和分馆之间根据自己的办学特点衍生出的服务项目也不尽相同,然而资金投入相对薄弱、设备较为落后的分馆与总馆之间容易出现数据衔接的问题,如总馆的数据无法实现异地容灾,分馆的工作数据又无法安全、及时的进行备份,特色服务数据库所对应的存储空间有限等,不利于整体服务质量的提高。利用云存储技术中业已成熟的iSCSI协议组建IP-SAN存储网络能最大限度的解决高校图书馆跨区域存储与资源分配的问题,总体成本得到了较好的控制,管理也更加轻松、方便,能满足图书馆今后逐步升级换代的需要。

1iSCSI协议的特点及其应用

为了将图书馆总馆的存储资源拓展到远方的各个分馆,可以利用FCIP、iFCP或iSCSI三种协议通过太网进行连接,其中FCIP和iFCP由于自身的局限性已经逐渐被iSCSI协议所取代。

1.1iSCSI技术的优势

iSCSI(Internet Small Computer System Interface)协议集合了以太网和IP的开放性、NAS的文件级存储、SAN的数据块级存储等多个方面的优点,是一种借助IP网络来传输SCSI数据块的方法。

在IP技术广为普及、以太网遍布各个区域的今天,用户可以在TCP/IP的以太网上为存储设备安装和运行iSCSI协议和驱动,利用以太网交换机就能够构建类似FC-SAN拓扑结构的数据块级的存储网络,并利用iSCSI自身的安全认证协议和IPSec、防火墙技术作为安全保证,将整个存储网络的范围进一步扩展来实现跨区域的连接与服务,而整体的硬件造价却明显下降。

1.2iSCSI技术及其应用

iSCSI协议是SCSI协议族中的一个传送层协议,负责在SCSI启动器/发起器(Initiator)和目标器(Target)之间传送SCSI命令、应答和数据。iSCSI协议有效的扩展了SCSI总线的连接长度,解决了SCSI服务器到存储设备之间的通信问题。

2利用iSCSI协议组建跨校区的IP-SAN存储网络

由于iSCSI协议借助了TCP/IP可以在IP网络上实现数据块方式的I/O存储,其应用越来越广泛,微软免费发放了基于Windows平台的启动器软件,而Vista、Windows 7、Windows Storage Server 2003/2008(WSS)等操作系统已经内置了启动器,并在WSS2003、2008等特定版本的操作系统中内置了iSCSI目标器及其工具,表明了微软推广iSCSI协议的决心。此外,基于Linux平台下启动器和目标器软件也很丰富,今后iSCSI网络化存储将更加普及。

跨校区的IP-SAN存储网络是在存储设备和应用服务器之间建立的一个专用的千兆或万兆网络,不再与客户端同处一个网络,存储网络的带宽和安全性问题都能得到较好的解决。采用双路交换机的连接形式实现接口和设备的冗余,也可以通过交换机内置的管理功能利用端口聚合技术来提高存储设备与应用服务器之间的传输带宽。

此外,位于总馆的IP-SAN可以通过网络中心开放对应端口后直接或通过路由器访问IP网络,也可以采用租用电信IP宽带接入服务的方式实现与其他分馆的IP-SAN或应用服务器的连接,从而达到了跨区域IP-SAN网络进行异地数据备份和容灾的目的,如图1所示:

2.1千兆以太网交换机

IP-SAN中的交换机是整个网络的核心,根据应用服务器和存储服务器的数量以及冗余程度来确定交换机的台数和端口数,并根据用户数量和服务内容确定交换网络的带宽。

从带宽来看,图书馆服务中的中外文数据库资料下载和视频点播服务都要占用大量的带宽资源,需要构建万兆带宽的IP-SAN才能充分发挥存储服务器的性能。不过目前万兆交换机及相关配件的成本还相当昂贵,与FC-SAN相比优势不再,因此暂时可以组建千兆的IP-SAN网络,只是在某些应用上会形成瓶颈。

2.2存储服务器

购买支持iSCSI协议的存储服务器或升级原有存储服务器并内置目标器后,通过双路千兆网络接口即可与千兆交换机实现冗余连接,提供存储服务。根据使用情况可以考虑在第二期工程中为存取量大、数据交换频繁的服务器改用iSCSI HUB以减少对CPU资源的占用。

存储服务器上的阵列管理软件配合iSCSI目标器软件为不同的应用服务器提供不同大小和性能的LUN,并根据服务类型和需要确定连接方式是否加密,是否允许其他用户查看或读写,数据传输是按同步还是异步方式,是否提供数据快照以便定期进行快速备份等。

除了微软操作系统内置的iSCSI目标器外,也可以购买其他软件厂商的iSCSI目标器,有些只提供简单的文件级存储,复杂的则包括提供快照、镜像卷的备份等数据块级的专业存储功能,其中比较著名的有StarWind iSCSI、MySAN和Win iSCSI Target(CCDisk)等,对操作系统也有一定的限制,一般在Windows Server 2003下即可有较好的表现。

2.3应用服务器

应用服务器通过两个千兆网接口与IP-SAN交换机实现冗余连接,另外两块千兆网接口用于连接到局域网。应用服务器上可以安装微软免费的iSCSI启动器软件并设定用户名,输入iSCSI目标器的IP地址、端口号和安全认证信息以便找到iSCSI存储服务器分配的LUN,将分配到的空间设定为动态磁盘进行分区格式化后即可使用。

2.4路由器和防火墙

路由器负责连接各个校区之间的专用光纤网络或IP宽带网络,将各个校区的IP地址进行转换并实现连接,两个分校区之间通过主校区也可以实现互联。

当通过电信IP宽带连接时,可以使用防火墙用于隔绝互联网上的其他用户,保证数据和内部网络的安全。

3IP-SAN存储网络跨区域服务并发能力的测试

测试中的IP-SAN平台分布于总馆和分馆之间,间隔12公里。位于总馆的存储服务器和应用服务器接入1000Mbps的IP-SAN网络,分馆的应用服务器通过100Mbps的城域网接入总馆的IP-SAN。存储服务器的目标器为总馆和分馆的应用服务器提供20GB的内存LUN,然后在总馆和分馆的应用服务器上利用IOMeter(2006.07.27)对其进行FileServer并发能力测试,并与存储服务器自身携带的两块15K转SAS硬盘组建的RAID 1阵列和20GB的内存虚拟驱动器(RAM drive device)的测试结果进行对比,以便了解不同网络环境和区域下IP-SAN拓展服务的能力。

3.1IP-SAN及测试平台的软硬件配置

存储服务器和应用服务器安装Windows Server 2003 SP2企业版操作系统,存储服务器安装Rocket Division Software的StarWind3.53作为目标器,应用服务器均安装Microsoft iSCSI Initiator作为启动器,测试平台的硬件见表1:

测试结果显示,分馆通过100Mbps的IP-SAN获得的LUN已经具不错的并发能力,与DAS模式下组建的RAID 1相比,性能还要略强一些,说明利用iSCSI协议组建的IP-SAN能够基本满足图书馆跨校区文件存储服务的需要。

编辑IOMeter脚本加入32～512K数据块的100%顺序读取进行相同的测试,用以检验系统跨区域高数据流传输服务的能力,测试显示分馆IP-SAN的IOps明显降低,表明这种类型的服务会占用大量的网络带宽,总馆和分馆之间的带宽高低将直接影响到服务的品质。限于篇幅限制,这里就不再列出具体数值和图表。

鉴于跨区IP-SAN的这些特点,分校区的不同类型的服务可以分时错峰进行,如数据库备份可以转移到晚上12点以后进行,平时则可以利用时间点快照模式进行快速备份,能大幅度缓解带宽不足带来的影响,改善IP-SAN跨区大数据流服务的品质。

基于ISCSI协议的IP-SAN存储网络将总馆的专业存储模式拓展到远方的分校区,避免了FC-SAN的“数据孤岛”问题。本文较为详细的介绍了组建校园IP-SAN的原理与方法,并进行了实际测试见证了该方案的运行效果,同时也指出带宽高低对存储网络性能的影响,这种介于FC-SAN和DAS之间的存储模式因为其灵活性和低成本将能较大限度的适应多校区下图书馆跨区域服务模式的发展特点,满足图书馆用户近线存储的需要。

参考文献

[1] 潘淑春,喻浩.数字图书馆建设及其运行模式研究[J].农业网络信息,2007,(11).

[2] 姜宁康,时成阁.网络存储导论[M].清华大学出版社,2007.

[3] 郭玉东,尹青.基于对象的网络存储[M].电子工业出版社,2007.

[4] 赵文辉.网络存储技术[M].清华大学出版社,2005.

[5] 邵必林,吴宝江,边根庆.基于ISCSI技术的SAN应用研究[J].西安建筑科技大学学报(自然科学版),2009,1(4).

[6] 唐箭.云存储系统的分析与应用研究[J].电脑知识与技术,2009,20(5).

作者简介:陈烨(1967-),男,福建福州人,福建江夏学院工程师,硕士,研究方向:计算机网络存储、图书情报、信息学。