浅议高校图书馆存储系统

时间:2022-10-28 05:40:22

浅议高校图书馆存储系统

摘要:存储系统是数字化图书馆的核心设备,本文从高校存储系统需求出发,阐述了存储系统的发展历程,对新型存储技术进行了展望。提出了一些改进高校存储系统的观点。

关键词:高校图书馆;存储系统;存储需求;云存储

中图分类号:G250.7 文献标识码:A 文章编号:1008-0821(2012)07-0029-03

1、高校图书馆存储系统需求分析

现阶段高校图书馆基本都拥有各种存储系统,但在日常使用中存在很多问题,而且数字资源的不断增加、新型服务的陆续开展,图书馆对存储系统也有了新的需求,具体有以下几个方面。

1.1 统一架构的需求

高校图书馆缺乏统一架构的存储系统。从硬件方面讲,目前高校图书馆在数字化图书馆建设中,因资金问题,在数据存储子项建设中往往只能顾及当下的数字文献容量需求。而在“云”时代中,信息资源的增长是直线递增的,面对数字资源几何型的膨胀和读者大量的信息使用要求,高校图书馆只能在后续建设中不断地增加磁盘阵列和服务器来满足不断递增的数据容量,因此很多高校图书馆的存储系统由多台不同时期、不同技术含量和不同应用水准的存储子系统组成。从软件方面说,高校图书馆拥有大量的镜像版数据库、硕士论文提交系统、随书光盘系统、自建数据库、视频资料库、考试系统等本地信息资源,这些资源都需要独立的管理平台且互不兼容,导致各种不同种类的数据“散居”在独立的存储系统中,数据无法自由流动,更谈不上通过“云”加入互联网数据流为别的节点提供信息服务。

1.2 海量存储的需求

高校图书馆作为信息服务中心需要一个海量的信息存储池。如1.1中所述本地数据库资源建设都需要数据存储空间来支撑;本地某些数据库的备份、行政办公文件的备份、自动化管理系统数据的备份、各种数字资源的流通记录、日常流通借阅记录、外馆传递过来的文献资源等等数字信息亦需要存储系统提供一定的空间。图书馆采购的商业数据库大量使用新技术提升产品质量采用了全析图文、蓝光存储等技术,这些先进文字图像处理技术为读者带来高清文本、影像的同时,也占用了大量的存储空间如《中国期刊全文数据库》,该库1994年到2010年9月份的全文数据容量约为8.25TB;全文图书数据库,每10万册图书需600GB(超星数字图书馆提供的参考存储数据);一张蓝光光碟的容量达到27GB。而目前高校图书馆磁盘阵列的普遍容量为8~10TB左右,如何容纳日渐庞大的商业数据库,也是图书馆要面对的现实问题。更重要的问题是在“云”时代图书馆巳成为“云”中一个节点,它每天不仅要处理本馆读者大量的数据搜索请求,还要为“地球村”里任何一个发出请求的读者提供本地信息,这些都是建立在大量的数据信息交换的基础上,必须有一个性能强大、容量巨大的存储系统才能满足如此之大的数据流量,可以预见到随着全球互联网“云”向手持终端的扩散,更多的用户可以通过手持终端访问图书馆,数据交换流量将进一步扩大。图书馆对海量存储的需求更加迫切。

1.3 存储安全的需求

因磁盘阵列物理特性。使用多年后因灰尘、频繁数据读取、断电、主机板老化等原因,需要更换个别硬盘,虽然磁盘阵列都支持热插拔功能,原则上只需要插入一块容量、接口型号完全相同的硬盘,就可以保证阵列的正常工作,但实际情况往往相反,时间是把“无情的利刃”,很多事物随着时间的推移而消失,尤其在IT业这种日新月异的行业,表现尤甚,当我们真正要换硬盘的时候,可能那种硬盘标准早巳在业内停产,整个阵列系统因为个别硬盘的损坏而彻底瘫痪。当图书馆购进一套新的磁盘阵列式时,我们往往发现原有的数据因为数据格式、硬件读取问题、操作系统差异等原因,无法将数据迁移到新阵列,稍有疏忽就会出现数据损坏甚至丢失。在“云”时代存储系统已从原来所处相对封闭的环境,转变为一个无限开放的环境,在互联网“云”中存储系统随时都会受到网络病毒以及黑客程序的攻击,造成数据丢失、系统瘫痪,用户个人隐私失窃、侵犯知识产权等。此外各种不可抵抗的自然灾害和人为破坏都有可能造成存储系统的崩溃,所以数据安全问题是数字图书馆面临的巨大的挑战,图书馆需要一部可高效备份、平滑迁移、异地容灾、加密安全的存储系统。

1.4 存储效率的需求

“云”时代一个重要的特性就是信息资源更新和传输速度迅捷化,“云”中信息更新速度以毫秒计,作为“云”信息服务节点的图书馆只有通过“云”里海量的数据存储经常修改、添加新的信息资源,才能满足用户对信息资源的需求。“云”信息服务要求节点迅速、便捷的为来访的用户提供所要的信息资源,可见图书馆的存储系统必然要面对短时间大量用户的访问请求,定会出现数据的批量传输、移动和复制。而目前局域网内的用户从一个有上百万条数据的数据库中检索一条数据需要花几十秒钟,而外网用户访问本地资源往往需要数分钟才能完成,存储系统中央处理器资源占用率高,本地阵列存储数据的格式多样也造成数据传输缓慢现象。可见如何提高存储系统响应时间,如何智能分析用户数据需求,是提高存储系统效率的关键。

2、高校存储系统模式

目前,高校图书馆图书存储系统模式主要有DAS(Di-roct Attached Storsge)直接附加存储,NAS(Network AttachedStorage)网络附加存储,SAN(Storage Area Network)存储局域网络),NAS-SAN混合系统、IP存储系统等。

2.1 DAS结构

DAS直接附加存储是指服务器与存储设备之间的直接连接,存储设备通过SCSI、IDE、ATA、SATA、SAS、F℃等I/0总线作为数据接口的存储方式。是目前国内出现最早、最成熟的数字资源存储方式,具有标准统一、兼容性好、综合使用成本低等优点,但其存在很多不可克服的缺点。(1)用户需要访问存储器上的数据,必须先给服务器发送请求信息;服务器解析这个请求并给存储器发送访问信息;再由存储器访问数据并发还给服务器内存,最终由服务器将信息传送给用户。一旦服务器出现故障,DAS系统就不能工作。(2)共享性低,DAS无独立操作系统,不能提供跨平台的文件共享功能,各服务器不能共享原有的DAS设备。

2.2 NAS结构

NAS是指直接挂接在网络上的存储系统,通过基于IP网络的网络文件协议进行文件传输,支持异构服务器间数据共享。与直连存储相比,NAS结构已经在传输速率、可靠性等方面有很大的提升,但仍有一些不足之处。(1)NAS系统基于网络系统传输数据,要消耗较多的通信带宽,导致数据传输速度过低,不能满足大容量连续数据传输的要求。(2)在原有网络中增加1台新的NAS存储系统设备必须给其新的IP地址,不能和以前的NAS存储更好的集成。增加了备份和管理难度。(3)NAS系统采用的是NFS和CIFS网络文件访问协议,备份时下主流的ORALCE、SQL等数据库相当的困难。

2.3 SAN结构

SAN是以光纤通道(Fiber Channd,FC)为传输媒介,独立的、专门用于数据存取的高速局域网。一种高速存储网络,SAN的核心技术是F℃,使用存储系统内部的FCH-BA阵列卡通过FC光纤交换机将多个存储系统和多个服务器、网络上设备互联,形成高速存储子网络,同时局域网内部所有终端都可访问这个子网络,理论上传输速率高达1.6Gb/s,连接距离长达10KM。传输速度、网络安全性、数据库管理能力较NAS又有进一步的提高,尽管如此,SAN依然存在一些缺陷:(1)购置成本高,同容量的SAN阵列价格是NAS的1.5倍,DAS的2倍。(2)构建SAN结构需要专门的F℃网络,管理SAN网络需要专门的管理软件,通用性、易用性不强。

2.4 NAS-SAN混合系统、IP存储系统等其它新型存储系统

NAS-SAN混合系统在发挥SAN优点的同时,又发挥了NAS的特长。SAN传输距离不能超过10KM的缺点,被NAS无限的IP地址所弥补;NAS不能备份数据库的特点和传输速率慢的“短板”也被SAN补全。IP存储系统IP整合了IP网络和光纤通道存储网络,使用ISCSI将TCP/IP指令打包成光纤通道协议,而光纤通道协议再通过TCP/IP协议传输,让用户可以充分利用现有光纤与TCP/IP网络基础设施,同时拥有高速化、虚拟化、资源化和数据管理标准化的存储系统平台。这些新型的存储系统改变了老式存储系统缺点,提高了工作效率但依然存在安全性低、协议标准不统一、CPU资源占用过高、实际操作困难等问题,高校图书馆还需要更先进的存储系统推进数字化建设。

3、高校图书馆新型存储系统展望

目前高校图书馆使用的存储系统都存在一定的问题,面对“云时代”对信息计算的要求。满足图书馆对存储系统的需求。新型的存储理念“云存储”出现了,给我们提供了一套全新的存储系统解决方案。

3.1 “云存储”的概念

云存储是在云计算(Cloud computing)基础上延伸和发展出来的一个新概念。随着云计算技术的发展而发展起来的。它通过集群应用、网格技术、分布式管理系统、虚拟存储等技术,将互联网“云”中大量各种不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储和业务访问功能。其中最核心的部分是存储设备与应用软件相结合,通过应用软件来实现存储设备向存储服务的转变。对使用者来说,云存储是指由许多个存储系统和服务器构成的集合体。而不是某一个具体设备。使用者使用云存储,是使用整个云存储系统带来的一种数据访问服务,而不是使用某个存储设备。所以从本质说云存储是一种服务,而不是存储。云存储目前主要有3种存在形态:(1)公共“云”:即第三方云存储服务商提供的存储云。现在提’供云存储服务的公司与系统主要有AMAZON推出的弹性块存储(EBS)技术支持数据持久性存储、G00出推出的在线存储服Gdricer惯等。(2)私有“云”:机构利用自身技术力量或借助第三方技术商在机构内部搭建云存储系统。面向内部用户和外部用户提供存储服务。企业拥有这个存储环境的自,可以根据自身存储变化改变“云”环境。(3)混合“云”:机构组织内部及使用公共“云”存储环境,也自行搭建私有“云”存储环境的服务模式。

3.2 “云存储”系统的优势

如前所述高校图书馆的存储系统存在各式各样的问题。云存储的体系结构决定了它较以往存储系统存在以下几方面的优势。

3.2.1 海量的存储空间和合理的资源调度

“云存储”集成使用了支持大规模存储的集群技术、P2P技术和网格技术。允许存储服务器和存储节点同时增加。进行并行扩容。每个图书馆都是“云”中的一个小节点,将每个小节点里的所有数字资源存储在“云”中,并由“云”来管理和调度这些海量数据,理论上每个节点拥有了云中上百万个存储设备和服务器提供数据存储和传输。同时利用分布式的数据存储技术和与之相关的虚拟技术使得整合后的海量数据更加统一有序,实现本地数字资源的完全整合。

3.2.2 虚拟化存储优势

通过存储虚拟化,所有的信息资源都运行在“云”中,支持各种各样的物理平台,资源的管理都将按逻辑方式进行,完全实现资源的自动化分配,便于存储设备进行集中管理,打破了存储系统供应商垄断局面,本馆原有的各种存储系统都可运用在虚拟的“云”平台里。

3.2.3 高效的备份和实时迁移

“云存储”的物理设备分布在互联网“云”世界任何角落,通过虚拟化技术将物理设备进行逻辑分区,并保证逻辑分区之间的隔离,还提供了各个分区之间的通信功能。因此,云存储可以迅速的帮助用户形成多个异地容灾备份。在实施迁移的过程中,所有的物理设备都在统一的管理系统控制之下,因此一部存储系统迁移到另一部存储系统的整个迁移过程是无缝平滑的,其实就是在“云”这个海量的存储池中自由移动,原有存储系统安全不需要关闭服和中断服务,保证存储系统资源安全性和可用性。

3.2.4 降低图书馆营运成本

“云存储”特征决定了它的存储空间可以是虚拟化的,高校图书馆可向SSP商家租赁一定的存储空间进行无版权纠纷的数字资源存储,由商家进行数据的管理与维护,即租赁空间,数据托管,也就是常说的使用公共“云”;也可有选择性的将部分有版权保护和自建的信息资源按照自身的想法由第三方技术商利用现有的存储系统搭建私有“云”存储系统。保证现有投入的利用率和维护自身知识产权。这样做既保护现有的投资又避免了过去盲目购买存储设备造成的浪费,实现了存储系统效用最大化。

4、结语

高校图书馆存储系统正面临越来越大的存储压力,从高校存储系统发展历程看。图书馆人不断追却创新的存储技术和先进管理理念,在风起云涌的互联网“云”时代,高校图书馆只有利用好“云”存储技术才能满足数据无限增长的需要。“云存储”作为一个新生事物在应用过程中还有各种问题。高校图书馆只有不断地摸索前进,方能发挥存储系统在数字化图书馆建设中的作用。

上一篇:中小企业吸收能力与内生溢出的动态模型研究 下一篇:地方文献网络知识社区的构建研究