图书馆需要怎样的“大数据”

随着大数据时代的来临，在科学研究、移动互联网、传感网络、社交网络等应用领域，数据量正以极快的速度不断增长，图书馆的IT应用也不可避免地面临着大数据信息浪潮的冲击。

图书馆面临的数据问题

正如数字图书馆、Library2.0、云计算等技术出现之初，图书情报界出现很多质疑声音一样，图书情报领域研究大数据的尝试也不可避免地遇到质疑。为了推动图书情报领域里的大数据技术与提升知识服务能力、降低知识服务成本，有必要对大数据时代，图书馆所面临的问题及机遇进行探究。

在思想观念上，相较于图书馆所拥有的不断增长的数据量而言，能够分析的数据比例在不断降低。如何充分把握大数据所带来的技术优势与数据分析方法，有效提高图书馆能够分析的数据比例，加强知识服务的智能辅助决策能力则十分重要。

从图书情报领域数据分析和应用现状来看，现在的图书馆人员在面对一些“可能是机会的数据”时，并没有清醒的认识，缺乏将数据转换成知识的思想意识及非结构化数据持久化处理及深度分析的技术及解决方案。

除此之外，最终的问题应该回到图书馆相关人员如何认识、管理和分析其所拥有的各种结构化、半结构化以及非结构化数据，如何建立软硬件一体化集成的大数据综合解决方案，数据及知识获取、存储、组织、分析以及决策的大数据解决方案等则愈发关键。

图书馆大数据应用优势

图书馆对于大数据而言，通常存在三种角色：大数据的使用者或受益者、大数据的提供者或开发者及大数据的运营者或维护者。可以了解到，当前几乎所有大数据技术及产生的相关服务都可以在图书情报领域得到应用，特别是能够带来一些难能可贵的新型知识服务帮助。例如，可以帮助图书馆建立各类知识服务及业务建设的风险模型。即图书馆的各类风险评估模型：数字图书馆信息安全风险评估模型、信息资源采购及应用评估风险模型、图书出版的收益与风险模型、知识产权风险评估模型等，都可以通过大数据分析、预测及智能辅助决策技术建立具有自身机构特色的、科学的及实用的风险模型。

另外，图书馆用户流失分析及价值分析也涉及到大数据的应用。OCLC 的《Research Libraries，Risks，and Systemic Change》研究报告指出，价值质疑、技术障碍、人员队伍无法适应未来挑战等一系列重大问题已经严重困扰着图书馆、高校教职工，并逐步弱化了图书馆的存在价值，造成用户流失异常严重。大数据技术不仅可以通过数据了解用户、行为、意愿、业务需求、知识应用能力及知识服务需求等需要，更可以利用数据对用户的科研创新合作过程及合作交互型知识服务过程将要发生的事件进行分析和预测，从而应对图书馆未来所面对的生存危机有所预警。

大数据可以帮助图书馆建立新型知识服务引擎。技术引擎是图书馆信息服务的技术核心，如何利用大数据技术构建图书馆的新型知识服务引擎，将会是未来几年内图书情报领域信息技术研究的主要内容。新型知识服务引擎包括资源及学术搜索引擎、资源及服务推荐引擎、知识服务社区实体（ 包括用户及资源） 行为智能分析引擎、用户知识需求预测引擎及多维度信息资源获取、组织、分析及决策引擎等。

例如美国 Hiptype公司用大数据分析技术来分析电子书读者阅读习惯和喜好，这也是国内外图书情报领域首例利用大数据技术构建知识服务社区实体（ 包括用户及资源） 行为智能分析引擎。可以通过分析资源（ 包括软硬件资源、网络资源、信息资源、服务资源及知识资源等） 的状况来预测可能的故障，或对于资源突然的波动可以帮助图书馆制定应对策略。例如网络攻击、风暴、垃圾资源过滤、软硬件资源故障、信息服务需求障碍及知识资源波动等。大数据可以帮助建立更加灵活的、智能的网络化信息资源智能组合方式。图书馆可以灵活、方便地从已有结构化及非结构化数据资源中抓取有用的知识、关系、模式、症状用于新的知识服务方式。众所周知，传感器数据也是未来大数据的主要来源之一，对图书馆自然环境、人文环境及技术环境数据多维度大数据的智能分析及智能辅助决策，进而实现机构管理、发展及服务的预测、优化和监管。

图书馆未来服务方向

大数据伴随着云计算、移动互联网、物联网等信息技术的成熟而迅速发展，并且越来越受到业界和学术界的关注，相较于过去几十年数字图书馆的研究与发展，大数据技术在未来几年将会给云图书馆带来革命性、持续性和创造性的变化，会对我们所熟知的知识服务能力和知识服务机制产生重大的颠覆和创新，也对现有的技术和方法提出更高的要求，而这一切可能会超出我们正常期待的范围。

业界普遍认为，未来几年，在大数据获取、存储、组织、分析和决策过程中，对应的体系架构、计算模型、数据模型、智能辅助决策模型、性能优化模型及知识服务模型等基础理论方面，将会出现更多的研究成果。毫无疑问，大数据技术是图书情报领域无法逃避的未来技术发展形态，也为图书馆实现知识服务模式的转变、知识管理模式的突破、合作交互型知识、创新模式的完善、知识服务流程的动态监测等业务需求提供了新的思路与解决方案。

目前，尽管大数据技术的研究还处于起步阶段，依然还面临着许多问题和争议，但随着市场的发展和信息技术的不断成熟，围绕大数据的问题将逐渐得到解决。可以说，大数据技术是云图书馆在未来一段时间内的亟待完善和解决的关键问题之一，该领域的相关问题也会成为图书情报领域研究的重点内容之一。大数据技术的发展、成熟与应用更需要业界的共同努力。

相关链接

目前大数据还存在几大核心问题亟待研究解决。

第一，关系数据库和MapReduce技术有机融合的研究。如何依据不同的大数据处理业务需求，设计同时具备两种技术优势的技术架构，在对关系数据库更深层次了解的基础上，深入分析MapReduce编程模型内在的局限性和并行计算模型。

第二，对结构化数据和非结构化数据更加复杂的或更大规模的分析。大规模社会计算、大规模社交网络、时间序列分析、大规模图分析及更细粒度的仿真等技术仍不够成熟，需要花费更多时间、精力去探讨。

第三，大数据获取、存储、组织、分析和决策操作的可视化接口。如何较好地实现大数据处理的各个阶段的可视化、智能化、及个性化的展示和操作，尤其是多维数据操作及决策结果评估的可视化的智能展示。

第四，如何在不影响全局的情况下，提高大数据管理系统的主节点的可靠性，将是未来需要解决的关键问题之一。

第五，大数据的网络传输和压缩问题。基于MapReduce编程模型的通用型大数据压缩技术也是尚待研究的核心技术之一。