数字信息服务评估规划与实施策略研究

摘要　论述评估规划与实施策略研究是数字信息服务评估研究中的重要一环，科学的评估规划与实施策略可以使评估效率和质量得到显著提升；指出由于可能受到来自评估机构内外多种因素的影响，数字信息服务评估规划与实施策略的内容和手段需要经过周密的安排与部署，最终实现评估理论及评估实践的科学统一。

关键词　数字信息服务评估　评估规划　实施策略

分类号　G250.7

缺乏有效的评价和质量控制机制仍是当前数字资源建设与数字信息服务的一个薄弱环节，解决该问题的关键之一就是要加快数字信息服务评估，从理论探讨向实践领域的转化，促使现有成果得到认同及推广。开展数字信息服务评估规划和实施策略研究，目的就在于将数字信息服务评估原理、技术、方法等真正嵌入到数字信息服务系统的各个功能模块，构建起一种切实可行的评估机制。

1　我国数字信息服务评估实施策略研究现状

考察我国有关数字信息服务评估规划与实施策略，可以分别从理论分析和实践探索两个角度来进行。

从理论角度探讨我国数字信息服务评估的文献可以发现，这些研究成果提出的实施流程大致可归纳为：“前期准备”、“确立评估原则与内容”、“建立评估指标体系”、“调查与数据收集”、“评估分析”和“提交评估报告”6个步骤，但其中只有极少数文献强调评估实施应是一个循环往复的过程，并且明确地将“评估规划(计划)”纳入整个评估实施过程中来。

从实践角度来看，我国见诸报道的与数字信息服务有关的评估实践仅10多项，机构有国家图书馆、清华大学图书馆、上海交通大学图书馆、西安理工大学图书馆、西北工业大学图书馆、西安交通大学图书馆、大连理工大学图书馆、西南交通大学图书馆、中山大学图书馆等。然而这些研究大多重在展示评估方法和评估结果，其中除清华大学图书馆外均未能对具体的评估规划与实施流程作系统阐述。

可见，关注数字信息服务评估的规划与实施策略问题已经刻不容缓，必须在实施数字信息服务评估之初，预先对评估的环节、步骤以及相关要素进行统筹分析，制订出一套完备的实施计划。

2　数字信息服务评估规划与实施策略的意义

数字信息服务的提供方、中间方和接受方均出现多元化发展趋势，数字信息服务评估需要将更多的因素置于合理控制之下。评估规划至少可以在以下两个方面发挥重要作用：

2.1　强化评估活动的覆盖面和渗透力

过去人们认为，评估是在任务完成并出现成绩和效果之后，才会产生评估的需要。基于这种观点，大多数机构或个人都将评估视为后续工作，更谈不上预先规划了。但对于数字信息服务来说，尤其不应把评估当作一个后续环节。数字信息资源及服务的开发、提供和管理是一个整体，如要对这个整体进行全面评估，就必须把评估纳入整体。以便有效地把握评估时机，提早安排各项工作，并提供技术支持。数字信息服务机构的基础设施、资源存储及服务运行框架等，都会对评估数据的产生、收集和报告产生直接的影响。因此，评估人员必须在上述环节就要考虑为评估提供合理条件。

2.2　确保评估方法的多样性和系统性

适用于数字信息服务评估的方法多样。但要运用众多技术方法并创造最佳效果，却并不容易。首先，评估技术和方法的选择必须建立在对它们有较为全面与深入了解的基础上；其次，各种技术方法具有不同的适应性，因此要预先对评估能力、评估场景及相关因素进行有针对性的分析；最后，技术和方法的运用也不是相互独立的，须将选取的技术方法进行有效整合，才能构造系统的实施策略。通常要获得信息量充沛的评估结果，可能会采用多种方法手段；要使评估数据具有更高的可读性、可比性，也绝非一次评估就能实现的。

3　影响评估规划与实施策略的因素

数字信息服务的评估活动全过程总是处于由一系列因素构成的机构或组织背景之下，最终这些影响都要体现在评估规划以及实施策略中。

3.1　机构向外界负有的评估责任

数字信息服务机构一般都处在特定的系统或组织体系中，它们由此向本机构外部负有提交评估报告的责任。除少数规模很小的内部评估外，评估行为的实施动机通常都是源自对外界承担的评估责任。以美国《图书馆服务和技术法案》(LSTA)为例，其很多图书馆都接受了该法案的资助，因此这些图书馆就对发起该法案的美国博物馆与图书馆事业局(IMLS)负有评估及提交评估报告的责任。制定规划的首要内容就是要明确评估责任对象和评估动机，在此基础上再认真考察外部环境、实施主体的性质、目的和相应的报告要求等。

3.2　数字信息服务在机构中所处地位

数字资源及服务在机构中所占比重，也将影响到数字信息服务评估规划与实施策略的级别和覆盖面。不同机构对数字信息服务评估给予的重视和投入程度，及其具备的评估能力存在显著差异。评估规划和实施策略的制定要联系实际，依据数字信息服务在机构中所处地位，分析与之相应的评估条件、评估任务、评估目标，选择评估技术手段和指标体系。对那些专门从事数字信息服务或数字信息服务所占比重很高的机构而言，数字信息服务评估可以作为一种评估机构整体绩效的手段；而那些数字信息服务所占业务比重较少的机构，就应当把数字信息服务评估作为其他评估的一种有力补充。评估数据和结果的报告要求、实际用途和利用方式等，也应在作为评估实施先导的规划阶段予以确认。

3.3　利益群体对评估数据的需求偏好

信息服务机构及其所属组织的决策者们对评估数据具有不同的需求偏好，这也是评估规划必然要考虑的因素之一。评估数据偏好可以理解为对评估数据的类型和使用目的有不同的预期。通常所谓评估数据的需求偏好不外两种：①包含全部视角的评估数据；②只重点关注部分数据。

数据需求偏好要结合特定的目的和目标来考察：①证明数字信息服务的用户从中获得的价值情况，即澄清投入与回报之间的关系；②收集并分析用户对数字信息服务质量的评判信息；③通过长期积累评估数据，了解数字资源及服务的可获得性；④了解用户成本等。为了实现评估所要达成的目的，必须开展数据偏好研究，最后在全面评估与重点评估中做出选择。

3.4　评估文化与评估能力的准备

评估文化(Culture of Assessment)是指一种组织环境。在这种环境下，所有的决策都是以事实、研究和分析为基础，服务的规划与提供力求实现用户及利益群体的成果最大化，并产生最积极的影响。评估文化的形成具有以下特征：①组织的任务、计划和策略聚焦在组织外部，即集中在用户对信息获取需求的支持上；②评估活动的开展必须纳入组织的计划、战略规划和单位目标之中；③评估活动能得到领导层面的支持；④员工能够充分认识评估的价值，评估过程中个人和组织的责任都能得到清晰的表述与规划；⑤有规律地收

集、分析和利用评估数据和用户反馈，来配置资源与支持决策。可见，评估文化可以理解为机构评估能力的组成形态，机构内部评估文化的形成可以推动管理者、员工乃至整个机构在心理、智力、组织及物质等多个方面做好充分的准备。开展数字信息服务评估的机构是否具备良好的评估文化将会对评估规划与实施的最终效果产生重要影响。

4　评估规划与实施策略的制定

4.1　评估规划与实施策略的内容分析

信息服务评估活动可分解为多个步骤来实现，整个流程的分解及相互关系可以通过图1来揭示。数字信息服务评估的实施规划也将按照这个框架分步骤进行。

4.1.1　对资源／服务形成相关认知　评估规划及实施应以“对资源／服务形成相关认知”为起点，即掌握数字资源及服务实际情况的相关信息，获得初始认知。具体内容有：①掌握资源／服务的现状，由此确立符合实际但又高于实际的评估目标；②了解机构背景、评估报告要求和机构目标等影响因子；③对可能采用的评估技术和方法进行比较，选择最佳评估方案；④在以上认知基础上，形成明确的数据需求和评估目标。

4.1.2　评估能力分析　即对机构的评估能力进行综合评价。数字信息服务评估需要大量工作人员的紧密配合，以及计算机设备和高性能软件工具的支持，这些都涵盖在评估能力的范畴里。所谓评估能力分析就是对上述内容进行预先评价。这里可借用分析报表的方式将机构的评估能力具体化。表1对数据需求、要求和满足条件等逐项审核，在现实与预期之间寻找差距。参照分析结果，评估管理者可为评估规划和实施策略的优化提供校正依据。

4.1.3　选择评估模式和指标体系　特定的数据需求类型对应着一定的评估指标和手段，由此形成了不同的评估模式，如输出评估、业绩评估、质量评估、成果评估和综合评估。采用何种模式主要由数据需求来决定。例如，以考察数字信息服务用户满意度为评估目标，最好选取质量评估模式及相应的评估指标体系；而考察机构数字信息服务综合绩效，就要采用综合评估模式，并将多种评估指标进行整合。

4.1.4　数据收集策略　评估模式和评估指标的确认直接影响到数据收集策略的制定与执行。比如，针对“培训课程对用户的影响力”这项指标，首先明确该指标属于成果评估，经分析制定数据收集策略：“分别于用户参加培训的前后设置检索技能测试或调查问卷”。可见，针对每项数据的收集都应确定恰当的收集策略。数据收集策略的构造还可细化，例如借用一种“数据任务配置表”来实现。该方法在数据配置环节可以为数字资源及服务评估者们简要揭示出为收集某项数据所必须投入的精力。以“馆藏中被浏览的数字化全文”为例，对该项数据进行任务配置。

4.1.5　数据收集　数据收集操作起来较为繁琐，但它关系到其后的分析和报告环节。以数据收集频率和方法为例，在数字环境下，大多数电子计量的收集只需要每年执行一次就可以了，但有些计量的收集则比较复杂，统计和获取过程必须依照一定的时间间隔持续进行，有的可能是每月一次，有的则是在服务过程中实时采集。

4.1.6　数据分析和报告　数据分析需要借助一定的手段，比如输入设备、转换工具、分析软件和分析专家等。有的数据分析过程比较简单，有的则处理起来比较复杂。对数据分析和报告进行规划，就是要明确下来每项指标的数据处理、计算公式、信息解读等步骤，并合理安排人员设备。数据的计算和分析完成之后，还要考虑将结果提交给相应的管理者或专设的部门，由他们对评估结果进行最终的整理并形成报告。

最后还要明确一点，即图1中，数字信息服务评估的各个环节应前后相继，循环进行。也就是说，数据报告环节既是一轮评估活动的结束，同时是下一轮评估的开始，评估报告中所揭示的信息，就是下一轮评估所必须的关于数字资源与服务的认知。

4.2　评估规划与评估实践的整合

评估规划和实施策略面临的挑战还在于如何在构思(确定评估策略和数据需求等)和执行(利用严谨的数据收集、分析和报告机制来开展有效的评估)之间找到一个最佳的平衡点。

4.2.1　对评估数据需求进行评价　即在分析出数据需求的基础上，对其进行重要性分析，这是实践中往往被忽视的一个问题。各项需求的地位和满足程度不同，不明确这一点，就可能造成评估规划和执行分不清任务主次，难以建立起有效的调控机制，最后导致评估结果与预期效果相背离。

4.2.2　创建规范的评估操作规程　操作规程与评估规划大体相符，但却具有更高的强制性和规范性。在操作规程中要明确操作方法与分工职责；此外，还可以通过编制规程，面向负责各项具体工作的个人进行必要的说明和解释，例如该项工作的意义、影响因素、控制手段以及允许的误差范围等。

4.2.3　建立评估过程管理机制　可以成立一个专门的管理组织，对评估规划及实践的所有环节进行监控和协调。另外，它还可以发挥信息传递的作用，帮助负责不同环节的人员掌握工作进度和节奏，促使规划与操作人员交流反馈意见等。

4.2.4　评估过程中可对资源投入进行再分配　在评估规划与实施策略制定之初，管理者可能无法全面考察所有影响因素。因此，无论是在规划还是在操作过程中，都需要不断对资源投入和配置进行再调配，例如涉及的内容有：人员培训和调度、专业技术人员的引进和聘用、购买添置设备、重设系统程序等来提高满足数据需求的能力。

4.2.5　建立合理的评估结果反馈机制　除了评估活动参与者外，很多普通馆员和其他工作人员都依照部署将业务流程中产生的数据向评估部门进行通报。他们或许并未意识到自身工作的价值，因而不能调动起参与的热情和责任感。所以，除了将评估报告提交给相关部门外，还可以在合理范围内让基层人员获悉评估结果，帮助他们提高认识，营造评估文化。