拨开引文分析迷雾,破解科研评价困惑

[摘要]简要介绍荷兰著名科学计量学家亨克・莫德的专著《科研评价中的引文分析》。该书主要分为8个主要单元，探讨基础科学研究部门和科技期刊评价，ISI引文索引，社会科学与人文科学评价，准确性，引文分析与同行评议等问题。书中的结论为我们有效利用引文分析方法提供理论指导和实践借鉴。

[关键词]书评　引文分析　科研评价　亨克・莫德

[分类号]G31

科研评价是科学技术活动的重要环节之一，也是推进科学技术事业发展的必要保证。如何科学、合理、公正地对不同类型的评价对象实施鉴别、判断、排序，是一个长期困扰科学学理论与科技管理实践的难题。引文分析作为近年来蓬勃发展的科学计量学方法之一，逐渐进入到科研评价的视阈中。SCI、引文量、期刊影响因子等术语成为学术界耳熟能详的“硬通货”。但由此衍生的困惑乃至置疑之声也越发使引文分析方法处于风口浪尖之中。著名科学计量学家，1999年度科学计量学最高奖――普赖斯奖获得者，原荷兰莱顿大学EWTS教授，现受聘于爱思唯尔(Elsevier)出版集团高级学术顾问的亨克・莫德(Henk F.Moed)撰写的Citation Analysis in Research Evaluation《科研评价中的引文分析》一书，2005年由出版界巨头施普林格(springer)公司出版，2010年由中国科学技术信息研究所引入版权，并由科学技术文献出版社翻译出版。该书对于国内学术界全面了解引文分析的本质、引文指标的构建，以及引文分析在科研评价中的优缺点展开了系统深入的阐述，对于厘清当前我国学术界和科技管理实践中的某些误区，指导科学理性使用引文分析方法，具有重要的参考价值。

全书共分2大部分27章。第一部分介绍了全书的基本观点和一般结论，第二部分是关于引文分析的基本观点和结论的一些理论分析、案例举要和实证研究。全书的研究对象具有覆盖面广的特点，既关注自然科学领域的评价问题，还讨论人文科学和社会科学的引文特征；既涉及了单篇论文、期刊的评价，又探索了学科、团队等中观评价，还剖析了国家层面的科研产出及其科研合作等宏观问题。此外，秉持确定性和商讨性的态度也是本书作者的主要研究和写作风格。

作者指出，引文应用于科研评价的前提是，必须做到正式、公开、学术性。正式就是在进行引文分析之前，使被评价者和决策者明确引文分析所运用的各种指标的内涵；公开是指评价者使用的各类数据务必准确，并接收被评价者的核检；学术性是指任何评价必须要有明确的理论假设、研究路线以及对结果意义和局限性的讨论。学术质量是科研评价的中心话题之一。作者认为，“引文主义”所确立的研究质量和同行专家们所认定的学术质量都具有片面性。在引文分析与科技政策领域的关系上，引文分析毕竟属于纯学术领域，需要在理论框架下寻求适合的研究方法，而政策领域更关注的是可行性和政策相关性。作者认为，评价性的引文分析利用方式最好排除在政策领域之外。因为数据采集过程很容易出现错误，简单的统计指标容易受到较强偏态分布数据的影响。对于广为使用的期刊影响因子，作者认为，不存在一个衡量期刊绩效的完美的单一指标。某个特殊指标的有效性随使用的场合不同而变化。学科差异、引用时间窗口、期刊类型、标准化处理等都是利用影响因子必须考虑的因素。他强调，尽管影响因子存在某些局限性，但仍不失为一个较为可靠的指标。ISI收录文献的充分性越来越引起人们的关注。对来源期刊的统计发现，分子生物学、与人类相关的生物科学、化学等学科收录的期刊十分全面，数学、地球科学、工程学等相对全面，而人文与艺术、社会科学的期刊覆盖面较欠缺。对于前者，使用引文分析方法通常是恰当的，对于次者，作者建议应将非ISI来源期刊的引文补充进来，对于后者，应扩展引用文献范围，增加书籍和国际会议论文集的引文。尤其对于被分割为不同学派思想的学科领域，或者受民族和语言所阻碍的领域，不以引文分析数据为分析和评价依据可能效果更好。因此，在人文社会科学领域的绩效评价中，尤其是在定性研究主导的子学科中，尤其应慎用ISI引文索引。关于引文数据的准确性问题，如作者姓名、机构名称和子领域划分的模糊性，都会影响到结论的可靠性，作者认为，有必要运用更高级的引文数据处理。

以往在科研评价中我们有一个预设，即引文数量等同于质量。但果真如此吗?莫德大胆提出了这样一个问题：引文数量究竟测度了什么?这是一个与“科研绩效”、“学术质量”、“影响力”相关联的重要理论问题。作者在全面梳理了加菲尔德(Garfield)、斯莫尔(small)、朱克曼(Zuckerman)等人的观点基础上，认为尽管对引文的测度功能有不同的理解，但并不等于说引文分析就是缺乏理论基础的。当然，“引文主义者”的观点对探寻引文分析的学术理论基础将产生负面影响，这一点是毫无疑问的。在科研评价中运用引文分析，其目的不是要捕捉个人动机，而是要研究个体引用者共同表达其对学术活动结构和绩效的社会观点。当引文分析用于微观和中观层面评价时，可能会歪曲真实结果。即使扩大样本也不一定排除所有偏差。原则上，用学术影响来解释引用情况是行得通的，但是引用影响和学术影响的概念有时并不一致。笔者同意作者的谨慎态度，认为科研绩效是与投入产出密切相关的概念，学术质量反映学术研究成果内在的创新性，而影响力则反应了学术成果的传播和使用程度。引文数量对上述三个概念均有一定的测度功能，但更倾向于影响力测度。

尽管同行评议作为传统的被认为是有效的一种评价方法而广为使用，但是仍然受到学术权威、政治压力、思维模式的影响，使同行间达成一致意见的程度偏低。作者通过大量案例研究指出，文献计量指标应该被用作监测和研究同行评议过程的工具，并且在大多场合，同行评议和引文分析结果具有较强的统计相关性。笔者认为，在同行专家道德水准值得信赖的前提下，发挥专家主导作用并将引文分析作为辅助工具是值得尝试的。而在学术规范尚未成熟之前，将文献计量指标引入评价过程，发挥“镜子”的映射职能非常必要。

此外，在引文分析的宏观研究方面，作者也得出了一些相当有趣的结论。自20世纪八、九十年代以来，全球科技论文数量由于科学合作(共同署名)逐渐上升。这可能是受到科研评价中的“毛”数指标激励使然，当然在医学和生物学领域也可能由于受到强调在高影响因子顶级期刊发文导向发文数有所下降。通过国际科学合作，使得合作国都提高了本国的引用影响。但在双边国际合作中，强国与弱国合作从短期看可能会削弱强国的被引率。关于国家自引，作者研究发现，几乎所有国家都过度引用本国论文，因此，所谓美国学者更倾向于引用本国论文的结论缺乏实证依据。至于其他国家更多引用美国论文，可能是一种引用偏见的影响，但不必强制取缔。笔者认为，在

我国，通过与强国科研合作，可以提升我国的科研国际影响力，亦可以形成创新力强的科研团队。但是在科研评价的成果数量导向下，可能会催生大量“伪合作”，这必然会曲解科研合作的初衷。

再者，作者对发展新的引文指标提出一些设想。如探索处理合作问题、测度知识库的广度、一致性及深度指标，有意与新生科学家锻炼成长的指标，“定性的”引文分析指标等。此外，新的电子出版形式、数据库和搜索引擎，在引文分析中作为来源文献的作用将越来越重要。尽管如此，仍应注意，来源文献的多样化并不支持学者对知识进步所做的贡献越大这一结论。

最后，本书再次强调，政策制定者和公众对学术质量信息的需求是合理的，但叙述学术质量不像其他社会领域的绩效那样可以直接测度，单靠文献和引文排名，并不足以反映各评价对象间的关系，以及这些关系是如何影响个体对象的绩效。

总结本书得出的基本观点主要有：学术研究质量有一定的客观性，但是引文测度的并不完全是实际的质量；引文评价和科技政策的价值取向不同；引文分析应用于科研评价时，数据的透明性和文献计量学者的中立性是必要的；引文分析方法更适合宏观层次评价，与同行评议方法各有利弊。

总之，这部著作为我们提供了使用引文分析方法应用于科研评价的富有启发性的思路。对于解决我国科研评价中引文分析方法使用的越位和缺位问题，将给予极为有益的指导。

通过本书对引文分析与科研评价诸多复杂关系的系统阐述，笔者认为，引文分析在科研评价理论研究与实践应用巾的作用是毋庸置疑的。尽管已有的引文分析手段仍存在某些缺陷，但是它毕竟拓展了科研评价的视野，一定程度上克服了同行评议方法固有的封闭性和主观性带来的评价偏差，使科研评价建立在客观、公开、定量、可操作的基础上。任何一个没有偏见的学者必须承认，SCI对我国科技创新和科技事业发展的巨大推动作用。SCI本身没有错，关键是如何理解SCI及其引文分析的内涵和功能，并智慧地而不是绝对使用这些工具和方法。尤其在我国人文社会科学评价领域，反对SSCI、A&HCl的不在少数。与中国经济社会快速发展相适应，中国人文社会科学学者理应承载向国际学术界展示我国经济、社会、历史文化成果和争取对国际问题研究的话语权的责任和使命。在特定阶段，从科研管理角度适当给予激励，至少是不坏的选择。

引文分析仍有大量的理论和实证问题需要探索。从国际科学计量学界近年的研究现状以及本书观点看，引文分析要想在科研评价中有更大的作为，未来的工作主要体现在如下几方面：第一，进一步拓展引文数据库源，如Google scholar、Scopus、ScienceDirect、开放获(存)取等数据库，并检验同一指标在不同引文库的表现。对中文人文社会科学文献，建议尽快建立中国学术著作数据库。毕竟书籍是人文社会科学成果的重要载体之一，目前书籍中的引文数据尚不能准确获得。这对于全面反映评价对象科研绩效是个缺憾。第二，进一步开发和设计新的评价指标，如类H指数、特征影响因子等，并检验新指标与经典引文指标的一致性和差异性。第三，进一步探讨引文分析等科学计量方法与同行评议在科研评价中结合的机理，并提供可操作性的现实路径。第四，科学计量学者有必要向政策制定者、科研管理者、学科研究者乃至公众普及基本的引文分析理论和方法。当前实践中出现的评价争议和评价失误与使用引文数据的简单化、绝对化、过度化无不关系。欧洲科学计量学夏季学院即是一个很好的范例。

参考文献：

[1]莫德．科研评价中的引文分析．贺佟丰，等译．北京：科学技术文 献出版社,2010