开放存取期刊质量评价方法与相关问题思考

On the Quality Evaluation of Open Access Journals and the Related Problems

(Library, Xi’an university of Science and Technology, Xi’an 710054, China)

【摘　要】近年来开放存取出版模式因其信息传播的即时性与学术资源的开放性得到了业界广泛关注，其质量评价也成为本领域研究热点。在此背景下，对开放存取期刊质量的同行审议评价法、引文分析评价法和网络计量评价法的利弊作了阐述，提出加强和改进评价工作的对策。

【关键词】开放存取；期刊；质量；评价

Abstract: In recent years, publishing mode of open access has received wide attention due to its immediacy of information communication and openness of academic resources, quality evaluation research on open access has become hot spot field. In this situation, the paper elaborates the advantages and disadvantages of peer review evaluation, citation analysis evaluation and evaluation of network measurement, and proposes the measures of strengthening and improving the evaluation work.

Keywords: Open access; Periodicals; Quality; Evaluation

目前，传统学术期刊价格猛涨以及图书馆订阅经费的严重不足，导致世界范围内的“学术期刊危机”。为了缓和或解决这种危机。国际学术界、出版界、图书情报界和政府有关机构掀起了开放存取（open access, OA）运动，根据《布达佩斯开放存取倡议》的定义：开放期刊(Open Access Journals，简称OAJ)是指那些可以在公共网络上免费获取，并且允许用户进行阅读、下载、复制、分发、打印、检索，链接到全文，用于编制索引，作为软件数据使用或者其它合法目的，除需要上网之外，没有其它的经济、法律以及技术障碍。进行分发和复制时的唯一限制和规定是允许文章作者对其作品完整性、以及署名权和引用权进行控制。［1］因此，建立一套适应开放存取期刊特点的科学、有效和易于操作的质量评价方法，就成为理论研究与实践探索的重要课题。

一、开放存取期刊质量评价方法分析

（一）同行审议评价法

同行评议(peer review)，亦称同行专家评审，是指同一个学科或研究领域或同一个研究方向的专家按照一定的标准对学术刊物、研究成果、人员、机构等进行的评价活动。同行评议专家应该是该评议领域的专家，具有副高以上的专业职称，他们一般都具有较高的学术造诣，了解本学科国际领域前沿的发展动态，并且具有一定的项目评审经验。同行评议专家除了对所在研究领域保持前瞻性、敏锐度和观察力外，还必须学风严谨，为人正派，评议客观公正，不受人为干扰，一切以学术问题和科学研究作为评议的唯一标准[2]。同行评价制度于17世纪后半叶由英国伦敦皇家学会秘书亨利·奥登伯格首创，至今仍被广泛采用，其具体方法包括双向开放审稿、单向匿名审稿、双向匿名审稿等。目前国外学界或学者判断学术期刊的质量时，一个最主要的标准就是看其是否有同行评议。有无、如何执行同行评议，对于学术期刊的质量监控至关重要。因此，国际期刊界通常都定期召开同行评议研讨会[3]。

现在，许多OAJ都建立了行之有效的同行评审机制。生物医学出版中心(BioMed Central,简，BMC)是英国一个独立的出版商,致力于出版经同行评议的生物医学类期刊的免费访问服务。BMC期刊登载的论文大都经过同行评议，有一些期刊包括医学BMC一系列采用“公开同行评议”(Open peer review)，即要求评审人员在评论上签名。[4]程序是：作者所投稿件经编辑初审后交专家快速评审，然后将拟通过纸质期刊正式发表的论文上载到期刊网站上供同行公开评审和讨论，在这个过程中作者可以对论文不断地修改完善。

同行评议并非完美，存在着局限性。例如专家自身的水平与倾向性等主观因素依然影响着各指标权重分配，受人力、物力的限制，专家无法审读所有相应期刊，只能选取部分作为样本，这都不可避免地为选取样本和确定样本量带来了片面性。此外，开放存取期刊的经济保障问题也是制约同行评议高效运转的一个重要因素[5]。因此，同行评议用于开放存取期刊的质量评价并非尽善尽美。

（二）引文分析评价法

引文分析评价法是运用数学和统计学的原理与方法，通过对科技论文、著作、期刊等评价对象的引用与被引用情况进行研究，揭示其数量特征和内在规律的一种文献计量分析方法[6]。引文分析法按论文被引用频次来评价科研成果，是研究学术期刊的利用率和相对影响的一个重要手段。与同行评议法相比，引文分析法排除人为因素对评价结果的影响，因而其评价结果比较客观和可靠。

国内外对开放存取期刊的质量评价大多使用引文分析法及其评价指标。如2004年10月，ISI了OA期刊引证分析报告[7]，对比分析了SCI中239种OA期刊与其他8600余种期刊的被引用情况，调查结果表明OA期刊的学术影响力已经达到了相应学科期刊的中等水 平。Antelman［8］通过研究多个学科领域的论文引文后发现，发表于同一期刊中OA论文的被引频次明显高于非OA论文，如在哲学类论文中为1.6:1.1；在政治学科中为2.20:1.18；在电子工程学科中为2.36:1.56；在数学学科中为1.60:0.84.我国学者马景娣利用SSCI和JCR，收集了9种社会科学领域中的开放存取期刊被引用情况和各项影响力指标(被引频次，影响因子，即年指数、被引半衰期等)，对社会科学OAJ的影响水平进行了研究[9]。

引文分析评价法的受制因素有：其一，影响因子在收录期刊方面存在一定的局限性，它只反映某些期刊在“来源期刊”范围内的影响[10]。即使是ISI发表的年度JCR，它所选取的开放存取期刊还是由ISI主观所选取的，不够全面、准确，带有其自身的局限性。其二，SCI、SSCI等工具对期刊的收录范围带有侧重性，其中美国和西欧地区的期刊数量就占了近90%。其三，由于开放存取期刊在发达国家和发展中国家发展的步伐不一致，将势必导致发展中国家的开放存取期刊的影响因子，其偏低的影响因子对发展中国家非英语语种开放存取期刊的评价有失公正。其四，影响因子是对前两年论文被引情况分析的结果，不完全适应OAJ及时出版、快速传播的特点。

（三）网络计量评价法

随着网络计量学研究的深入发展，人们发现越来越多的文献计量学定量规律在网络环境中同样适用。[11]这为OAJ评价提供了新的思路和方法，或者说网络计量评价法更适合OAJ基于网络环境生存和共享的特性。在网络计量评价法中，目前应用最广的是链接评价法，即以网页链接频率指标来评价OAJ网站的网络影响力和知名度。其中网络影响因子已是网站评价的重要指标，此外，访问量、点击率、论文下载率也是网络计量学方法中的重要网络影响指标。

由干开放存取期刊是以网络和计算机为存储介质的一种特殊出版理念下的电子期刊，因此为客观、准确、科学地评价开放存取期刊，引入链接分析法对开放存取期刊的质量分析有着重要的意义。Alastair G Smith在“Citation and Link as a Measure of Effective of Online LIS Journals”一文中[12]，采用链接分析法对网上开放获取LIS---电子期刊网站的外部链接数和网站网页进行了统计，然后根据网络影响因子将期刊进行排序。统计分析ISI收录的相同期刊的引证指标(如被引频次，影响因子等)，通过对比分析揭示网络影响因子与期刊影响因子的相关程度以及在开放存取期刊评价中的不同功效。研究发现，“期刊影响因子与期刊网络影响因子之间存在意义相关关系，影响因子高的开放存取期刊网站会吸引更多的外部链接，其网络影响因子也高”。因此，将开放存取期刊网站的网络影响因子和外部链接数作为评价其网站的指标，网络影响因子的高低将有助于全面了解开放存取期刊的影响力。

然而，由于现今的网络计量的链接方法仍处于一个相对不是很成熟的阶段，影响网络计量的因子本身存在一定的缺陷，再加上现今的网页更新速度快、网站和搜索引擎选择的主观性，以及各大搜索引擎对不同学科类型和地域范围搜索到的网页，使得开放存取期刊质量评价的质量严重受到了打进。所以，其相关的网络技术人员有必要不断深化对网络链接分析的理论研究，丰富实践活动,尤其是要注重对链接分析工具的开发。

二、关于开放存取期刊质量评价的思考

（一）科学选取评价指标

科学选取评价指标有两个含义：一是慎重选择某些指标。比如，对于学科影响指标，如果是在同学科期刊中进行评价，则可以选择，而如果是对不同学科期刊进行评价，则不能选取。[13]二是将孤立的单个指标组织起来形成指标体系，包括技术性指标、效益性指标、标准化指标等。因为，单一指标很难全面、准确地评价期刊的学术水平和学术地位。[14]目前，对于期刊评价，一般采用多指标综合评价法，而不同指标对评价结果的贡献各不相同，需要对评价指标赋予不同的权重。因此，指标权重赋值是期刊评价中的重要环节。目前，用于确定指标权重的方法很多，如专家评分法、成对比较法、Saaty’s权重法、相关系数法等。为避免人为因素对各指标权重设置干预的弊端，建议成立相关组织，来确定OAJ的评价指标，规范其权重值与所占比值。

（二）建立期刊出版标准

传统期刊的出版都有相应的控制标准，比如我国出台了国家标准《文后参考文献著录规则GB/T7714-2005》等。对于OAJ的出版，目前还没有完备标准。但是，世界上主要的OAJ出版者大都制定有自己的编排规则。比如：PLoS所属OAJ都采用温哥华格式排版，并增加了学术编辑签名、在线出处、收稿日期、接收日期、出版日期、专业名词缩写、意见箱等。篇后附录部分，增加了材料与方法说明、竞争利益的声明、作者的贡献、基金资助等。BMC所属OAJ有文献URL、作者贡献、被数据库收录等项目。与传统期刊不同的是OAJ涉及的编排项目更多，内容也更加丰富。但是，OAJ在编排规则方面存在着不统一问题。比如：对于参考文献著录格式，就有温哥华格式、The Lancet格式、Science direct格式等，不利于对期刊质量的评价，急需要建立统一的OAJ出版标准。

（三）建立完善的在线提交系统

在线提交系统在国外早已存在且比较常见,国内的期刊出版机构一般都用E-mail来收取稿件,目前各期刊编辑部开始使用论文网上提交系统,促进了在线提交系统在国内的发展。与E-mail相比,在线提交系统更人性化,也具有更多更实用的功能。E-mail属于大众化的联系工具，不能对提交质量进行控制，在线提交系统比较专业,从作者方面来说,能更好地理解出版机构的出版政策和养成良好的习惯,对于出版机构来说,很多提交质量控制过程都交给系统完成，减少人的工作量和增加了提交文件的正确性。在PLoS中,预提交调查可以过滤一部

分极不合格的文章,作者上传的文件都有格式规定,格式不符不能上传,作者也可以将文件分成几个部分上传,这样更能对各部分的格式问题进行控制。在线提交系统还需要进行不断的完善，运用“隐性质量控制”机制加强提交的质量控制力度，同时缩短编辑出版时间。

（四）构筑综合评价模型

不同的评价方法既有其特点和优势，亦有其缺点与局限性，建立能够扬长避短的综合评价法是OAJ评价的发展方向。比如，我国学者刘海霞等[15]探讨了双边市场理论在OAJ质量评价研究中的应用,提供了期刊质量的一个简单模型,用此模型来分析期刊质量与采取开放存取模式可能性之间的关系，从经济学模型的角度验证开放存取模式是否导致了期刊质量的下降。国外学者Mark J.McCabe[16]等从读者、投稿作者、期刊三方面构建期刊评价模型，从投稿作者获益度、论文随机质量、编辑审稿的能力几个指标建立了OAJ评价模型。从整体上讲，具有实用性的OAJ综合评价模型还没有得到真正建立。

（五）选拔论文评审专家

质量是OAJ的生命线，质量的把关者就是审稿专家。OAJ出版者普遍重视对审稿专家的遴选和相应的制度建设。例如，积极支持开放存取出版战略的美国科学公共图书馆(PLOS)和英国生物医学出版中心(BMC)都严格地定义了开放存取期刊，即其所刊载的论文必须在经过由学院编辑和有经验的专业编辑合作参与的、系统而严密的同行评议过程后才能出版发行。目前，OAJ评审专家的选拔正向智能化方向发展。比如：萨里大学已开发出智能化的期刊管理系统，能根据存储数据如作者和评审者的相关资料、评议结果等提供信息供评审者参考，并按照其评议质量进行排列。

参考文献：

[1]傅蓉.开放存取期刊及其影响分析[J].图书馆论坛,2007(4):122-125.

[2]何香香,王家平.关于完善同行评议体系的一些思考[J].中国科学基金,2005(2):112-114.

[3]叶继元.学术期刊的定性与定量评价[J].图书馆论坛,2006(6):54-58.

[4]Van Rooyen S·, Godlee F·, Evan S·,etal.Effect of open peer review on quality of reviews and on reviewers recommendations: A randomized trial [J].BMJ.1999 (318):23-27.

[5]李丽,张成笠.开放文档先导及其对学术期刊数字化传播方式的影响[J].编辑学报,2004,16(2):66-67.

[6]邱均平.信息计量学.第九讲:文献信息引证规律和引文分析法[J].情报理论与实践.2001,24(3):236-240.

[7]McVeigh, M.E.Open access journals in the ISI citation databases: Analysis of impact factors and citation patterns.[2011-06-18].WWW.省略/isihome/media/oresentrep/essayspdf/openaccesscitations2.pdf.

[8]Antelman, K.Do open-access articles have a greater citation impact [J]. College & Research Libraries, 2004, 65(5):372-382.

[9]马景娣.社会科学开放访问期刊及其学术影响力研究[J].情报资料工作,2005(2):47-49.

[10]徐兴余,陈志强.影响因子(IF)在中文科技期刊评价中的局限性[J].情报资料工作,2005(3):98-110.

[11]庞景安.网络环境中的文献计量学经典定律[J].图书情报工作,2009(2):46-49.

[12]Smith AG. Citations and links as a measure of effectiveness of Online LIS journals. International Federation of Library Association Institution IFLA Journal, 2005, 31(l):76-84.

[13]俞立平,潘云涛,武夷山.学术期刊评价指标选取若干问题的思考[J].情报杂志,2009(3):

75-77,100.

[14]周晓雁.试析科技期刊评价体系和评价工具[J].情报资料工作,2009(1):96-98.

[15]刘海霞,孙振球,胡德华等.开放存取期刊质量的双边市场模型研究[J].情报杂志,2007(6):

118-121.

[16]Kretschmer, Hildrun and Aguillo, Isidro 2005.New Indicators for Gender Studies in Web Networks [J].Information Processing & Management, 41(6):1481-1494.

作者简介：廖颖（1975—），女，陕西大荔人，法学硕士，馆员，主要从事期刊和图书管理工作。