论文层面指标ALMs)计量理论发展及实践探索

〔摘要〕论文层面指标（ALMs）是信息学和科学学领域的前沿课题，主要适用于单篇论文的影响力测度，具有重要的理论价值和应用领域。利用文献调研和内容分析等方法对ALMs研究动态进行解读与评价。研究认为：ALMs是一个较为复杂的影响力指标集合，国外较为成熟的4种工具都有其自身的优缺点和特色，尚未形成一致认可的、标准化或权威性的评价方案。从实证案例的分析结果可知，ALMs的可信度和有效性有待进一步提升。

〔关键词〕论文层面指标；科学公共图书馆；科学评价；补充计量指标；学术影响力

DOI：10.3969/j.issn.1008-0821.2016.11.003

〔中图分类号〕G250252〔文献标识码〕A〔文章编号〕1008-0821（2016）11-0016-05

〔Abstract〕As an academic frontier in the information science and science of science，article-level metrics（ALMs）are mainly used to measure the impact of individual papers，and ALMs have some important theoretical value and application areas.ALMs research progress was interpreted and evaluated based on the methods of literature survey and content analysis.The results showed that ALMs is a more complex set of impact indicators，foreign mature four tools have their own advantages，disadvantages and features，an agreed，standardized or authoritative evaluation program have not yet formed.The credibility and effectiveness of ALMs should be further enhanced from the analysis results of empirical cases.

〔Key words〕article-level metrics；PLoS；scientific evaluation；Altmetrics；scholarly impact

从期刊层面测量论文的学术影响力是科学评价的常规方法，长期以来占据主导地位，期刊影响因子（JIF）已被视为论文学术质量的黄金标准。随着在线科学交流和开放存取（OA）运动的发展，人们逐渐意识到传统的文献计量方法在Web20时代显得力不从心，已经不能全面、客观、充分地反映科研成果的影响力。同时，学术论文的传播和利用载体也发生了变化：从纸质期刊拓展到网络平台，这种转向激发人们追求评价创新的勇气和热情。作为OA运动倡导者，美国科学公共图书馆（PLoS）率先在影响力测量领域进行了学术“革命”，提出论文层面指标（Article-Level Metrics，ALMs），得到了学界的大力支持和业界的积极响应，尤其是在图书情报学和科学计量学领域专家、学者的推动下，ALMs已成为新的学术热点和前沿，为科研管理体制创新提供了新的视角，也为科学评价生态体系注入了新的活力。

1概念外延及其译名界定

ALMs具有弥补传统测量方式缺陷与不足的潜力，并凸显科研评价过程中的关键性细微差别：比传统的衡量和判断标准更具细粒度和及时性，这种特性主要表现为对科研成果进行实时的社会性和专业性追踪，而引文分析则很难做到这一点，如图1所示。评委会也期冀依赖数据驱动的指标优化、丰富科研成果的影响力测度体系，科研产出的及时性与社会化成为其影响力的重要特质[1]。当然，社交媒体上的高关注度并不意味着该项研究具有较高的学术质量或者学术影响，但是这种信息扩散所蕴含的情报价值能够为资助者提供决策参考，以便于对资助政策与战略规划做出及时的调整或安排。同时，ALMs有助于优化科研资助过程。传统的科研资助决策影响因素主要是依赖于申请人的学术声誉或跟踪记录，其中，以学术论文或专著为代表的正式出版物是一项重要的组成部分，ALMs的特别之处在于为同行评审专家提供一种融合了内外部学术氛围的审核语境，减少对“测度假设”的路径依赖，即发表在所谓有声望的期刊上的论文理所应当具有较高的影响力，这对于初级科研人员来说更有益处，尤其是对那些没有机会参与重点项目而无法获得有竞争力“分数”的研究者[2]。

从评价对象和操作规则来看，ALMs主要聚焦于单篇论文影响力的测量，并将其视为测量过程中的独立客体，与出版载体实现有机分离。同时，科学评价的测量对象已经从单一的论文拓展到书籍、数据集、代码、软件、专利等其它类型的科研成果，因此，从名称上来看，“论文层面”的学术视阈显得有些狭隘和单一。为了更好地表述其内在含义和外延特征，一个新兴概念――Altmetrics应运而生，Altmetrics实现了ALMs测量对象的扩展，两者在科学评价理念上趋于一致[3]。单就构词方式而言，Altmetrics由Alternative与Metrics两词合并而成，这一点已是学界共识，但其中文译名却存在较大争议，有必要客观厘定其科学内涵，译名界定必须从词义出发并结合对应的学术语境。词根“Alt”具有替代、备选之意，“Metrics”一词最常见的中文表述是度量、指标和韵律学，无论是功能、效用，还是价值、意义，Altmetrics的本义显然不是去替代既有的指标体系，而是作为一种合理的补充和扩展，更不是要成为某一特定学科或专业，翻译成“学”存在误导之嫌且在翻译逻辑里行不通，补充计量指标应该是最贴切的译名。为了避免争议和歧义，在非必要的情况下，下文仍保持英文名称。

PLoS的ALMs体系分为使用、引用、PLoS、社交网络、博客与媒体等维度，PLoS出版的每一篇论文均内嵌了ALMs测量结果，研究人员可以持续跟踪数据的最新状态[10]。Altmetric是追踪学术论文或数据集在线受关注度的评测系统，数据来源于社交媒体、传统媒体和在线参考文献管理软件等平台，每项指标均赋予权重并以Altmetric分数呈现出来。Altmetric分数并非论文学术质量高低的标准，而仅是科研成果的受关注热度，这是一直强调的重要观点[11]。PlumX是Plum Analytics的主打产品之一，汇集了适合所有类型学术研究成果的指标，并对5个类型所属各项指标的含义做出了具体说明，具有数据来源广泛、指标体系丰富且分类层次清晰等特点。用户既能将指标嵌入到机构知识库（IR）中，也可以通过PlumX指标服务平台实现ALMs计量功能[12]。Impactstory的应用平台包括：社会网络应用、特殊科研工具、出版平台以及科研产出与平台，总共涵盖15项观测变量[13]。与PlumX相比，PLoS的指标数量较少，但指标的来源渠道比较权威且应用范围广泛，也公开数据来源、API的详细文档、代码以及使用案例，Impactstory公布了所有数据的来源和计算方式[14]。ImpactStory的指标分类体系与PLoS首版模式相同，但前者的改进之处是从学者（Scholar）和公众（Public）的角度对每个类别所属的具体指标进行二维分解，有利于构建具有整体连贯性和一致性特征的指标本体[15]。

4实证案例及其理论限度

实证分析流程一般经由以下路径实现：选择平台确定对象构建指标检验假设分析结果，其中假设检验阶段主要运用SPSS统计分析软件，根据数据源的属性选用不同的分析方法（符合正态分布采用Pearson，否则使用Spearman），对ALMs进行相关性检测或提取主成分因子并通过Q-Q图、直方图等直观展示结果。ALMs的适用性和有效性需要从以下方面验证：①社交媒体类指标性能如何？文献[16]对PLoS期刊中13万余篇论文的18项ALMs进行测度，结果显示：获取、引用与社会化书签等3类指标之间具有较高的关联性并形成一个聚类，说明社交媒体的覆盖率和传播广度能够拉升使用统计数值，反之亦然。其中，PDF下载量与HTML浏览量是强相关关系（R=091，P=0）。②ALMs内部关系怎样？文献[17]从《期刊引用报告》（JCR）采集数据并与进行元数据匹配，对373万余篇论文的11项ALMs进行相关性检测，结果显示：ALMs与引用指标之间仅存在弱相关关系，各指标间的相关系数均在060以下，且论文在某一社交平台获得的社会关注度与在另一平台上的表现不一致。③ALMs的维度几何？文献[18]对CSIC中的12万余篇论文的10项ALMs进行相关性分析和主成分提取，测度表明：社交维度与文献计量维度之间的相关性较弱，使用量和社交指标均不能完全代表研究评估水平，微软学术搜索（MAS）与Mendeley等变量的贡献率均低于10%，有可能被剔除，但需要更多的可信度检验。

从指标验证和分析结果来看，尚未形成权威性的、标准化的评估方案，尽管ALMs抑或Altmetrics都与基于引用的指标之间存在一定的相关性，但还不能确定这些新型指标的质量如何或者是表现的究竟是哪个维度的影响力，但ALMs已经引起了学界的高度关注，并得到出版商、基金会、大学管理者以及研究人员等的参与和推动。目前面临的一个现实性挑战是认证标准和实施策略缺乏跨界（学术+行业）共识，最佳实践案例偏少且没有获得用户一致性的认可和采纳。美国国家信息标准化组织（NISO）获得斯隆基金会（APSF）提供专项资助并与PLoS开展协同合作，试图研制一套规范、系统化的论文层面评价体系，为科研成果的市场推广提供重要参考和定量依据[19]。《生物实验学报》（JEB）的做法是[20]：使用数据可以通过点击每篇文章的“论文使用统计”（AUS）获取，包括每月更新的摘要、全文和PDF下载量等数据并提供月度被阅读量和被引频次最高论文信息清单。需要注意的是，论文浏览记录必须保持其完整性，JEB出版商临时的视频摘要和YouTube上的补充视频等项目的追踪数据仅被视为个人“看法”，并不纳入研究论文的关联性指标之内。对于研究人员而言，很难监测到论文被点击、下载、评论等指标的实时性数据，为了减少作者的时间消耗，JEB通过嵌入Altmetric“甜甜圈”（Donut）的方式来动态展示论文的受关注热度。

5结语

当读者看到一篇感兴趣的论文时，第一反应常是浏览或者下载，引用仅可能是兴趣环节上的一个最终选择，而更多的潜在响应行为，如评论、转发、标注、链接等并没有充分展现在传统的测量指标体系内。体系结构丰富的ALMs在评价方案遴选中具有天然的优势，在受众、维度、时间等方面均比传统方式更接近于揭示研究本质，受众在乎适用性和实用性，倾向于重视科研成果的社会关注度，能够更加细致而精密地反映出科研成果的影响力，并且永远不能仅靠一个分数就形成定论[21]。这种开放、多元的指标是既有评价体系的合理补充和扩展，为学术生态系统注入的新的活力和契机，即使这些指标的可信度、有效性以及覆盖率仍在验证和改良之中。但ALMs的全面普及应用也面临着一些现实困境，如计量工具服务商缺少跨界沟通与协作，形成了各自为政、各圆其说的实施方案。另一大挑战是指标体系缺乏一致性。ALMs分数既可以由页面浏览、下载、社交媒体提及等数据呈现，也可以通过特定算法给出基于聚合指标的综合评分，服务工具供应商之间并没有达成权威性或标准化的指标体系，这对于新型指标来说不足为怪，总要经历一个新旧磨合与融合的曲折过程。

参考文献

[1]Greg Tananbaum.Article-Level Metrics：A SPARC Primer[EB/OL].http：∥/sites/default/files/sparc-alm-primer.pdf，2015-09-11.

[2]Adam Dinsmore，Liz Allen，Kevin Dolby.Alternative Perspectives on Impact：The Potential of ALMs and Altmetrics to Inform Funders about Research Impact[J].PLOS Biology，2014，12（11）：e1002003.

[3]Martin Fenner.Altmetrics and Other Novel Measures for Scientific Impact[M].Opening Science，Berlin：Springer，2014：179-189.

[4]Scott Chamberlain.Consuming Article-Level Metrics：Observations and Lessons from Comparing Aggregator Provider Data[J].Information Standards Quarterly，2013，25（2）：5-13.

[5]Lutz Bornmann.Do Altmetrics Point to the Broader Impact of Research？An Overview of Benefits and Disadvantages of Altmetrics[J].Journal of Informetrics，2014，（8）：895-903.

[6]Heather Piwowar，Jason Priem.The Power of Altmetrics on a CV[J].Bulletin of the American Society for Information Science and Technology，2013，39（4）：10-13.

[7]Jean Liu，Euan Adie.Five Challenges in Altmetrics：A Toolmakers Perspective[J].Bulletin of the American Society for Information Science and Technology，2013，39（4）：31-34.

[8]王睿，胡文静，郭玮.常用Altmetrics工具比较[J].现代图书情报技术，2014，（12）：18-26.

[9]Euan Adie，William Roe.Altmetric：Enriching Scholarly Content with Article-Level Discussion and Metrics[J].Learned Publishing，2013，26（1）：11-17.

[10]PLoS.Overview[EB/OL].http：∥/alm-info/，2015-09-18.

[11].About Altmetric and the Altmetric score[EB/OL].http：∥/knowledgebase/articles/83337-how-is-the-altmetric-score-calculated，2015-09-18.

[12]Plum Analytics.About Metrics（Examples of each type are）[EB/OL].http：∥/learn/about-metrics/，2015-09-18.

[13]顾立平.论文级别计量研究：应用案例分析[J].现代图书情报技术，2013，（11）：1-7.

[14]刘恩涛，李国俊，邱小花，等.Altmetrics工具比较研究[J].图书馆杂志，2015，（8）：85-92.

[15]Jennifer Lin，Martin Fenner.Altmetrics in Evolution：Defining and Redefining the Ontology of Article-Level Metrics[J].Information Standards Quarterly，2013，25（2）：20-26.

[16]Koon-Kiu Yan，Mark Gerstein.The Spread of Scientific Information：Insights from the Web Usage Statistics in PLoS Article-Level Metrics[J].PLOS ONE，2011，6（5）：e19917.

[17]Hamed Alhoori，Richard Furuta.Do Altmetrics Follow the Crowd or Does the Crowd Follow Altmetrics？[C].IEEE/ACM Joint Conference on Digital Libraries，London，UK，2014：375-378.

[18]José Luis Ortega.Relationship between Altmetric and Bibliometric Indicators across Academic Social Sites：The Case of CSICs Members[J].Journal of Informetrics，2015，（9）：39-49.

[19]Martin Fenner.What Can Article-Level Metrics Do for You？[J].PLOS Biology，2013，11（10）：e1001687.

[20]Michaela JPHandel.Article-Level Metrics-Its Not Just about Citations[J].The Journal of Experimental Biology，2014，（217）：4271-4272.

[21]Jennifer Lin，Martin Fenner.The Many Faces of Article-level Metrics[J].Bulletin of the American Society for Information Science and Technology，2013，39（4）：27-30.