基于作者机构指数的期刊评价研究述评

（1.南京大学信息管理学院 江苏南京 210023）

摘 要：对作者机构指数指标这一定量指标用于期刊评价的科学依据、实施原理、演变、应用，以及该指标用于期刊评价的有效性和前景分析表明：作者机构指数具有客观、高效、计算过程透明以及跨学科性等优点，但不能作为一个独立的期刊评价方法，而应作为专家评价和引文分析的一个辅指标；作者机构指数在许多学科期刊评价中的有效性已得到证实，但在图书情报等学科中尚待进一步检验。

关键词：作者机构指数； 期刊评价； 期刊排名； 影响因子

中图分类号：G250.2 文献标识码： A DOI：10.11968/tsyqb.1003-6938.2017039

1 引言

目前，学界对科研人员的评价通常根据其发表成果的影响力，而科研成果影响效应的显现具有长期性，著名的诺贝尔奖所评选出的往往是获奖科研人员十几年前的科研成果。在许多学术奖励和晋升政策中，又需要相对易行高效的评价机制，这样将科研人员的学术声望和他的期刊水平关联起来，以科研成果发表的期刊水平来反映科研成果的质量成为目前科研评价中流行的做法。一个被广泛接受和认可的期刊排名榜能帮助科研人员决定将其研究成果发表在何种期刊上，也能在一些优秀期刊上聚集高质量的学术资源，方便信息机构或个人高效的选择信息源。机构管理者也能利用科研人员发表的期刊水平评估科研人员绩效，实施人员晋升和人才引进工作。

专家评价与引文评价是两种常用的期刊评价方法。专家评价亦叫同行评议、学者评价，被认为是一种定性评价方式，由评价专家根据其主观感知对期刊进行概括性评价。如Nederhof[1]、Perters[2]以及刘宇[3]等分别针对不同学科期刊尝试用专家调查方式评价期刊并进行排名。引文评价法[4]是通过引用文献的数量统计、归纳、比较、抽象、概括等来进行评价，许多学者都认为引文评价法是一种定量评价方式。常见的指标如期刊影响因子、被引频次、期刊被引半衰期、即年指数以及最近学界提出的引用认同。此外，还有学者提出综合评价期刊的观点，如Bernardi[5]根据期刊办刊时间、投稿接受率、发行对象为科研人员和从业人员构建了一个期刊质量评价模型。以此为基础，Matherly和Shortridge[6]又补充了一些评价指标：论文长度、文可获得性、是否被SSCI收录、版面费。国内学者叶继元[7]也倡导构建基于同行专家的以内容、价值为导向的质量“全评价”体系，在评价指标方面既有定性指标又有定量指标。

上述三种期刊评价思路都有一定的合理性，但仍存在争议。同行评议中，评价专家更倾向一些办刊历史悠久，综合性强的期刊。再加上评价专家知识面和经验的限制，可能仅对某几种期刊较为熟悉，并不能全面评价所有期刊，因而不利于对新兴的期刊作出准确评价。此外，费时费力也影响了这种主观评价方法的应用。引文方法虽然克服了主观评价的某些弊端，但也非尽善尽美。Yue Pan等[8]就曾提到影响因子作为一个评价期刊的重要指标没有考虑到不同学科的期刊引用关系差异。期刊之间的引用行为是一个复杂的问题，简单的引用计量没有区分对参考文献的引用动机，以及受到诸如自引、统计数据样本、甚至期刊主编对引用的要求等因素的影响；Russeft[9]指出一些期刊为了提高本刊的被引量会鼓励投稿作者积极的引用该期刊的论文；Reinstein等[10]认为引文分析用于期刊排名明显不足，出版历史长的期刊以及每年发文量较多的期刊引用量往往更高。2012年，国外出现“几家期刊互惠协议引用”（Citation Cartel），导致某刊在短短时间内影响因子翻倍。引文分析评价的有效性也值得商榷，如Chow等[11]证实在基于引文分析的期刊评价时根据单篇期刊论文的引用数据和期刊总体引用数据时对高质量期刊排名存在差异，Moosa[12]也赞同这一观点。期刊综合评价模式虽然是一种很好的取长补短方法，但从目前的实践来看，存在选取评价指标的不合理以及评价实施的繁琐性问题。如是否被SSCI收录仅仅简单的二元划分，不能简单认为版面费与期刊质量有关系[6]。

如何探寻一个经济、高效的期刊评价方式成为期刊研究的突破点，在这一背景下，一些国外学者提出基于作者机构指数（Author Affiliation Index，AAI）评价期刊，并很快在某些学科得到响应。本文在国内首次引入这一计量指标，目的是分析这一新的期刊评价视角的科学依据、实施原理、演变及应用，并深入探讨该指标用于期刊评价的有效性和前景，力图客观公正地看待作者机构指数指标在期刊评价中的角色，为我国科技期刊评价工作提供参考借鉴。

2 作者机构指数的源起

2.1 作者机构指数的科学依据

出于客观和可操作性考虑，对期刊的评价不仅可以从其产生效益来考察（如基于引文方法的影响因子），还可以从输入因素，如作者对其成果发表期刊的选择来衡量。期刊论文的产生效益有时候需要历经几年，甚至几十年才能显现出，这为现实的期刊评价带来困扰。另一方面，期刊评价和机构评价常常关联在一起[13]，在通行的机构评价做法中，机构在优秀期刊上的发文数量是一个常用的评价指标。这意味着一个机构在优秀期刊上的发文越多，这个机构的声望值就越高。反之，作者在选择期刊时也不是随意的，他们都尽量把在个人认为是最好的期刊上，相当于给他们选择的期刊投了一票。如此以来，拥有高质量论文的机构和拥有高质量论文的期刊之间建立了某种关联，这种关联并不构成因果关系，而是共同反映了高质量论文这个事实。Gorman和Kanet[14]将高排名科研机构和高排名期刊之间这种正向相关性称为关联重言（association tautology），并提议期刊排名可以与机构排名相得益彰，科学评价中既可以根据发文期刊水平来评价科研机构，反之，也能依据科研机构声望高低来评价期刊质量。基于作者在发表其研究成果时对期刊的选择来衡量期刊水平的高低，这便是AAI提出的思想来源。

Ferratt等[15]描述了AAI隐藏的科学依据：声望高的科研机构更愿意聘用在高质量期刊上的科研人员，科研人员也更愿意在高质量的期刊上发表科研成果。AAI排名机制假设期刊的质量由其刊发论文质量来决定，而论文的质量又与其作者所属的机构相关。来自一些公认的Top机构作者的论文被认为质量一般要优于来自普通机构的论文。当来自Top机构的作者选择将其科研成果发表到某一期刊上时，就意味着该作者对期刊的认可，投了该期刊一票。而来自Top机构的论文越多，体现出越多作者为该期刊的质量投赞同票。带来的结果是高质量的期刊拥有高比例的来自Top机构的作者所写的论文，因而可借助AAI值的高低来反映不同期刊的质量差别。

2.2 作者机构指数原始公式

Moore[16]最早提出将作者机构信息用于评价期刊，他提出三个指标：通用ACE指数（General ACE Index）、数值ACE指数（Numerical ACE Index）以及总体质量指数（Total Quality Index）来评价50种经济学期刊质量（公式1）。

Moore提出的代表期刊质量高低的TQI公式给属于Top19的院系双倍权重，也是迄今为止，少数研究者意识到在利用作者机构信息给期刊排名时，赋予排名较前的机构更高权重的尝试。Moore的两个主要贡献：一是提出将作者所属机构排名用于评价期刊质量；二是提出赋予不同机构排名不同权重的思想。前者演变为目前最主要的计算AAI做法，遗憾的是后者很少有学者关注。

几年后，弗吉尼亚联邦大学的Harless和Reilly[17]将Moore的研究用于本机构期刊排名，以给本机构科研人员设定一个最低的期刊发文标准。其不同在于Top机构的选择包括所有的商学学科，而不仅仅是经济学。此外，在统计样本量时也指定相当论文（equivalent articles）而非指定一个时间区间（公式2）。

一个期刊的AAI定义为在刊发的论文中，作者属于Top60美国商学科研机构的相当论文数占所有美国科研机构相当论文数的百分比。在公式2中，相当论文是指去除作者为美国境外或者非科研机构的论文，一般定义为期刊最近发表的50篇论文，意味着期刊要有足够的发行卷期。对此，Harless在邮件中说到：“有人提出我们的做法是愚蠢的，因为我们排除了美国以外的高校，我们并不是狭隘的认为美国之外没有优秀的商W科研机构，但是我们难以调查更多的科研人员以将美国之外的科研机构加入到Top机构集合中。”[18]

随后，Gorman和Kanet第一次将AAI用于评价27种运筹管理期刊[14]（公式3）：

公式3是对公式2的一个更具操作性的定义，其分子为在相当论文集中，作者属于Top60机构的论文分值，分母则为作者来自美国科研机构的所有相当论文分值。同Harless和Reilly的看法一致，Gorman和Kanet将统计的相当论文样本定义为从某一时间点往前追溯50篇。公式3的分子分母都是逐篇论文的累计，直至达到50篇相当论文样本要求，而每种期刊的发行周期和每期的载文量是不相同的，因而达到50篇论文样本所需的时间跨度也不同。Gorman和Kanet发现他们所研究的27种运筹管理期刊的时间跨度在2-4年[14]。

为了验证AAI公式的可靠性，Gorman和Kanet检验了不同Top机构集合大小对AAI排名结果的影响，发现期刊的相对排名随着Top机构集合大小的变化没有显著差异。在另一个敏感性研究中，Gorman和Kanet将每种期刊的发文比重最大的作者机构数据去掉，结果发现对期刊排名有较大影响。因此，Gorman和Kanet建议使用一个范围更大、涵盖更多的机构集合计算AAI。在后来的一项研究[19]中，Gorman和Kanet采用的机构集合为美国News and World Report Top 30商学院，并将结果与Olson（2005）[20]采用基于主观调查的排名结果进行比较，发现之间的相关系数达到0.832，说明采用AAI进行期刊排名与专家心中的预期排名非常一致。

从公式1到公式3，AAI计算过程逐渐清晰，也打开了一条期刊评价的新视角，后来对AAI的演变和应用也多是基于Harless和Reilly以及Gorman和Kanet的成果，因而我们将公式2或者公式3作为计算AAI的原始公式。

3 作者机构指数实施关键

根据作者机构指数的计算原理，实施时需谨慎处理三个关键：Top机构集合、论文样本集以及AAI计算结果处理方式。

3.1 Top机构集合

如何确定Top机构成员，这是计算AAI首要考虑的。Harless和Reilly[17]在其研究报告中描述确定了Top机构集的步骤。首先他们调研了当前公开发行的商学领域的机构排名情况，包括会计、经济、金融、管理、营销、运筹、管理信息系统/计算机科学。发现这些排名都是根据各种评价指标综合而成，通过这一步确定美国高校列表；接着，采用一个评分系统来给美国高校排名，这个评分系统是根据该科研机构是否拥有某个学位项目的分值（如会计、运筹、金融、营销）。通过这一步确定58所拥有超过两个商学学科项目的美国科研机构集合；第三步，在前面的基础上，增加了两所科研机构（乔治亚理工学院和罗格斯大学），从而构成美国高校科研机构Top60商学学科排名榜。60所科研机构以外的美国科研机构被划分到另一个集合，但是除上述两个集合以外的一些非科研机构以及非美国机构都没有纳入分析范畴。

Harless和Reilly首先尝试构建美国Top机构集合，对后来学者应用AAI评价科研期刊具有深远意义。在此之前，虽然也有不少公开的机构排名，如US News & World Report，Times Higher Education （THE） 世界大学排名等。但是这类排名往往依据的是多个考核指标的综合性排名，如教学质量、学生就业率、薪酬水平等。此外综合性排名没有按照学科属性分类（Chen 和 Huang）[21]，因而学者质疑直接采用这些公开发表的综合性排名来计算AAI指数的可靠性[8]。

Harless和Reilly确定Top机构集方法的不足也被指出。首先是Top机构集的敏感性。Agrawal等[22]认为在H&R的研究中选择Top60美国商学院存在缺陷，因檎飧雠琶会变化。尽管后来Gorman和Kanet发现随着Top机构集大小的不同，期刊的排名虽有变化，但是这种变化没有显著差异。Fry等[18]也以十种运筹学期刊的数据来验证当Top机构规模为30、60、100、150、200、300时是否对排名结果有影响，结果发现当Top机构数目为150及以上时排名结果没有显著差异。同时还对八种流行的排行榜的敏感性进行了验证，发现只要Top机构的数目超过150及以上时，AAI值就呈现稳定趋势。同样的结论见Chen和Huang[21]、Gorman等[23]、Janney等[24]、Pan和Chen[8]等研究。因而这些学者均建议Top机构集的范围要尽可能足够大以避免忽略一些对AAI有影响的单个小专业的贡献；其次，H&R所确定的集合都以美国科研机构为范围，排除了非科研机构（如公司）以及非美国科研机构对AAI的影响。随着越来越大比例的非美国籍以及非科研机构作者在期刊上发文，原始公式局限性彰显。Agrawal等[22]指出确定Top集合的过程违背了阿罗不可能定理中非独裁性和备选方案的独立性两项原则，排除了非美国境内机构，是不公平的。最后，原始公式假定所有学科都给出相同的Top机构数量受到质疑[21]。如管理信息系统是一个相比金融学较窄的学科，其如果和金融学一样指定Top60机构集就不合适。

3.2 论文样本集

哪些论文被作为统计样本，亦即原始公式中的论文集合M呢？在Harless和Reilly的报告中，M被陈述为“选择的期刊论文是从最近的一期往前追溯最多五年，并且要有足够的卷期来保证公式中的分母要超过大致50篇相当论文。”[17]H&R定义一篇相当的论文i要满足条件至少需含有一个来自美国科研机构的作者。对大致50篇，Gorman和Kanet解释为“大于或者等于50”[14]，因此在H&R公式（公式2）中关于论文样本数量的条件如下表示（公式4）：

Gorman等[14]检验了当根据原始公式计算AAI时在选择40和50篇论文时，平均AAI绝对值的变化仅为0.018，断言论文样本数为50时足以得到稳定的AAI值。Chen和Huang[21]也证实当M大于50时，AAI计算结果保持稳定。考虑到论文的各种作者可能合作模式，可推算当某期刊最近发表的论文均来自美国科研机构时，50篇论文就满足要求，否则，就要多于50篇统计论文。然而，一些学者[22，26]提出期刊的出版周期和发文量带来达到50篇论文样本的时间跨度不同，论文样本集是与时间有关的参数，进而利用原始公式比较不同期刊的AAI值是不合理的，因为实际上评价的是不同时间期刊的AAI值。Harless在一封邮件中说到：“最初提出AAI模型的目的不是作为一种综合的期刊质量评价方式，而是在商学领域设定一个最低的标准。我们的目的是通过对科研人员最低发文期刊标准的核定来决定哪些人员能担任博士培养课程”[18]。由此认为，将原始公式直接用于期刊评价时需修正这些不合理成分。

此外，Agrawal等[22]还根据统计样本理论对原始公式中抽样方式进行批评。只有来自美国科研机构的作者论文才作为原始公式的样本集，非美国科研机构以及非科研机构的成果被排除，这是一个非随机抽样方法。按照这种非随机抽样方法选择的论文并不能代表期刊整体质量，应该选择更具科学性的概率抽样和随机抽样方式。

3.3 AAI计算结果处理方式

Gorman和Kanet在首次应用AAI评价期刊时采用邓肯多差距检验（Duncan’s multiple range tests）来比较期刊均值差异。Gorman和Kanet对邓肯多差距检验的陈述为“基于AAI的邓肯分组对于将具有相似水平的期刊聚类是非常有用的，而且能区分不同组之间的差异”[14]。然而，Agrawal等[22]则提出异议，首先邓肯检验方法是不合适的，好比苹果和橘子放在一起比较。论文在哪个期刊上发表并不是一个随机的非概率行为，与期刊的编辑理念、选题范围有关。Cronin和Meho[26]验证断言AAI在自成体系的学科期刊评价中发挥出色，因为学科期刊论文具有较好的同质性，能实现同质的聚类，但是对一些结构较松散以及学科边界模糊的学科不合适；其次，公式3中实际上使用的是期刊的论文样本均值，是一个确定数值。而适用于两组以上样本均数差别比较的邓肯多差距检验，如果各分组只有一个数值是不充分的。还有学者指出执行邓肯多差距检验要求每种期刊的论文AAI（i）为正态分布。但是Fry等[18]发现Gorman和Kanet研究时选取的期刊论文的AAI（i）大多不是正态分布，不满足邓肯多差距检验对数据的要求。Gorman等[14]同样对23种运筹学期刊进行邓肯多差距检验揭示存在多个不同的分组，而多数期刊之间至少共享一个分组的结果也表明各组之间并没有显著的差异。这表明，和其它期刊质量评价指标一样，采用对AAI值的邓肯多差距检验不能严格区分相似分数的期刊在质量上是否有差异，而仅是提供了一个将期刊分为不同质量层次的可行方法。

4 作者机构指数的修订与发展

基于上述实施作者机构指数计算的三个关键，修改和完善AAI的工作从未停止。学界也主要是围绕这三个角度来提高AAI的适用性和合理性。

4.1 修正Top机构集

AAI最早在美国提出并应用，因而与机构有关的数据都仅限于美国本土。事实上，期刊作者的来源有四类集合：美国Top科研机构A、美国非Top科研机构B、非美国科研机构C、非美国科研机构D。为了克服原始公式排除非美国科研机构即C影响的局限，Chen 和 Huang[21]将原始公式中的Top机构集重新定义为包含全球范围内的Top科研机构（大学和研究院）集合，不管是否为美国境内。同样的看法后来见于Ferratt[15]、Gorman[23]、Janney[24]以及Agrawal[22]等的研究，其中尤以Agrawal等做出的修正工作最多。

一种修正思路是，将原始公式3中的分子增加来自非美国境内的科研机构数据（公式5）。公式5计算AAI值要高于原始公式计算结果，它是假定发表在期刊上美国境外科研机构的成果属于高质量成果，ζ诳声望的提高具有正效应。

另一种修正思路是，认为非美国境内科研机构数据只提升原始公式3中分母值（公式6），实际上是将非美国境内科研机构数据等同于非Top机构集B。和原始公式相比，公式6计算的AAI值偏小。AAI的计算结果受到所确定的Top机构集的影响，关键在于将非美国境内的科研机构集合C作为分子项还是分母项。

公式5和公式6仍然将非科研机构D排除在外，Chen 和 Huang[21]解释原因是他们通过对金融期刊的统计发现在这些期刊上主要的非科研机构为美国联邦储备系统（Federal Reserve System，Fed），且作者分布到不同的部门。从技术角度考虑，这些作者应不属于同一个机构，就好比加州大学洛杉矶分校和加州大学伯克利分校不是同一个机构一样。单独Fed部门分支的发文不足以入选Top阵营，尽管从总体上统计，Fed机构的发文量也是相当可观的。

除了对原始公式自身完善外，还有学者从Top机构集的确定方法入手，改变常用的问卷调查方式。如Pan 和 Chen[8]提出一种新颖的确定Top机构的方法被认为更适用于AAI计算，理论依据为越是Top的机构越倾向于在本学科声誉较好的期刊上，因而可以通过在一些已认可的优秀期刊上的数量来衡量一个机构的科研绩效。如为了确定市场营销领域的Top机构，Pan和Chen[8]通过综合考察研究市场营销领域期刊评价的文献，选择三种口碑比较好的期刊，然后统计不同的机构在这三种期刊上一定时间区间的发文量，按照发文量决定不同机构的排名。这种做法也获得了一些学者的支持，如Chan、Chen和Steiner[27]、Heck[28]、Lasser[29]等在确定金融学科Top机构排名集， Conroy等[30]、Scott和Mitias[31]在确定经济学科Top机构排名集时均采用类似思想。Gorman和Kanet[32]，Gorman，Kanet 和Christ[23]分别用问卷调查和在14种运输学期刊发文进行统计的方式确定了Top 30机构和Top25机构排名，二者的重合率达到70%，表明这两种确定机构排名的方法具有高度一致性。

前文提及学者普遍建议使用一个范围更大、涵盖更多的Top机构集计算AAI，但是Top机构规模过大会导致无法区分Top排行前列机构与排行靠后机构的发文质量。极端情况下，如果某学科所有的科研机构都纳入到Top集合中，那么实际上就失去了利用AAI来评价期刊质量的意义。为处于Top集中的不同位次的科研机构赋予不同的权重是学者提出的又一个改进原始AAI公式的方向，这一思想可以最早追溯到Moore[16]提出的TQI计算公式中，前文已有阐述。Fry等[18]进一步按照这个思路提出修正（公式7），并对G&K的数据重新计算，Top机构成员被赋予的权重是依据机构在THE排行榜中院系的科研分值。

4.2 修正统计样本集合

期刊排名具有时间敏感性，原始公式要求统计样本集合为最近发表的50篇相当论文（排除非美国作者论文之后），Agrawal[22]、Cronin和Meho[26]等认为存在时间偏见，即根据原始公式计算的AAI值来比较不同时间区间的期刊质量不合理。Fry 等[18]提出的改进方法是用指定的时间区间来代替原来指定同等数量论文样本的做法，就评价期刊的目的而言，这种做法统一了论文样本的时间跨度，更适用于期刊评价目的（公式8）。由于公式8同原始公式一样要求被统计的论文样本至少有一个作者属于美国科研机构，所以也被称为美国AAI公式。

同时，Fry等[18]也认识到将美国以外的学者论文排除在统计之外，这是不合理的。随着全球学术交流的频繁，越来越多的美国境外学者在美国期刊上发表科研成果，因而，原始公式中将这部分论文排除不能准确反映期刊论文整体质量（Agrawal等[22]）。Fry等[18]在公式6和公式8基础上又构建了全球AAI计算公式（公式9）。

上述修正公式在一定程度上提高了将AAI用于期刊排名比较的合理性和有效性。还有些学者从实际出发，针对具体的操作完善以期刊评价为目的的AAI计算过程。如为了减少有些期刊过于集中刊发来自某个机构的论文而对AAI计算产生影响，Gorman和Kanet[14]采取了一种改进计算方式，将某期刊发文量最大的机构的论文数据剔除后再计算期刊的AAI值。

4.3 数据处理方法修正

针对原始公式采用邓肯多差距检验的不合理性，Fry等[18]建议按照用给定的时间区间t计算发表在某期x上的论文的平均值，这个时间区间建议设为1年。这样有足够的论文数据来符合正态分布。基于时间的AAI平均值计算公式如下（公式10）。

利用这种计算方法能符合原始公式中要求数据为正态分布的条件。如同影响因子有即年影响因子和前五年平均影响因子两种计算方法，AAI平均值也是在累计逐年AAI后的一个年均值，反映一段时间内该期刊的AAI平均水平。由于各种原因期刊即年AAI值可能有较大的变化，以某一年度的AAI值来比较期刊不如用一段时间跨度的均值客观可靠，提高评价期刊的可靠性。Fry等[18]还在公式10基础上建议可以根据每年的期刊x的AAI值进行邓肯多差距检验，实现期刊的分组和聚类。

5 作者机构指数的应用

自从Gorman和Kanet首次将AAI用于评价27种运筹管理期刊以来，许多学者也逐渐将这种评价思路应用到其它学科及领域。如Chan[33]、Guthrie[34]等将G&K提出的原始公式用于会计学科期刊排名；Janney等[24]对企业创业领域期刊排名；Chen 和Huang[25]、Lasser和Rydqvist[29]对金融期刊排名；Ferratt等[15]对信息系统期刊排名；Cronin和Meho[26]对图书情报学科期刊排名；Gorman，Kanet和Christ[23]对交通运输领域期刊排名；Pan和Chen[8]对市场营销领域期刊排名；Maloni等[35]对供应链和逻辑学期刊排名。这些应用研究除Cronin和Meh之外，其余学者均证实AAI用于所研究学科期刊评价时合理有效。

合作模式的探讨也是AAI在期刊评价中的应用尝试，学者们通过对不同排名的期刊的合作作者所属机构的分布情况来发现科研合作规律。如Chen和Huang[21]发现来自Top机构和非Top机构的合作模式比均来自Top机构的合作模式更普遍，通过对金融学科的科研机构的合作实证，两人还发现在一些顶级期刊中，Top机构之间的合作较为普遍，而在一些排名较低的期刊阵营中，Top机构和非Top机构之间的合作是主要模式。同样的研究也被Pan和Chen[8]提及。Kim等[36]则发现在一些较好的经济和金融期刊中，来自Top机构和非Top机构之间的合作发文非常普遍。Fishe[37]发现来自声望优秀的大学科研人员在权威期刊上的发文占相当大比重，但是排名5-15的期刊却成为一些声望一般的大学科研人员的选择。虽然大家普遍都认为来自顶尖机构的科研人员更愿意将研究成果发表在一流期刊上，但是统计发现在一些非一流期刊上也出现大量顶尖机构科研人员的论文，如何解释这一现象，其背后的动机是什么，是由于合作发文引起吗？Chen和Huang[21]对不同排名期刊的合作模式分析证实这一现象反映次顶级期刊阵营的期刊是公正的，是Top机构科研人员除顶级期刊之外的一个有力选择。而来自Top机构科研人T将成果发表在排名较低的期刊上时，主要是受到合作者来自非Top机构的驱动。

6 讨论

6.1 AAI提出的科学依据是否仍成立

Gorman和Kanet[14]强调排名预测（ranking conjecture）和关联重言（association tautology）作为AAI的科学依据，但是排名预测和关联重言忽视了机构科研人员数量对发文量的影响。换言之，拥有较多科研人员的科研机构与较少科研人员的科研机构在高质量期刊上的发文量是按总量来衡量，发文量多的机构不一定比发文量少的机构更具声望，有可能发文量高是由于该机构的科研人员数量多引起的。Agrawal等[22]认为这种关联重言并不能很好地为AAI方法提供依据。优秀的科研机构会聚集一批优秀的科研人员，优秀的科研人员会选择在顶级期刊上发表成果。然而，这种假设前提在如今也面临挑战，Kim 等[36]发现在20世纪70年代时，顶尖大学汇集优秀的科研人员是一种共识，而80年代后尤其是进入90年代，越来越多排名一般的大学通过优厚的薪酬和福利吸引优秀人才的加盟，之前的人才集中效应减弱。笔者认为，尽管AAI的科学依据被质疑，但并不意味这一假设前提被完全，我们仍需对期刊的作者群体特征作深入研究，以此来发现是否Top机构拥有高水平的科研人员，高水平的科研人员的科研成果聚集在高质量的期刊这一AAI应用的基本依据，从而证实机构排名与期刊排名之间的关联重言，为合理应用AAI找到科学依据。

6.2 AAI是否适用所有学科期刊评价

虽然AAI用于期刊评价的现实价值已经得到许多学者的赞同，但其有效性并非在各学科期刊评价中都得到支持。Cronin和Meho[26]发现对图书情报学这个小众且研究交叉的学科来说，AAI的评价结果不可靠。通过选取10种 LIS 期刊在U.S. News & World Report Top10 ALA认证机构集中的AAI数值结果，表明来自Top大学的科研人员在顶级期刊上的发文情况呈现不均衡现象。一方面作者发现在统计机构信息时作者来源多样化，不仅包括高校和科研机构的人员，其中还有大量的非LIS学科作者，还包括来自图书馆的工作人员和非科研机构人员，甚至由于大比例导致在根据公式计算时的时间跨度不同期刊相差较大，如Scientometrics中大量的非LIS学科作者带来统计区间长达20年，而另一个重要期刊JASIST则仅仅需要统计1年的数据。一旦在统计时间区间上相差过大，这种排名就失去了意义；另一方面，选取的Top集也会因为统计时间区间的不同而产生问题，如UCLA在1999年时还被U.S. News & World Report列入Top10集合，然而在2006年则退出Top10之列。这表明对于LIS这样一个小众但学科界限较开放且研究人员背景复杂的学科，采用AAI来对期刊排名方法存在问题。总之，AAI在用于对一些学科范围明确且学术成果丰富的学科如经济、金融、运筹学等具有可行性，但对于学科结构较为松散，界限较为模糊的LIS学科来说需要进一步来验证其有效性。

6.3 AAI是否能独立应用于期刊评价

提出AAI的初衷并非是为了期刊排名，而随后的发展中越来越将其应用于期刊评价中，自然需要考虑AAI与其它期刊评价方法和评价指标之间的关系。Pan和Chen[8]比较AAI的排名结果与四种不同的期刊排名结果差异，这四种期刊评价方法为：调查商学院订购期刊清单（Steward 和Lewis[38]）、读者对期刊的使用情况（Hofacker，Gleim和Lawson[39]）、期刊被博士论文引用分析（Bauerly和Johnson[40]）以及更大范围的期刊引用分析（Guidry 等[41]）。发现在确定本学科顶级期刊阵营（即前四位期刊）时，AAI的排名结果与这四项排名结果保持一致，仅是位置有细微差别。该项研究还发现一些综合性的市场营销期刊在利用AAI计算时会降低排名，一些传统的影响因子高的或者公认的优秀期刊的AAI排名也出现下移。两人认为这种降低的排名揭示了来自一些声望较低的机构作者在一些优秀期刊上比重逐渐增长。因而有必要对不同时间区间的AAI的变化来比较。因此，他们继续选择七种期刊三个时期（1993，1999，2006）的即年AAI差异，反映期刊的作者群体变化特征，这是其它期刊评价方法无法胜任的。

期刊影响因子是一个广被认可的期刊评价指标，该指标是根据JCR数据计算出的，JCR数据库的收录期刊有限，许多期刊并没有收录其中。这些期刊与待评价的期刊也可能会发生相互引用行为，因而利用JCR数据计算期刊影响因子有局限性。再加上我国鲜有期刊被WOS数据库收录，因而国内期刊的影响因子无从谈起。尽管许多国内学者根据影响因子的计算原理进行适当的修正以图计算中文期刊的影响因子，但是仍存在许多问题，导致直接利用影响因子这一指标对中文期刊排名在实际中遭遇挑战。而AAI机构指数不仅仅适用于评价被SSCI收录的期刊，而且适用于非SSCI期刊的评价，相比影响因子更适用于中文期刊排名。

期刊影响因子用于期刊评价的另一个问题也能被AAI克服。Mayur和Mabe[42]指出即年影响因子和五年平均影响因子的排名结果有很大差异。且由于学科差异，引用发生频次相差悬殊带来不同学科的期刊影响因子水平差异较大，如数学和计算机科学的期刊平均影响因子约0.5， 而一些基础学科的平均影响因子超过3.0[14]。期刊因子的计算还与期刊的年发文量有关，Mayur和Mabe指出年发文量在140篇左右的期刊每年影响因子的变化范围为±22%，而如果期刊年发文量为35篇左右时，影响因子的变化范围达到±40%。AAI指标则具有通用性，即使属于不同学科的期刊仍可以用于比较，超越了影响因子的应用范围。

尽管AAI指标有上述其它期刊评价方法所不具备的优点，但是许多学者（如Fry和Donohue[18]，Pan和Chen[8]）均建议不能单独使用该数据来排名期刊，而应作为其它期刊评价方法的一个很好补充。如果期刊的排名仅仅依靠AAI就如同过去批评一些期刊为了提高自身影响因子鼓励来稿中期刊自引的做法一样，AAI也遭受类似的批评。因为这会导致一些期刊编辑部在决定采纳稿件时注重作者所属C构，而将一些质量较高但是来自不知名科研机构的研究成果排除在外。期刊主编们有意无意地会对作者的机构提出要求，期刊的编委有意识地拒绝来自非Top机构作者的论文，审稿专家也会对来自非Top机构的论文有偏见。虽然有些期刊实施双盲审稿，但是专家依然能从致谢中猜测出论文的机构信息线索。据Blank[43]报道，即使用双盲评审，45.6%的审稿人仍能正确推测出给某期刊投稿的736篇论文的作者信息，而这些被识别出的论文的接受率要比不被识别的高得多。按此循环下去，一个期刊有可能形成自己的作者群体，而不属于这个群体的成果很难在该期刊上发表，这对期刊的发展不利。Gorman和Kanet[14]已经意识到此问题，在实证中将占期刊作者机构最多的论文数据剔除。

7 结语

AAI的出现开创了一种新的评价模式，尽管褒贬不一，但学者们对它的研究热情不减，所提出的质疑也是为了更好地修正和完善该指标。总体来看，AAI具有以下优点：（1）与传统的调查问卷或引文计量方法相比，具有客观、高效的优点，克服了主观评价存在的偏见问题，也克服了期刊影响因子受自引或者期刊发文量影响而不能真实反映期刊质量的不足；（2）能跨越不同学科影响因子差异较大的局限性，实现不同学科之间期刊的比较，从总体上反映不同学科期刊质量差异；（3）计算简单、过程透明，公式形式灵活，适应面广，适应不同的管理需要。如改变不同的Top机构集合大小灵活运用以实现对期刊质量的不同评价标准。管理人员在确定聘用人员以及晋升时，需要根据被评人员发表期刊的水平，而当管理人员即使对某学科不了解时，也能根据AAI的计算方法提供一个很好的决策参考。对学科内的科研人员来说，掌握着关于本学科期刊的丰富经验和知识，能根据自己的经验，决定将自己的成果发表在高质量的期刊上，提高该期刊的声望。

这些优点也预示着在某些期刊评价场合，AAI具有很好的应用前景，如可以应用于研究一个成熟学科是否衍生出新的研究或方向。以图书情报学科为例，会随着社会发展和技术进步出现新兴研究领域及新兴期刊，如《信息资源管理学报》《数字图书馆论坛》等期刊。按照传统的期刊评价方法，其影响力往往会被低估，而如果应用AAI公式，若发现数值较高，甚至超过一些传统的图书情报核心期刊，反映来自Top机构的科研人员的研究兴趣发生转移，而他们将自己成果发表在这些期刊上，也表明该期刊的质量得到认可，从期刊质量来看，这类新兴的期刊完全有可能跻身核心期刊之列；再者，相比期刊影响因子以JCR数据为主的局限性，AAI指标更适用于中文期刊评价，因而基于AAI的期刊评价方法可以作为当前以影响因子为主体的期刊定量评价方法的一个辅助指标。

最后，基于本文的讨论需要进一步针对某些不适应AAI评价方式的学科如图书情报学科期刊的质量评价进行修正应用；另一方面，鉴于国内期刊评价领域尚未充分认识到AAI评价指标的价值，需要选取中文期刊数据，基于不同的AAI计算公式来实施中文期刊的研究，以完善将AAI指标用于中文期刊的评价思路。

参考文献：

[1] Nederhof A J，Zwaan R A.Quality judgments of journals as indicators of research performance in the humanities and the social and behavioral sciences[J].Journal of the American Society for Information Science，1991，42（5）：332-340.

[2] Peters K，Daniels K，Hodgkinson G P，et al.Experts' judgments of management journal quality：an identity concerns model[J].Journal of Management，2014，40（1）：1785-1812.

[3] 刘宇，叶继元，袁曦临.图书情报学期刊的分层结构：基于同行评议的实证研究[J].中国图书馆学报，2011，37（2）：105-114.

[4] 郑德俊，叶继元.期刊引用认同及其被引评价新指标有效性分析[J].中国图书馆学报，2010，36（4）：106-114.

[5] Bernardi R A.Estimating the ratings of journals omitted in prior quality ratings[J].Advances in Accounting Education，2005，7（7）：109-127.

[6] Matherly M，Shortridge R T.A pragmatic model to estimate journal quality in accounting[J].Journal of Accounting Education，2009，27（1）：14-29.

[7] ~继元.图书馆学期刊质量“全评价”探讨及启示[J].中国图书馆学报，2013，39（4）：83-92.

[8] Yue Pan，Carl R Chen.Author affiliation index：a new approach to marketing journal ranking[J].Marketing Education Review，2011，21（3）：275-288.

[9] Russeft D.SSCI，ISI，JCR，JIF，IF，and journal quality[J].Human Resource Development Quarterly，2008，19（3）：185-189.

[10] Reinstein A，Hasselback J R，Riley M E，et al.Pitfalls of Using Citation Indices for Making Academic Accounting Promotion，Tenure，Teaching Load，and Merit Pay Decisions[J].Issues in Accounting Education，2011，26（1）：99-131.

[11] Chow C W，Haddad K，Singh G，et al.On Using Journal Rank to Proxy for an Article's Contribution or Value[J].Issues in Accounting Education，2007，22（3）：411-427.

[12] Moosa I.The demise of the ARC journal ranking scheme：an ex post analysis of the accounting and finance journals[J].Accounting & Finance，2011，51（3）：809-836.

[13] Borokhovich K A，Bricker R J，Brunarski K R，et al.Finance research productivity and influence[J].Journal of Finance，1998，50（5）：1691-1717.

[14] Gorman M F，Kanet J J.Evaluating operations management-related journals via the author affiliation index[J].Manufacturing & Service Operations Management，2005，7（1）：3-19.

[15] Ferratt T W，Gorman M F，Kanet J J，et al.IS journal quality assessment using the author affiliation index[J].Communications of the Association for Information Systems，2007（19）：7.

[16] Moore W J.The relative quality of economics journals：a suggested rating system[J].Economic Inquiry，1972，10（2）：156-169.

[17] Harless D，Reilly R.Revision of the journal list for doctoral designation[J].Unpublished technical report.Richmond，VA：Virginia Commonwealth University，1998（17）：2008.

[18] Fry T D，Donohue J M.Exploring the Author Affiliation Index[J].Scientometrics，2014，98（3）：1647-1667.

[19] Gorman M F，Kanet J J.“OM forum：evaluating operations management――related journals via the author affiliation index”-Do professors at top U.S.business schools do what they say？[J].Manufacturing & Service Operations Management，2007，9（1）：51-53.

[20] Olson J E.Top-25-business-school professors rate journals in operations management and related fields[J].Interfaces，2005，35（4）：323-338.

[21] Chen C R，Huang Y.Author affiliation index，finance journal ranking，and the pattern of authorship[J].Journal of Corporate Finance，2007，13（5）：1008-1026.

[22] Agrawal V K，Agrawal V，Rungtusanatham M.Theoretical and interpretation challenges to using the author affiliation index method to rank journals[J].Production & Operations Management，2011，20（2）：280-300.

[23] Gorman M F，Kanet J J，Christ D.Evaluating transportation research journal quality using the author affiliation index[J].Transportation Journal，2011，50（4）：370-389.

[24] Janney J J，Gove S，Matherne B P.The author affiliation index（AAI）as an assessment of 25 entrepreneurship journals，2007-2011 [J].Academy of Management Annual Meeting Proceedings，2014（1）：17162.

[25] Chen C R，Huang Y.Author Affiliation Index，finance journal ranking，and the pattern of authorship[J].Journal of Corporate Finance，2007，13（5）：1008-1026.

[26] Cronin B，Meho L I.Applying the author affiliation index to library and information science journals[J].Journal of the American Society for Information Science & Technology，2008，59（11）：1861-1865.

[27] Chan K C，Chen C R，Steiner T L.Production in the finance literature，institutional reputation，and labor mobility in academia：a global perspective[J].Financial Management，2002，31（4）：131-156.

[28] Heck J L.Establishing a pecking order for finance academics：ranking of us finance doctoral programs[J].Review of Pacific Basin Financial Markets & Policies，2007，10（4）：479-490.

[29] Lasser D，Rydqvist K.Ranking journals by concentration of author affiliation：Thirty-five years of finance research[J].Ranking Journals by Concentration of Author Affiliation：Thirty-Five Years of Finance Research（June 2006）.CEPR Discussion Paper，2006（5731）.

[30] Conroy M E，Dusansky R，Drukker D，et al.The productivity of economics departments in the U.S.：publications in the core journals[J].Journal of Economic Literature，1995，33（33）：1966-1971.

[31] Scott L C，Mitias P M.Trends in rankings of economics departments in the U.S.：an update[J].Economic Inquiry，1996，34（2）：378-400.

[32] Gorman M F，Kanet J J.A survey-based evaluation of logistics and transportation research journal quality[J].Transportation Journal，2011，50（50）：390-415.

[33] Chan K C，Tong J Y，Zhang F F.Accounting journal rankings，authorship patterns and the author affiliation index[J].Australian Accounting Review，2012，22（22）：407-417.

[34] Guthrie C P，Everett J O，Vijayakumar J，et al.Evaluating faculty publications in accounting Ph.D.programs：The Author Affiliation Index as an alternative[J].Journal of Accounting Education，2012，30（3-4）：290-306.

[35] Maloni M，Carter C R，Kaufmann L.Author affiliation in supply chain management and logistics journals：2008-2010[J].International Journal of Physical Distribution & Logistics Management，2012，42（1）：83-101.

[36] Kim E H，Morse A，Zingales L.Are elite universities losing their competitive edge？[J].Research Technology Management，2006，93（3）：353-381.

[37] Fishe R P H.What are the research standards for full professor of finance？[J].Journal of Finance，1998，53（3）：1053-1079.

[38] Steward M D，Lewis B R.A comprehensive analysis of marketing journal rankings[J].Journal of Marketing Education，2010，32（1）：75-92.

[39] Hofacker C F，Gleim M R，Lawson S J.Revealed reader preference for marketing journals[J].Journal of the Academy of Marketing Science，2009，37（37）：238-247.

[40] Bauerly R J，Johnson D T.An evaluation of journals used in doctoral marketing programs[J].Journal of the Academy of Marketing Science，2005，33（3）：313-329.

[41] Guidry J A，Hollier B N G，Johnson L，et al.Surveying the cites：a ranking of marketing journals using citation analysis[J].Marketing Education Review，2004，14（1）：45-59.

[42] Mayur A，Mabe M A.Impact factors：use and abuse[J].Medicina，2003，63（4）：347-354.

[43] Blank R M.The effects of double-blind versus single-blind reviewing：experimental evidence from the American economic review[J].American Economic Review，1991，81（5）：1041-1067.

作者介：柯青（1979-），女，南京大学信息管理学院副教授，博士，研究方向：网络信息资源管理；朱婷婷（1992-），女，南京大学信息管理学院硕士研究生。