基于Shannon-RVM模型的科研项目评审排序方法

摘要: 对科研项目进行合理排序,是科研项目评审和筛选的前提,是科研管理的重要内容。现有的研究均是基于专家打分进行的,因为专家打分的主观性,排序结果往往失于准确。本文基于信息熵理论和专家有序投票模型,提出一种多专家多科研项目的排序方法。该方法的数据基础(即专家排序)更为合理,因而能得出更为客观的排序结果。实例研究证实了本方法的合理性。

Abstract: Ranking is the base of research projects evaluation and selection, and also regarded as an important part of science and technology research management. The existing researches are based the expert scores. Since the subjectivity of expert scores, the resulting ranking is not satisfying. This paper advances a ranking technique based on Shannon theory and RVM (ranked voting model). Because the estimation of ranked voting is more exact than that of expert scores, the proposed approach can help to obtain more reasonable ranking for research projects. Finally a numeral demonstration approves the rationality of our approach.

关键词: 科研项目;排序;熵;有序投票模型

Key words: research projects;ranking;shannon theory;RVM(Ranked voting model)

中图分类号:F204, G311文献标识码:A文章编号:1006-4311(2010)20-0126-02

0引言

科研项目评审是科研项目管理的核心环节之一,而科研项目管理又是科研管理的重要内容,因此,对科研项目评审进行深入研究具有重要意义。科研项目评审的结果,是将科研项目进行排序,若干科研项目被选中予以基金支持,若干项目被淘汰而无法得到基金支持。因此,在科研项目评审中,综合专家意见以对科研项目进行排序,是主要目标,这其中,许多综合评价方法或在实践中被运用,或在理论上被认可。最常见的方法是:对每个项目赋予一定的权重,将专家意见加权平均获得的结果,作为评审的依据。此外,如数据包络分析[1]、层次分析法[2]、模糊评价方法[3]等也被运用到实践之中。

在科研项目评审中,专家依据专业知识与主观评价,对各个科研项目的各个指标(如研究意义、科研条件等)进行打分或者排序。一般来说,对各个指标进行打分的方法不容易得到客观的结果,而排序显得更为客观。事实上,即使采用打分形式,专家也往往是先针对每个评价指标,对各个科研项目进行一一排序,然后根据排序结果给予相应的分数;对于专家而言,排序是相对准确的结果,而打分则更多的是估值。因此,本文仅仅考虑专家采取排序这一形式对待评审项目进行筛选。

1指标体系与专家投票结果

某自然科学基金委员会对于科研项目立项评审形成了一套比较完整的评价指标体系,该体系分为四个大项,包括:立项依据、研究方案、研究基础、综合意见[1]。

对于上述指标,本文认为,第四个指标“综合意见”是对前三个指标的综合或者重复评价,因此,在单指标评价的实证研究中,本文仅仅使用“综合意见”这一指标;而在多指标评价的实证研究中,本文使用“立项依据”、“研究方案”、“研究基础”三个指标。

就每一个指标大项,专家有顺序的选择出满足要求的项目。例如,如果需要选择四个项目予以资助,每一位专家均有序的选择出“立项依据”最好的四个或更多项目、“研究方案”最好的四个或更多项目、“研究基础”最好的四个或更多项目、“综合意见”最好的四个或更多项目。

对每一个大项指标而言,专家对各个科研项目进行有序投票参考表1所示的小项指标。

本文以一个实证研究为背景展开:有十个候选科研项目,需从中选出四个科研项目予以资助,五位专家的意见作为参考。每个专家仅仅有偏好的列出四个项目,结果如表2所示。于是需要解决的问题是:如何确定各位次对应的权重大小,从而决定哪些项目给予支持。

2有序投票模型(RVM)

现将上述问题作一般化陈述。假设有多个专家对n个候选项目进行排序,以选出t个项目予以支持,故每个专家仅仅有偏好顺序的列出t个候选项目,这里n>t。yij是第i个项目被排在第j位的总次数位。Cook等人首先提出了一种有序投票模型[4],如下所示:

Z=max∑yu s.t.∑yu1,i=1,…,n uj-uj+1d(j,ε),j=1,…t-1 utd(t,ε)(1)

模型(1)中,uj为每一个排序位次对应的权重,约束uj-uj+1≥d(j,ε)保证了位次越高权重越大,d(j,ε)是一个区别密度函数[5],对任何正数ε,d(•,ε)是一个非负、非递减函数,且d(0,ε)=0。

模型(1)中有关权重的约束被称为弱约束,Noguchi提出如下强约束替换该约束条件[6]:

u1-u2>u2-u3>…>ut-1-ut>0(2)

约束(2)意味着:不仅仅位次越高所对应的权重应越大,且相邻位次之间权重的区别,位次越高,区别应越大。例如,第一名与第二名的差别,应大于第二名与第三名的差别。显然,约束(2)更为合理。

事实上,每一种关于位次权重的约束假设,都使得规划(1)有不同的解。下表列出了常见的一些权重假设,以及各科研项目在此种假设下的得分。这些权重假设以各种位次的权重比值来表示(假定每个位次得分不超过10,因为只有10个候选项目)。其中,假设1认为各种位次权重相当,假设2-7认为相邻位次权重相差均为1,假设8-10认为相邻位次权重相差均为2,假设11-14则遵从式(2)的约束。各个项目在14种假设下的得分如表3所示。

3基于信息熵和RVM的科研项目评审方法

由表3可知,在不同假设下,各个科研项目的得分不同,因此排序也会发生变化。每种假设得到的结果均包含一定的信息量,本节通过信息熵方法[7],得到每种假设的重要性指标,再结合各种假设下各科研项目的得分,得到各项目的加总得分,据此确定最终的排序。本文方法按照如下步骤展开:

第1步:记第j个科研项目在第k种假设下的得分为Ejk,通过下式标准化各项目的得分:

e=EE (j=1,2,…,10,k=1,2,…,14)(3)

第2步:计算每一种假设的信息熵:

fk=-(ln10)-1ejkln(ejk)(4)

第3步:计算每一种假设的重要性:

Wk=ddk,这里dk=1-fk(5)

第4步:计算每一个科研项目的加总得分:

θj=WkEjk(6)

通过以上步骤,可以得到各个科研项目的加总得分,如表4所示。

从表4可知,项目5、9、4、1排名前四,应予资助。接下来通过表5和图1比较各种假设的重要性。

由图1可知,第一种假设,即将每个位次的权重认为相当的看法,重要性最低,即最不应当采纳;而最后四种假设,重要性都比较高,故评审时应当将位次靠前者给予较高的权重,且相邻位次的差距逐渐降低。

4 结语

专家就各个指标对候选项目进行排序,比起对各个候选项目进行精确估分要更为容易,结果也更为客观。本文结合信息熵理论与有序投票模型,给出了各个科研项目加总得分的计算方法,并且比较了各种假设的重要性。结果符合常识,也能够给科研评价理论和方法提供一定的佐证。因此,本方法适合于多专家对多个科研项目评审的实际需要。

参考文献:

[1]樊宏, 陈世权, 基于DEA 算法的科研评审排序方法与应用[J], 科研管理, 2002, 23(4): 65-69.

[2]王其冬, 武佩珍, 程建刚等, 层次分析法在国家自然科学基金项目评审中的应用[J], 系统工程理论与实践, 2001, 21(7):119-123.

[3]陈世权等, 模糊排序专家系统及其在科研管理中的应用[J], 模糊系统与数学, 2000, 14(1): 94-99.

[4]W.D. Cook, M. Kress, A data envelopment model for aggregating preference rankings [J], Management Science, 1990, 36 (11):1302-1310.

[5]R.H. Green, J.R. Doyle, W.D. Cook, Preference voting and project ranking using DEA and cross-evaluation[J], European Journal of Operational Research, 1996, 90 (3): 461-472.

[6]Hiroshi Noguchi, Masaru Ogawa, Hiroaki Ishii, The appropriate total ranking method using DEA for multiple categorized purposes[J], Journal of Computational and Applied Mathematics, 2002, 146:155-166.

[7]C.E. Shannon, A mathematical theory of communication [J], The Bell System Technical Journal, 1948, 27:379-423.