高校网站评比指标体系设计

摘 要：网站评比是高校提高网站质量，推动网站在教学、科研和管理工作中应用的重要举措。许多高校已开始对网站进行年度评比，然而目前教育部门尚无统一的高校网站评价标准。为了给网站评比提供一个明确的标准和测量方法，本文分析了高校网站评比的价值取向和网站评比的对象，采用因素分析法预设计了高校网站评比指标体系模型，然后采用德菲尔法和层次分析法，先后明确了指标体系的所有指标项与指标描述，确定了指标项的权重，并在高校中进行了验证性实验，形成了一个相对完善的高校网站评比指标体系。

关键词：高校网站；评比；指标体系；层次分析法

中图分类号：G434 文献标志码：B 文章编号：1673-8454（2014）19-0073-05

一、引言

近年来，随着教育信息化的深入发展，高校深刻认识到网站在信息开放与共享中的作用，迅速建立各种类型的网站，并对外提供服务，在大学教书育人、科学研究、社会服务和文化传承中发挥着重要的作用。[1]但是，由于高校网站建设和管理涉及范围广，业务量大，管理措施落实不到位，出现了网站建设质量参差不齐、功能结构单一、页面布局不美观、内容更新滞后等一系列问题，影响了学校网站作用的发挥，制约了学校信息化整体水平。为了提升网站建设质量，暨南大学、郑州大学、大连理工大学等高校本着“以评促建，以评促管”的宗旨，已开始在校内开展网站年度评比活动。然而，科学的评价需要合理的评价标准作为评判依据，目前国家教育行政部门尚未对高校网站制定统一的评比指标体系，各学校的评价指标和导向也差异较大。那么，如何设计一个涵盖网站建设、管理和应用等方面的评价指标，利用科学的评价方法和符合高校信息化发展需要的评价体系，对网站进行全面、客观、科学的评价，指导高校网站健康发展，是高等教育信息化需要研究的一个问题。

二、高校网站评比的价值取向

教育评价的核心价值是鉴定、导向和调节功能。[2]因此，高校网站评比以此为价值取向，其鉴定功能主要体现在认定、判断网站定位是否准确、质量高低程度、管理是否到位、应用效果好坏等实际价值的功效和能力；导向功能由评价标准的方向性决定，引导学校各单位朝着信息资源开放与共享的目标，丰富网站内涵，进一步提升网站质量；调节功能是对网站的管理与应用等基本服务的落实情况进行调节，促进网站的精细管理。概括来说其核心价值是“如何体现网站对高校整体工作的支持”，具体体现在两个方面：

1.体现技术支持教育

教育信息化的本质是“技术支持教育”，技术性和教育性是教育信息化的两个基本属性，但教育性是本质属性。[3]从这个基本观点出发，高校网站建设作为教育信息化的重要内容之一，其根本目标就是使用信息技术搭建信息分享平台，支持大学发挥教书育人在内的四大职能。因此，网站评比应充分体现其技术性，但不能凸显技术倾向，使网站评比指标成为机械的技术标准，必须将其评比置于教育信息化的大视野下审视，这需要把握两点：一是对技术合理性的评价；二是对教育活动变革程度的评价，后者无疑是落脚点。

2.体现质性评价和定量评价相结合

质性评价与量化评价是相对的评价研究范式，质性评价对于揭示复杂情境下的事物特征具有优势，但易受评价者主观影响，量化研究具有直观、可测、科学的优势，易产生机械化、绝对化倾向，不能准确判断难以量化的复杂现象。[4]因网站评比涉及多个环节，很多领域的工作无法量化，不适用量化评价，而高校各个单位技术实力和可挖掘的资源量并不一致，因此在编制评比指标时，慎提定量指标、尤其是与网站资源量相关的指标，需要将质性评价和定量评价相结合，才能兼顾评比过程的可操作性和评价结果的效度与信度。

三、高校网站评比的指标体系设计

评比指标体系通常存在三种功能：描述评价对象的发展目标、当前状态、与目标的差距等，每一种功能将造成指标体系之间存在很大差异。因此，网站评比指标体系从功能上应该具有科学性、引导性和可操作性。指标的科学性就是要以科学的理论作依据，具有明确的目的指向；引导性是指应选择具有典型性、代表性的指标，从而有利于整体把握指标体系的导向；可操作性是要求在选择指标时应注重可控性，也就是明确指标的可量化程度和数据来源。为了科学设计网站评比的指标，笔者结合网站评比的对象，采用德尔菲法确定指标项，然后使用层次分析法明确指标权重的方法，建立了包含三级指标的高校网站评比指标体系。

1.评比的对象

高校网站评比的对象主要是由学校各单位建设，并在学校数据中心部署，公开或为校内提供信息服务的站点，如图1，按照网站内容类别，基本可以分为学校门户、机关院系网站、公共服务网站和教学资源专题网四类。

学校门户，是学校网上的形象展示窗口，主要作用是学校宣传和内部网站的导航，通常由学校信息化机构负责维护。

机关院系网站，是指学校党群和行政机关，教学院系等二级单位，及时公开部门工作动态，为社会公众提供相关信息查询、教育资源和业务办理服务的网站。

公共服务网站，主要为公众提供业务办理和信息，如新闻网、一卡通等。

教学资源网站，主要指展示学校办学特色，如教学、科研成果等的专业学科类或实验室、实验中心网站。

2.高校网站评比指标体系的预设计

由于各高校网站评比指标差异明显，目前没有相对一致的评比标准。因此，笔者采用因素分析法对评比指标体系进行预设计，这种方法可以将评价指标按照评价对象本身的逻辑结构逐级进行分解，把分解出来的主要因素作为评价指标。[5]根据高校网站评比的价值取向，指标体系应包括网站的整个生命周期，即网站建设、管理和应用的各个环节，同时为了兼顾各个类型网站的共性特征和特色应用，涵盖网站的关键内容，笔者咨询了西北大学教师和学生、学校教育技术中心网站管理人员、院系网站管理员，从网站普通用户、技术管理员和内容管理员三类对象对网站评比的指标进行咨询，按照量规评价的设计方法，首先将建设、管理和应用三个方面作为一级指标，在此基础上预设了高校网站评价标准的二级指标项，主要分为基础项和特色项，其色项为加分项目，可以促进网站的创新与应用，为参评单位自主填写。

如图2所示，网站建设方面重点评价网站的内容、页面（美术设计）和技术架构三个方面，除了网站基本要素齐全外，鼓励各单位设计特色栏目，网站管理方面重点考察管理员、管理制度和采取的特色措施，网站应用方面考虑网站客观的用户浏览量，学生的评价结果，教师的评价结果，以及特色的应用。

3.基于德尔菲法的指标体系完善

一级指标是规定网站评比的范围，二级指标突出了评价的项目，三级指标需要在二级指标的基础上加以量化。为了科学的构建评价指标体系，对一、二级指标项征求意见，并细化三级指标及其描述，笔者采用了德尔菲法（Delphi method）来确定各项指标，德菲尔法是指将预设方案匿名征询专家意见，并不断优化，待专家小组的意见趋于集中，最后得出较为科学的结论。[6]

（1）专家的选择

德尔菲法是建立在专家知识、经验及主观判断的基础上，需要科学选择评判专家，尽量考虑到专家来源的广泛代表性。笔者经与陕西省教育信息化研究中心协调，在陕西省教育信息化专家委员会的帮助下，选取了西安地区的七所211工程院校高校网络中心的信息化专家6名，技术人员或网站管理员8名，教师、学生各8名（每校师生各1人），合计30人作为指标体系的征询专家，30位专家基本代表了网站建设、管理和应用涉及的主要人员，他们具有丰富的网站开发和管理经验，对于网站质量的好坏具有相对明确的标准，同时也兼顾了用户使用网站的感受和体验。

（2）网站评比指标项的确定

笔者将预先设计好的网站评比指标模型细化成表格形式的指标体系初稿，分为3个一级指标、11个二级指标，三级指标请专家给出，并为每项三级指标制定详细的指标解释。然后以电子邮件形式发给30位专家，让其匿名对初稿进行判断，并提出三级指标和指标描述的修改意见。为了便于专家对指标项进行选择和完善，笔者发给专家一份判断标准，即让专家用A、B、C、D四个字母标识各个指标的重要性。其中A表示网站评比的必备指标，如果缺少将影响指标体系的完整性和准确性；B表示体现网站质量的重要指标，缺少之后评价标准将不够全面；C表示一般指标，可以丰富评价的维度和内容；D表示没有意义的指标项。

经过首轮咨询，专家对指标体系一级指标都无意见，且全部标A，对部分二级、三级指标提出了一些意见，对二级指标调整如下，网站建设的二级指标中增加功能设计，强调网站的服务功能，网站管理的二级指标中增加日常管理，强调网站内容的更新和日常安全检查。同时根据新修订的指标进行第二轮的征询，最终明确了24个三级指标和描述信息，基本确定了网站评比指标体系。但是为了防止评比中的一些不良行为，根据专家意见，增加了两项减分项，对弄虚作假或突击应付的行为进行扣分。

四、高校网站评比指标体系的权重确定

权重表明了各项指标的重要性程度，是对各项指标的量化处理，是确保评比科学性和合理性的杠杆。[7]本研究采用了AHP（层次分析法）来确定指标权重，此方法是对指标体系进行分析的一种层次化、结构化决策方法，具体操作步骤为：一是分析指标体系中同级指标的重要性，对同一层次各元素的重要性进行两两比较，构造判断矩阵；二是根据判断矩阵计算各个指标对于上一层指标的相对权重，并对判断矩阵进行一致性检验，如果检验不通过则需重新构造判断矩阵；三是计算各层次对于总目标的绝对权重。[8]

1.建立比较判断矩阵

使用AHP法确定权重，首先要建立两两比较判断矩阵，其目的是对同一层次指标进行两两比较并赋值，以确定其相对重要性，采用9级标度法给指标的重要性赋值，如表1所示，另外，两指标相比时，当一个指标相对与另一个指标的标度为m时，则另一个指标相对于这个指标为1/m。

上述两相邻判断的中值

将指标比较表连同前面所确定的网站评比指标体系一并发给30位专家，让其对指标的重要性进行判断。指标比较表收回后，对30位专家的比较表进行计算、分析和汇总最终得出了较为合理的指标比较表，如表2所示，A1表示指标项。表2和表3是对各个指标项的重要性的判断方法，其中表3为一级指标计算方法的示范，其他指标均按此方法计算。

2.权重的计算与量化

笔者采用层次分析法处理软件Yaaph计算权重，将层次模型和判断矩阵结果输入，软件就可以自动得到结果，一级指标的各项权重为W=（0.6023，0.2019，0.1958），二级和三级指标依次按此方法得出。但是，由于影响网站评比的因素众多，并且在决策者进行判断的过程中也会有误差，因此，为了保证网站评比指标的权重的准确性，需要对指标体系的判断矩阵进行一致性检验。笔者采用一致性指标CI，CI=，其中n为矩阵的阶数，λmax为矩阵的最大特征值，该数值通过matlab软件计算得到。然后计算一致性比例CR，CR，其中CR为一致性指标，RI为平均随机一致性指标，RI通过查找一致性比例检验临界值表得到，如表4所示。

根据以上计算公式，得出该指标体系的一致性比例系数为CR=0.0197

在网站进行评比时，比较直观的是百分制，而上述的权重是0到1之间的数值，为了便于操作，需将权重转换成百分制评分标准，结果如表5所示。其中需要说明的是，在特色项采用加分，但设定了加分的最大值，减分项设定了减分的最高值。

五、高校网站评比指标体系的试用

确定好网站评比指标体系的指标项和权重后，还需要通过实践验证，并加以修订，笔者将设计的指标体系在西安邮电大学信息中心2013年度网站评比中进行了试用，具体使用方法分为三个阶段，如图3所示。

第一阶段为搜集信息阶段：主要由学校信息中心向网站建站单位下发评比标准，然后由各单位按照评价指标填写基础项和特色项信息，学校开通网站评比专题网站，将网站信息进行公示。

第二阶段为评分审核阶段，组织专家针对各单位提交的网站信息进行审核打分，对特色指标项进行加分，对减分项查证属实进行扣分。其中网站应用指标的网站浏览量需要借助PIWIK软件，对各网站运行情况进行监控，统计网站的日访问信息。学生满意度和教师满意度来自学校面向师生的满意度调研。

第三阶段为总结公示，由学校信息中心对网站评比结果进行汇总，按照网站类型分别评出各类型网站的优秀网站若干，并网上公示结果。

结合实践和参评单位反馈意见，网站评比指标体系基本可行，但是对学校特色的体现不够，因此可以增加体现学校的特色项，同时为了鼓励创新，增加了特色项的分值。

六、小结

网站评比是促进高校提高网站质量的有效手段。本指标体系是建立在普通高校网站共性信息的基础上，同时又兼顾了网站特色信息，可供高校网站评比使用，但是在应用中，各高校可以根据学校实际增加特色项，使评价的结果更加准确科学。

参考文献：

[1]包泰民，赵定翠.高校网站建设新思路探析[J].软件导刊，2011（3）：130-131.

[2]刘新平，刘存侠.教育统计与测评导论[M].北京：科学出版社，第1版，2008.

[3]赵晓声.教育信息化服务的内涵、层次与现实发展――对教育信息化本质的新认识[J].中国电化教育，2012（7）：33-37.

[4]蔡F君，刘仁云.计算机辅助教育测量与评价[M].中国水利水电出版社，第1版，2010.

[5]Wen-Chih Chioua， Chin-Chao Linb， Chyuan Perngc. A strategic framework for website evaluation based on a review of the literature from 1995-2006[J]. Information & Management.2010，（8）： 282C290.

[6]MA Z，SHAO C， MAS， et al. Constructing road safety performance indicators using Fuzzy Delphi Method and Grey Delphi Method[J]. Expert Systems Appl.2011（1）：22-29.

[7]温雪梅.远程高等教育教师能力评价体系：基于改良的德尔菲指标权重法[J].大学教育科学，2012（1）：71-74.

[8]孙雨等.运用层次分析法构建高校网站评价指标体系[J].中国远程教育，2011（12）：45-48.