基于ISOCS的培训效果反应层面评估方法研究与应用

摘要：反应层面评估是目前常用的培训效果评估方法，而反应层面评估的主要工具是问卷调查，而结合了ISOCS（用户满意与用户满意度）的问卷调查通过召开用户座谈会来收集用户对于培训工作的意见，进而根据这些意见来生成调查问卷，并进行问卷调查。通过ISOCS问卷调查可以有效地将传统的定性问卷调查转化为定量的数据分析，确保培训效果评估工作的有效性和科学性，为培训工作的顺利开展提供有力的支持。

关键词：培训效果评估；用户满意与用户满意度；问卷调查

作者简介：朱健（1971-），男，满族，辽宁北镇人，沈阳航空职业技术学院院长助理，副教授；李萌（1972-），男，辽宁铁岭人，沈阳航空职业技术学院教研督导处，副教授。（辽宁 沈阳 110034）

基金项目：本文系辽宁省教育科学“十一五”规划2010年度立项课题（课题编号：JG10EB028）的研究成果。

中图分类号：G726  文献标识码：A  文章编号：1007-0079（2011）36-0043-02

培训工作中极为重要的一个环节就是培训效果的评估，因为要衡量某一培训项目是否达到预期的效果，就要对培训活动的效果和实际影响进行系统的考察，以便找出受训者有哪些收获与提高，从而完成对培训工作的考核，并总结成败得失的相关经验，对以后的培训工作加以改进。而使用正确的方法和工具，对于圆满完成培训效果的评估工作就显得至关重要，如果评估的方法和工具选用不当，就会使评估结论出现偏差甚至错误，从而影响后续培训工作的开展。

一、反应层面评估方法

目前，国内外运用的最为广泛的培训效果评估模型，是由美国学者柯克帕特里克（Kirkpatrick）于1959年提出的培训效果四级评估模型。该评估模型将培训效果的评估分为反应层面、学习层面、行为层面和结果层面四个层次，其中反应层面评估应用最为广泛。

反应层面即受训者的反应，就是在培训结束时，通过调查了解受训者在经过培训后总体的反应和感受，反应层面评估的主要方法是问卷调查。

但反应面的评估也存在着严惩的不足：首先，其数据是主观的，并且是建立在受训者在测试时的意见和情感之上的，个人意见难免会造成评定分数有偏差；其次，有些受训者为了照顾情面，即使对该培训有不好的印象也不会打低分，从而使信息的反馈失去客观性，进而影响评估结果的有效性。

二、基于ISOCS的培训效果反应层面评估方法

ISOCS（Ideas and Statistics Operation of Customer Satisfaction，用户满意与用户满意度）是指产品的供应方通过调查用户对所购买使用的产品或服务的满意程度来确定所提品或服务的质量，并根据所收集的信息进行质量改进，从而达到用户满意的目的。①培训作为一种服务产品，同样可以通过调查用户即受训者的满意度来确定培训的质量，也就是对培训效果进行评估，从而实现对培训工件的改进。根据ISOCS的理念，将受训者看作用户，培训项目要能够使接受服务的用户即受训者感到满意，并采用特定的方法和手段来对用户的满意度进行统计分析。基于ISOCS的培训效果反应层面评估（即满意度）调查可分为问卷设计、问卷调查和问卷分析三个阶段。

1.问卷设计

这个阶段是最为重要的一个阶段，问卷设计的好坏决定着问卷调查的效果。这一阶段主要分以下三个步骤进行。

（1）召开用户座谈会。收集用户对于培训项目的意见，包括对培训项目的总体感觉以及培训的时间、地点、内容、师资、后勤服务等各个方面。召开用户座谈会的目的是为了收集受训者对于培训项目的意见，而在ISCOS下，收集的主要是负面的意见，即用户对于培训项目存在的不满之处甚至包括抱怨。在进行用户座谈时应注意：参加座谈的用户人数不宜过多，控制在10人左右，如果培训项目规模较大，则可以召开多组座谈会，每组10人。每组另设1名主持人和1名记录员；主持人对于用户的不满和抱怨不要进行任何形式的解释和辩解，也不必马上表态解决，否则会使参与座谈的用户对于组织者的诚意产生怀疑，就难以做到畅所欲言，从而无法充分收集到所需要的信息；主持人要注意把握会议气氛，并掌握适当的问询用语，对用户进行正确的诱导，使其将意见和想法充分地表达出来。

（2）用户意见的整理。将用户的意见进行整理，剔除一些不合理的意见，然后将问题依次列出。下面是根据某公司某工程软件培训项目召开用户座谈会所征集的意见汇总：有些培训的内容在工作中未接触过，希望能讲得细一些；关于软件在实际应用中的演示太少；教材内容较深，很多地方看不懂；老师有时讲得太快，跟不上；学员较多而只有一名教师，辅导上机忙不过来；教师讲课声音小，听不清；有时向老师请教问题时，老师显得有些不耐烦；年纪大的人与年轻人在一起学习感觉不适应；培训课程有时与工作时间冲突，不得不缺课；培训课程学时数有些少，希望能增加课时；教室灯光有些暗；学员上机要自带鞋套，不太方便。

（3）根据用户的意见设计调查问卷。用户的意见其实表达了他们对于培训项目的意见和看法，通过一定的手段。将用户的每间一条意见都可以转化为调查问卷的一个问题，再适当加入一些对总体看法调查的问题，就可以得到一张调查问卷了。

在将用户问题进行转化的过程中，要注意以下问题：调查问卷的回答一般有2分法、3分法、4分法、5分法和10分法，ISOCS问卷采用10分法，这是为了便于进行后续的数理分析；问题中要避免出现“是否……”等字样，因为如果这样提问，则回答只能是“是”或“否”，不符合10分法的要求；有时用户提出的抱怨是较个别的事件而且难以转化成问题，这时可以将事实列出，然后再询问答卷者的感受即可。

下面是根据目座谈会所征集意见所设计的调查问卷：

问题1：如果在培训中对于工作中未接触过的内容讲得细一些，对此你的感觉如何？（非常不满意为1分，非常满意为10分）

问题2：你对关于软件在实际应用中的演示内容的数量安排感觉如何？（非常不满意为1分，非常满意为10分）

问题3：你对教材内容难易程度的感觉如何？（非常容易为1分，非常难为10分）

问题4：你对教师讲课的速度感觉如何？（非常慢为1分，非常快为10分）

问题5：在上机练习并需要教师辅导时，你对教师数量的配备感觉如何？（非常不满意为1分，非常满意为10分）

问题6：你对教师讲课时的音量大小感觉如何？（非常不满意为1分，非常满意为10分）

问题7：你对于教师在回答学员提问时的态度感觉如何？（非常不满意为1分，非常满意为10分）

问题8：你对于将不同年龄段的编入同一培训班内的做法有何看法？（非常不合适为1分，非常合适为10分）

问题9：培训课程的时间安排有时与工作时间冲突，对此你的感受如何？（非常不满意为1分，非常满意为10分）

问题10：你对于培训课程的学时数量安排有何感觉？（学时非常少为1分，学时非常多为10分）

问题11：你对于培训教室的照明条件感觉如何？（非常不满意为1分，非常满意为10分）

问题12：如果学员上机要自带鞋套，对此你的感觉如何？（非常不适应为1分，非常适应为10分）

问题13：你对本次培训的总体感觉如何？（非常不满意为1分，非常满意为10分）

2.问卷调查

针对上面提到的培训项目在培训结束后共对100人进行了问卷调查，在受访者填写完问卷后统一收回进行整理，为下一阶段和工作做好准备。

3.问卷分析

问卷的分析运用数学工具和饼图、直方图等图形工具对数据进行有效和直观的分析，问卷结果统计如表1所示。

根据表1的数据进行作图分析。这里需要注意的是，由于问卷的问题采用的是10分法，在一些询问某种感觉的问题时，1分和10分分别代表感觉的正负两个极端，因此5-6分就代表“感觉一般”或“无所谓”。

（1）根据问题1的统计结果做出直方图（如图1），可以看出图形呈向右侧的偏态分布，说明受访者希望对于工作中未接触过的内容讲得详细一些，这对于培训课程的内容设置具有重要意义。

（2）根据问题2的统计结果做出直方图，图形近似为围绕中间值的正态分布，可以看出受访者认为培训课程中关于软件在实际应用中的演示内容安排不够多，因此应适当增加这方面的内容。

（3）根据问题3的统计结果做出直方图，图形在7分位置为峰值的向右侧的偏态分布，说明多数受访者对于教材内容难易程度感觉适中。

（4）根据问题4的统计结果做出直方图，图形为双峰分布，这是由于受访者的接受能力不同而造成的，本次参加培训的人员年龄结构和知识层次存在差异，因此在后面的培训中应注意到因材施教。

（5）根据问题5的统计结果做出直方图，图形在6分以下分布较平直，说明有少量的受访者在上机练习时感觉教师数量的配备不足，可以考虑在上机练习时配备辅导教师。

（6）根据问题6的统计结果做出直方图，图形平缓无明显峰值，这是由于座位位置的不同而造成对教师授课音量的感受存在判别，又因为无高分选项，可以看出教师授课音量偏小，可以考虑选用大扩音设备。

（7）根据问题7的统计结果做出直方图，图形为以7分位置为中心有近似正分布，右侧稍高一些，说明在整体上受访者对于教师在回答学员提问时的态度比较满意，但有较少比例的受访者感觉不太好，应提醒培训教师注意这一部分人的感受。

（8）根据问题8的统计结果做出直方图，图形为双峰分布，说明将不同年龄段的受训者编入同一培训班的做法是不妥当的，会造成不同年龄段的受训者的学习效果出现差异，影响培训的效果。

（9）根据问题9的统计结果做出直方图，图形为双峰分布。打分较高的峰值所代表的人群为培训课程的时间安排与其工作时间没有冲突的；而打分较低的峰值所代表的人群为培训课程的时间安排与其工作时间存在冲突，在安排培训时间时应充分考虑这一部分人的实际情况。

（10）根据问题10的统计结果做出直方图，图形为双峰分布。这是由于受访者授受能力的不同造成的，接受能力强的人认为学时足够，打分较高；而接受能力低的人认为学时不足，打分较低。在开办培训课程时要将这两类人分开进行教学，学时也有所不同，后者参加的培训课程学时相应要多一些。

（11）根据问题11的统计结果做出直方图，绝大多数受访者打了9分，说明培训教室的照明条件是满足要求的。

（12）根据问题12的统计结果做出直方图，图形为以5分位置为峰值的偏态分布，5分右侧无打分，说明受训者对上机自带鞋套感觉不方便，建议在机房为受训者提供鞋套。

（13）根据问题13的统计结果做出饼图，可以直观地算出各项打分选择的比例。同时做出直方图，图形为偏态分布，高分部分峰值较高，说明大部分受访者对本次培训总体感觉满意。

从上面的分析可以看出，通过对问卷调查结果进行有效的统计分析，可以对培训的效果做出有效的评估，并能够提供改进的意见和建议，为培训工作质量的提高做出贡献。

三、结论

根据上述的实践研究，引入了ISCOS理念的培训效果反应层面评估可以有效地提高评估工作的水平，通过将定性的问卷调查转化为定量的数据分析，确保培训效果评估工作的有效性和科学性，为培训工作的顺利开展提供有力的支持。

注释：

①段学良,王旭辉,宋晓砚.用户满意与用户满意度深度培训教程(第八版)[M].2004.

参考文献：

[1]杨凤仙,张黎青.几种培训效果评估模型的对比分析[J].中国电力教育,2008,(S3):228-229.

[2]马旭玲.基于柯氏评估模型的部门行业教育培训效果评估指标体系设计研究[J].科协论坛,2011,(9):148-149.

[3]江帆.浅谈企业培训效果的评估[J].管理工程师,2011,(4):34-35.

[4]程亚辉.五层培训效果评估法的创新研究[J].石油教育,2010,(5):8-9.

[5]刘忻.我国企业培训效果评估研究[D].长沙湖南师范大学,2010.

[6]张波.企业培训效果评估体系及评估模型的构建[J].中国校外教育,2010,(8):131.