开创国内职业教育实证研究新范式

三阶段接力 成就严谨研究

本次课题研究分预测、测评、数据处理与分析总结等三阶段。

首先是预测阶段。

2012年4月，课题立项后，课题组立即界定研究问题、确立研究目标、选择理论支持和方法技术、设计测评模型与测评方案、开发预测评试题、对预测院校人员开展培训；6月，在3所院校的4个专业实施预测评；6月，完成改卷、数据处理和预测评分析总结，形成预测评报告；7月，课题在广州大厦开题，在职业能力建设司领导、课题论证专家的悉心指导下，课题组修定了研究设计，为正式的学生职业能力测评工作奠定了基础。

其次是测评阶段。

测评模型与内容设计方面——2012年7～9月，依据开题意见修正本研究问题为学校人才培养与企业人才需求的契合度，研究目标是检测一体化课改试点工作的效果，理论支持是一体化课程理论（包括设计导向的职业教育思想、一体化课程理论和一体化课程开发技术规程）和职业能力测评COMET理论（德国不来梅大学菲利克斯﹒劳耐尔教授领导的一个起源于德国的国际职业能力大规模测评研究项目）。

测评设计以学生职业能力测评形式展开，以符合职业的典型工作任务要求、体现中级工的特征（测评样本的学习阶段）、体现学习者和职业教育的特征为原则；三维测评模型设计为由初级工到高级技师的职业内容维度、完整工作过程伴随职业素养的职业行动维度和职业能力的三级水平维度，从职业人的职业效度而非从课程效度的视角来评价学生的职业能力与职业素养，遵循学习者的认知规律、由初学者到专家的职业能力发展规律以及特定工作领域的能力特征、技术标准和社会规范，对学习者是否达到教育目标和职业规范的要求进行大规模测试。

图 学生职业能力测评模型与测评方案

将测评内容设计为分专业的职业能力测评和学习情况调查。能力测评采用真实任务，要求被试者以符合职业要求的专业态度和方式方法在纸笔测评中独立编写测评任务的解决方案，全面细致地阐述采取方案的理由，记录任务完成过程和结果且说明理由，并用实操测评的方式实施、检验与评价这个方案，从而形成一个完整的职业行动过程。

测评样本确定方面——由人社部职业能力建设司技工教育管理处依据2009年试点院校专业开设是否有对比班和测评期间学生实习地点情况，确定了试点专业被测院校的15个教学班级。

测评过程监控方面——人社部职业能力建设司下发文件，课题组制定工作指引，组织了被测院校管理者的培训。被测院校严格执行了企业和其他院校考评员聘请的要求，由当地职业技能鉴定部门负责考场监控，并进行全程录像，确保了考评过程的客观性。

课题组进行了5个专业6份样题和10套学生职业能力测评试题及1份调查问卷的开发，提交人社部审核。2012年10月19日起，5所院校4个专业试点班和非试点班共计495名学生，采用A、B卷交叉发放实施测评和问卷调查（机加工专业没有合适的测评样本，故未施测）。

第三是数据处理与分析总结阶段。

2012年10月后，组织阅卷与数据统计分析，启动报告撰写与内审，2013年3月22日课题结题。

数据统计依据4个专业测评试题的评分标准，对试题中每一个评分点的得分情况从四方面逐项开展统计。共统计371个评价点，生成67225个数据、195个图和132个表，形成约30万字的测评总报告、调查问卷报告与4个分专业报告及5所测评院校15个教学班的成绩报告、495名学生成绩报告。数据准确，图表详实，行文严谨，内容客观，结论可信。

攻克三大难点 创新研究过程

难点一：职业能力测评模型的建立。

建立一个跨职业领域的职业能力测评模型是面临的首要挑战。本研究以“COMET三维职业能力模型”为基础，但该模型用纸笔测试方式只测评学生的认知潜能，而本课题的研究问题是测评学生的职业行动能力，包括纸笔和实操两部分测评，这就需要对COMET测评模型这一国际前沿理论创新应用。为此，课题组构建了由职业内容维度、职业行动维度和职业能力维度组成的测评模型。在职业内容维度上，依据中级工测评对象水平，以程序性任务为主；在职业行动维度上，职业素养伴随从明确任务/获取信息、制定/确定方案、实施/检查控制到评价反馈的职业工作过程；在职业能力维度上，以功能性能力为主，适当考虑过程性与设计能力。

难点二：职业能力测评试题的开发。

开发一套跨专业的符合测评模型的一组测评试题是又一挑战。COMET职业能力测评是以职业的典型工作任务为基础，是设计完成典型工作任务解决方案的纸笔测试形式。而本研究测评试题为保证测评的科学性、客观性，对5个专业均设计了A卷、B卷两份试题，测评时交叉发放给学生，采用真实任务，要求被试者在纸笔测评中独立编写测评任务的解决方案，全面细致地阐述采取方案的理由，记录任务完成过程和结果且说明理由，并用实操测评的方式实施、检验与评价这个方案，从而形成一个完整的职业行动过程。如何让测评模型与测评原则充分反映在不同专业的试题中？如何保证同一专业两份试题的等值性？如何涵盖职业行动与职业素养要求来设计纸笔与实操测评试题？这些都是非常大的挑战。

难点三：测评数据分析维度的设计。

设计一套跨专业的符合测评模型的分析处理方法是第三个挑战。如何对8份正式测评试题的371个评分点的数据进行分类分析？课题组紧紧围绕“学生综合职业能力培养与企业职场综合职业能力要求是否匹配”的研究目标，创新性地设计了数据分析的四个维度：测评总分、纸笔测试与实操测试试点班与非试点班的对比情况分析；职业行动维度的对比情况分析；纸笔测试综合职业能力的对比情况分析；纸笔测试的设计与实操测试的实施和评价等若干项目的相关性统计。数据处理方法是数据的科学性、严谨性的重要保障。本研究的数据采用SPSS 18.0软件包进行分析，设计检验指标有：平均分、平均得分率、标准差、t值、F值、显著性和均值的标准误等。

两大因素给力 开创研究新范式

第一，成功归于结构合理、运作高效的科研团队。

本课题组由领导小组、科研顾问组、企业专家组、课题研究组、五个专业组和数据统计组等组成，本课题研究取得成功的重要基础是研究团队的结构合理、运作高效。课题研究组的核心成员有着丰富的一体化课改课题研究经验和大规模测评经验，能充分保持良好的沟通，按照领导小组的要求来完成命题式课题研究，顺利推进研究进展；能充分发挥科研顾问组、企业专家组的指导作用；能科学高效管理着来自7所院校的19位不同专业教师组成的5个专业小组；能充分沟通以确保数据统计小组工作的科学严谨。这些都是本课题研究中碰到的新问题、新挑战、新经验。在广州市职业技术教研室的统筹和精心组织下，课题组敬业爱业、凝心聚力，充分发挥团队的合力作用，课题研究成果实现了预期的效果。

同时，成功来自对被测评院校的高效沟通与科学管理。本次预测评3所院校4个专业、正式测评5所院校4个专业，涉及19个教学班，区域跨度大，专业差异大，学校间软硬件条件、测评组织管理能力参差不齐，一体化课改实施的水平不一，给测评的组织管理带来了挑战，科学的过程控制设计非常重要。在人社部职业能力建设司技工院校管理处、广州市人社局的领导下，课题组培训考务人员，考场工作准备要求等指引文件，实施过程监管等方式，确保了测评的科学性和客观性。

第二，成功归于理论实践、探索检验的有机结合。

在本课题研究中，理论与实践、探索与检验的有机结合是课题研究取得成功的重要保障。2009年以来，人社部积极推进一体化课程教学改革工作，采用了设计导向的职业教育思想和一体化课程开发技术，这些都是国际职业教育最前沿的理论方法。在国内专家的指导下，经过整体设计、精心策划，全国30所试点院校5个专业的中级工学生开展了两年教学实验的探索，紧接着才可能提出科学评价学生综合职业能力水平的检验问题。

而破解问题采用了开放的职业效度方式，即职业人在职业情境中的综合职业能力与职业素养要求，分为预测评和正式测评两个阶段，选取611位学生作为检验样本，采用国际前沿的职业能力测评技术，委托第三方的评价方式，而非简单、常规、封闭式的经验总结方式。本研究以科学理论方法为基础，用统计检验数据为载体，用行动导向的实验实践为过程，是理论思想、测评模型、方法技术与教学实验、测评实践、研究实践的完美融合，在对全国技工院校一体化课改工作作出科学评价的同时，开创了国内职业教育实证研究的新范式、新篇章。