创业教育效果评价方法研究

时间:2022-06-05 08:20:50

创业教育效果评价方法研究

[摘要] 创业教育效果评价方法的选择,是影响评价结果有效性的重要因素。通过文献研究发现,没有设置对照组,或对照组选择不当,都无法测度创业教育项目的真实效果。而采用纵向的随机分组实验或配对实验较为严谨,这两种方法通过设置对照组,排除了“自我选择效应”和“跨时期其它因素”对实验结果的影响,使研究结果的归因更为精准,并且与创业教育的“时滞效应”相匹配,通过长期跟踪,能有效地评价创业教育项目的终极效果。该研究的发现对科学地选择评价方法、改进创业教育,具有重要的指导意义。

[关键词] 创业教育项目;随机分组实验;配对实验;自我选择效应;时滞效应

[中图分类号] G40-034 [文献标识码] A [文章编号] 1674-893X(2012)06?0011?04

在过去20多年里,创业教育项目(Entrepreneurship Education Programme,EEP)在许多国家得到快速发展,这对改善创业者素质,提高创业成功率,从而实现创新,对加快经济增长和创造工作机会具有重要作用[1]。准确地评价EEP的效果,能激发创业教育项目创新,改善项目内容,预测项目结果,提高其有效性[2],因而引起了许多学者及相关政策制定者的重视。而评价方法的选择,是影响EEP效果评价有效性的重要因素之一[2]。选择恰当的评价方法,能够提高EEP效果评价的准确性。相反,选择不恰当的方法,产生的评价结果与现实不符,不仅会对EEP的效果认识不清,甚至会对以后的项目建设产生误导作用,阻碍创业教育的有效发展。

目前,EEP效果评价在研究方法设计上存在很大的缺陷[3]。如在以往的研究中,事后评价占主导地位,缺乏前测与后测的比较;没有设置对照组,缺乏对比研究;研究的时间跨度小,导致纵向研究数据的缺失等。因此,有必要在前人研究的基础上,对EEP效果评价方法的有效性进行分析,探索更为有效的评价方法。如何选择目标群体?实验组与对照组中的被试该如何分配?如何控制实验条件,避免其他因素对实验结果的干扰?这些都是探索的重点,也是实证研究的关键,决定了EEP评价结果的有效性。

一、EEP效果评价方法实例分析

在创业教育效果评价研究中,根据选择目标群体的准确程度,可以将研究方法大致分为三类:一是没有设置对照组;二是设置了对照组,但对照组中被试选择不当;三是随机分组和配对试验。三类方法的有效性分析如下。

1. 无对照组

大部分调查研究和其他非实验方法,都没有设置对照组,研究者仅仅通过对接受过创业教育的目标群体进行前测与后测,分析其在创业态度、创业感知或创业能力等方面的变化,从而得出评价结果。

如在Dutta等人[4]的研究中,通过对美国某重点大学中接受过创业教育的校友进行实地调查,研究专业化、多样化的创业教育对参与者“创业可能性”和“财富积累量”的影响;Matlay[1]对一群立志成为企业家,承诺将来要创业,并接受过创业教育课程的学生进行长期跟踪访谈,研究EEP对“创业感知”“创业知识”和“技能水平”的影响;Fayolle等[5]对法国工程学院选修了创业教育课程的学生进行短期创业教育培训,研究培训前后其“创业意向”和“感知行为”的变化。具体情况如表1所示。

以上研究的共性是,没有设置对照组,这势必导致“归因”的困难。首先,在这三个研究中,参与者自愿选修创业教育课程,会存在“自我选择效应”。“自我选择效应”是指,个体自己选择进入群

体,使得群体之间产生了差异。在接受创业教育前,自愿选修创业教育课程的学生在创业兴趣、创业信心、创业知识以及技能等方面,超过了平均水平,其最终的创业绩效很可能是由本身的创业特征产生,而不能简单地归因于创业教育;其次,Dutta和Matlay的研究分别持续了21、10年,在此期间,除创业教育外的其他因素,可能会影响参与者的创业绩效,由于没有对照组进行对比研究,这些额外影响不能被剔除。

总之,由于“自我选择效应”和跨时期其他因素的影响,无对照组的研究设计使结果无法正确地归因于创业教育,EEP效果评估的有效性受到质疑。

2. 对照组中被试选择不当

在EEP效果评价的实验研究中,被试分为两组:一组为实验组,一组为对照组。实验时,实验组被试接受创业教育培训,对照组仅作为参照,不对其进行任何与创业有关的干预;实验后,将两组被试的创业绩效进行对比分析,研究创业教育的影响。在实验研究中,虽然设置了对照组进行对比研究,但是,如果对照组中被试选择不当,同样会影响研究结论的有效性。

如在Lee等人[6]的实验中,选取来自美、韩两国两所大学的学生作为被试,分析创业教育在不同创业文化背景下的影响差异;Menzies[7]设计实验,对一群从加拿大某高校毕业的学生进行研究,调查其职业生涯、创业经历、所有财产和绩效,以及对创业教育的满意度。具体实验设计情况如表2所示。

在这两个实验中,虽然都设置了对照组,但其被试的选择并不合理。在Lee等人的研究中,两组被试既没有进行匹配,也没有进行前测,因此,被试本身的创业兴趣、知识和能力等方面,可能存在显著性差异;在Menzies等人的研究中,实验组被试自主选修创业教育课程,被试自我选择进入实验组,会导致两组被试本身的创业特征存在差异,此时,实验结果无法严格地归因于实验条件(是否接受创业教育),研究结论的内部效度低。

3. 随机分组实验和配对实验

随机分组实验,是将所有报名参加创业教育的学生随机分为两组,一组参加培训,另一组不参加培训。大部分的评价研究,都是非随机地将研究对象分配到实验组和对照组中,这种非随机的分配产生了许多系统性问题,如被试存在未观察到的异质性,“自我选择”和实验员的选择偏见等[8]。而随机分组实验,排除了被试“自我选择”以及实验员“选择偏见”等因素对分组的影响,从而保证了两组被试在实验前其相关的创业特征无显著性差异。因此,是否将被试随机地分配到实验组和对照组中,成为评判一个研究设计好坏的重要标准[9]。

配对实验,是将学生分为实验组和对照组,并且实验组中的每一位学生在对照组中都有另一位学生与之配对,对照组被试除了没有接受创业教育外,其他与创业有关的特征都与实验组被试相匹配。如,Oosterbeek等[10]使用倍差法,对SMC(student mini-company)项目效果进行研究,分析SMC对大学生创业技能和动机的影响。其中“倍差法”是指,将培训前后比较与配对相结合,计算实验组在接受训练前后相关创业绩效的平均差异,减去对照组在相同时间段产生的平均差异,从而推断出SMC项目的效果;另外,Charney[11]设计了一个配对实验,对“柏杰创业教育项目”进行评价,研究该项目对学生的创业绩效以及课程发展的影响。具体情况如表3所示。

在Oosterbeek等人的研究中,使用倍差法对实验进行前后测。在两个不同的校区中,将选出的样本进行配对,保证了除有无接受创业教育外,其他创业相关特征无显著性差异,保证了对项目影响的公正评价(无偏估计);Charney等人设计的实验中,对两组被试与创业有关的社会经济特征进行配对,通过控制这些个体特征,有利于研究创业教育的边际效应。

二、探索有效的研究方法

通过相关文献分析可知,由于存在“自我选择效应”、跨时期开放环境下其他因素,以及创业教育“时滞效应”的影响[12],只有通过严密的实验设计,准确地选择被试,严格地控制实验条件,才能发现EEP的真实效果。

1.“自我选择效应”

当个体自己可以选择进入群体时,由于“自我选择效应”,使得在实验前,不同群体之间本身就存在差异。当给这些群体设定不同干预时,所产生结果之间的差异,很难判断是因干预不同所致,还是群体间本身的差异所致。这是社会科学研究中的一个重要问题,会导致决定因果关系的困难。

在具体的EEP效果评价研究中,如果实验组中的被试自己选修创业课程或者决定参与EEP,而对照组中的被试没有选择参与相关的创业教育活动,被试的自我选择会使EEP的效果不能准确地归因于创业教育,从而导致研究结论无效。这不仅会曲解EEP的真实效果,而且会抑制今后EEP的发展。因此,在实验设计时,必须准确选择对照组,才能有效地排除“自我选择效应”对研究结构的影响。

2.“跨时期、开放环境,其他因素的影响”

参加过EEP的创业者,是在一个开放环境下创办他们的企业的,社会、经济、政治等其他因素会对其创业绩效产生影响。如金融危机会抑制他们的创业行为;若国家加大对创业的支持力度,则会加快其创业步伐,并获得较高的创业绩效。在那些研究对象为只有接受过创业教育的学生的研究中,这些影响是无法通过控制实验条件来排除的。

解决这类问题,首先要考虑设置对照组。在实验过程中,实验组与对照组处于完全相同的环境中,同时受到跨时期开放环境下其他因素的影响,两组被试的最终创业绩效的差异排除了这类因素的影响。其次,要在实验开始时,对被试进行随机分组或者配对,排除被试之间本身存在与创业有关的个体特征差异。随机分组实验或配对实验能使研究结果不受实验所控制的其他条件的影响,从而形成正确的归因。

3.“时滞效应”

创业教育存在一个统计学规律——“时滞效应”,即指学生接受创业培训项目后,需要一段时间的积累才会真正实施创业,创业教育与创业行为之间存在“时滞”,大约有10年左右的时间间隔[12]。

如在Fayolle[5]的研究中,通过对学生进行长达10个小时的创业教育培训,并在培训结束后通过问卷调查测量其“创业意向”和“感知行为”的变化。该研究经历的时间很短,由于存在“时滞效应”,通过这种横断式调查无法得出创业教育的长远效果。因此,要准确地了解创业教育产生的影响,在进行实验设计时,应当充分考虑“时滞效应”这一规律。横断式调查法只能测量创业教育的短期指标,而这种短期影响能否持续下去,或者是否存在一些在短期内无法测量到的影响,这都需要对EEP的参与者进行长期的跟踪调查。如Dutta[4]的长期问卷调查和Matlay[1]的长期电话访谈,这两个研究分别历时21、10年,这种纵向研究能够在较长时间内,追踪创业教育给被试带来的长期影响。因此,该研究方法将在EEP效果研究领域得到普遍的应用。

综上可知,评价EEP效果的比较合理的方法是纵向设计的随机分组实验或者配对试验。实验组和对照组中的被试可以由以下两种方法构成:一是对报名参加了EEP的学生,随机分为实验组和对照组;二是在培训项目开始前,对两组成员与创业有关的社会经济特征进行组合配对,保证两组被试的这些个体特征在实验前无显著性差异。这两种评价方法使实验组和控制组的差异严格控制在“是否接受创业教育”这一变量上,归因具有较高的准确性和说服力。

三、结论

目前关于EEP效果的研究,方法论上的不足主要表现在三个方面:第一,没有设置对照组,由于“自我选择效应”和跨时期开放环境中“其它因素的影响”,会产生归因困难。在实验过程中,被试很可能会受到社会、经济和政治环境变化的影响,而改变其创业行为,因此,这会造成研究结果的“归因”困难,很难判断“创业行为”是创业教育引起,还是由环境中的其他因素所引起。

第二,实验组与对照组中的被试选择不严谨,不能排除“自我选择效应”。如果被试是自己选修创业教育课程,其创业意向、创业综合水平在接受创业教育前,很可能本身就超过了平均水平。这将导致实验结果的差异,无法严格地归因于是否接受创业教育,很可能是样本本身的差异所致。

第三,长期效果短期检验。短期的横断式调查,只能检验创业教育的短期效果,如创业知识与技能是否增长。由于创业教育存在着“时滞效应”,“创办企业”是创业教育的长期效果,横断式调查无法测量EEP对被试的长期影响。

通过对不同的研究进行比较分析可知,有对照组的纵向设计随机分组或配对实验是评价EEP效果的两种有效的方法。通过准确地挑选被试,设置对照组,并进行严格的前测和后测,及组间、组内测量,产生的研究结果反映了EEP的真实效果。这对正确理解创业教育的作用、提高创业教育的效率与效果有一定的指导意义。

参考文献:

[1] Matlay H.. The impact of entrepreneurship education on entrepreneurial outcomes[J]. Journal of Small Business and Enterprise Development, 2008,15(2): 382-396.

[2] Hills G., Morris M.. Entrepreneurship education:A conceptual model and review[C]// Educating Entrepreneurs for Wealth Creation. Hants:Ashgate Publishing Ltd,1998:38-58.

[3] Gorman G., Hanlon D., King W.. Some research perspectives on entrepreneurship education, enterprise education and education for small business management: A ten-year literature review[J]. International Small Business Journal, 1997, 15(3): 56–77.

[4] Dutta D. K., Li Jun, Merenda Michael.. Fostering entrepreneurship: Impact of specialization and diversity in education[J]. International Entrepreneurship and Management Journal, 2011, 7(2): 163–179.

[5] Fayolle A., Gailly B., Lassas-Clerc N.. Assessing the impact of entrepreneurship education programmes: A new methodology[J]. Journal of European Industrial Training, 2006, 30(9): 701-720.

[6] Lee S. M., Chang Daesung, Lim Seong-Bae. Impact of entrepreneurship education: A comparative study of the U.S. and Korea[J]. International Entrepreneurship and Management Journal, 2005, 1(1): 27-43.

[7] Menzies T. V., Paradi J. C.. Entrepreneurship education and engineering students career path and business performance[J]. International Journal of Entrepreneurship and Innovation, 2003, 4(2): 121-132.

[8] Johansen, V., Schanke, T., Clausen, T.. Entrepreneurship education and pupils’ attitudes towards entrepreneurs[C]// Entrepreneurship- Born, Made and Educated. Croatia: In Tech, 2012:113-125.

[9] Wooldridge J. M.. Introductory econometrics: A modern approach[M]. Natorp Boulevard Mason,USA:South-Weatern College Publishing, 2006.

[10] Oosterbeek H., Praag Mirjam van, Ijsselstein A.. The impact of entrepreneurship education on entrepreneurship skills and motivation[J]. European Economic Review, 2010, 54(3): 442-454.

[11] Charney A., Libecap G. D., Center K. E.. The impact of entrepreneurship education: An evaluation of the Berger Entrepreneurship Program at the University of Arizona, 1985-1999[R]. Arizona: University of Arizona,2000.

[12] 沈超红,陈彪,陈洪帅. 创业教育“时滞效应”与创业教育效果评价分析[J]. 创新与创业教育,2010,1(4):3-7.

上一篇:探索高校计算机教育的改革 下一篇:研究性教学法的创新应用