一般能力倾向测验的预测效度:神经网络的应用

时间:2022-10-21 04:21:55

【前言】一般能力倾向测验的预测效度:神经网络的应用由文秘帮小编整理而成,但愿对你的学习工作带来帮助。人工神经网络(Artificial Neural Network, ANN)是近年来发展起来的一门新兴学科、新技术。它应用了一种信息处理系统或计算机模仿大脑的结构和功能,可称之为人脑处理信息方式的简化模型[4]。ANN今天已经成为世界关注的热点,引起各国政府与军界的高度重视。 目前人...

一般能力倾向测验的预测效度:神经网络的应用

摘要:本研究运用神经网络检验了一般能力倾向成套测验(GATB)对不同学科大学生专业成绩的预测效度。对1022名大学生均施测GATB,并随机选取其中652名,将其期末专业考试成绩作为衡量专业成绩的指标,建立人工神经网络(ANN)模型。研究发现:对文、理、工三类专业大学生专业成绩预测的ANN模型估计的准确率均在90%以上, GATB分数可以用来预测不同专业学生的专业成绩。文科大学生最敏感的能力因子是言语能力,系数为0.523;理科大学生最敏感的能力因子是数理能力,系数为0.471;工科大学生最敏感的能力因子是空间判断能力,系数是0.594。

关键词:心理学;效度;一般能力倾向成套测验(GATB);人工神经网络(ANN)模型;大学生

一、问题提出

一般能力倾向成套测验(General Aptitude Test Battery,GATB)是美国劳工部就业保险局历时50年,耗资数亿美元,研究了美国上万种职业后编制而成的著名测验。这套测验应用较广,已被大量研究证明具有良好的信效度,能够很好地预测职业成功和学术成就。GATB是适用于初三以上年级的中学生及成年人的团体测验,包含15种分测验(11种纸笔测验,4种操作测验),可在120~130分钟内测量9种与职业关系密切并有代表性的能力因素。这9种能力倾向因素为:一般智力、言语能力、数理能力、空间关系理解力、形状知觉能力、文书知觉能力、动作协调能力、手指灵活性及手部灵巧性。Hammond1984年对GATB的结构进行因素分析发现,GATB测量的其实是4种更普遍、更高层次的能力:言语能力、数理能力、工具组合能力和空间能力[1]。GATB在国外应用广泛,是升学、就业指导以及人员选择与安置的重要工具。而Droege等研究发现:GATB的一般智力、言语能力、数理能力和书写知觉测验可以作为预测学业成绩的良好工具[2]。R.L.Thorndike和E.P.Hagen报告,用GATB预测工程学校学生的专业成绩的R2最低0.46,最高0.58[3]。

个体在大学期间的专业学习将奠定他们一生职业生涯的基础。在美国,大学生入学之初,要进行一项学术能力测验(SAT),通过这种学术能力测验,可以预测大学生在大学期间的专业学习成绩。也有研究者应用一般能力倾向成套测验(GATB)来预测大学生的专业成绩。在预测方法方面,以前的研究大都是运用传统的多元回归算法。如果应用神经网络模型新技术,效度是否会有提高呢?这值得我们来探索一番。

人工神经网络(Artificial Neural Network, ANN)是近年来发展起来的一门新兴学科、新技术。它应用了一种信息处理系统或计算机模仿大脑的结构和功能,可称之为人脑处理信息方式的简化模型[4]。ANN今天已经成为世界关注的热点,引起各国政府与军界的高度重视。

目前人工神经网络(ANN)的算法基本成熟。人工神经网络包括三部分:输入层(input layer),隐藏层(hidden layer),输出层(output layer)。输入的数据显示在第一层,其值从每个神经元传播到下一层的每个神经元,最终从输出层输出结果。ANN是功能强大的函数估计器,只需基本的统计或数学知识就能够进行训练,并加以应用[4]。特别值得注意的是,它是一种非线性系统,具有一个隐藏层的神经网络算法,可以拟合输入和输出之间的任意非线性关系,而不要求资料满足正态分布或其他特殊分布,可以自由估计模型(即非参数模型)。因此,神经网络具有很强的综合能力,输入和输出间的联系可由训练习得,再运用于计算中[5]。

BP(back propagation)神经网络是ANN的一种,由James McClelland和David Rumelhart在1986年提出[6]。它是一种典型的前馈神经网络,其权重的调整采用反向传播的学习算法,神经元的变换函数是S型函数,输出量是0~1之间的连续量,可以实现从输入到输出的任意非线性映射[7]。通过对网络参数的选取,在确定了网络层数、隐含层神经元数、初始权重、学习速率、期望误差及最大步长后,构建神经网络模型。确定网络的结构后,利用输入输出样本进行训练,也就是对网络进行调整,多次反复,直到样本收敛,使网络实现给定的输入输出映射关系,从而获知最重要的影响因素。

从ANN诞生之日起,它与心理学就有着千丝万缕的联系。神经网络的灵感来自于神经元的信息处理功能,神经网络的训练则可以反映感觉、记忆、学习等认知过程[8]。ANN已被研究者广泛应用于视知觉识别[9]、技能培养[10]、语言发展[11]等认知领域。研究者发现,ANN对于内隐记忆、内隐学习等无意识认知过程有着极强的适应性[12,13],对神经网络来说,外界环境的每一次输入都可能会引起网络结构的重新调整(权重变化),从而改变该网络下一次的加工模式。

社会认知与ANN有着类似的信息加工过程。社会认知过程中,人们会按照某种规则对所经验的事件进行组织,从而影响他们在类似环境下对待相似对象的印象与态度。因此,许多研究者针对印象形成[14]、归因[15]、认知矛盾[16]、群体印象[17]等建立了各具特色的神经网络模型。

由于ANN的模仿对象是人脑神经系统的处理方式,因此,它在功能上也具有某些智能的特点。神经网络主要有以下几个基本功能:非线性映射、分类识别、知识处理。目前,神经网络已经广泛应用于信息领域、自动化领域、工程领域、医学领域、经济学领域等各知识领域中,其智能化的特征解决了许多传统信息处理方法无法解决的问题[18]。目前,学术界已经普遍认同,人工神经网络方法是一种有效的研究工具,能够代替传统的回归分析方法,并可以在不同的领域进行广泛应用。然而,心理测量学领域内运用人工神经网络方法的研究还相当少见。

本研究将使用神经网络算法,取代传统的回归分析,尝试检验一般能力倾向成套测验预测不同学科大学生的专业成绩的效度。

二、研究方法与研究过程

1.研究工具

以戴忠恒等修订的一般能力倾向成套测验(GATB)为研究工具,该测验共包括15种分测验,其中11种为笔试,分别为: 圆内打点测验、记号记入测验、形状相配测验、名称比较测验、图案相配测验、平面图判断测验、计算测验、词义测验、立体图判断测验、句子完成测验、算术应用测验;4种为器具测验:插入测验、转动测验、组装测验、拆卸测验。

本研究采用团体施测方式,每次施测有2名以上熟悉本测验所有项目的主试,最多对38名被试同时施测。首先由主试朗读指导语,在所有被试明白测验的要求和具体做法后开始测验。因11项纸笔分测验均为速度测验,所以由主试使用秒表准确计时。

2.研究对象

在江苏、安徽、上海等省市的7所院校对在校大学生进行团体施测。共施测1022人。其中男生521人(51.0%),女生501人(49.0%);“211工程”院校569人(55.7%),普通本科院校453人(44.3%);大一464人(45.4%),大二104人(10.2%),大三321人(31.4%),大四133人(13.0%);文科446人(43.7%),理科221人(21.6%),工科355人(34.7%)。

3.数据收集

随机选取其中652名大学生,对他们期末考试中的专业课成绩求出平均分并以班级为单位进行标准化,以此标准分作为衡量其专业成绩的标准。在652名大学生中,文科专业268人,占41.1%;理科专业218人,占33.4%;工科专业166人,占25.5%;年龄17~24岁,平均20±1岁;男生320人,占46.3%,女生371人,占53.7%。

三、构建神经网络模型

使用专业软件Clementine12.0构建神经网络模型。首先对样本数据进行归一化处理,以便更好地对数据关系进行映射,从而使其参数都落在(0,1)之间。归一化选用以下公式:

P=(p-pmin)/(pmax-pmin)

公式中,pmin,pmax分别表示归一化之前的最小值和最大值,P为归一化值,p为归一化之前的值。经过归一化转换的结果在本研究中以P表示,例如P专业课均分。

经过归一化处理后,开始正式建模。在Clementine中应用神经网络进行能力倾向对专业成绩预测的过程如下:首先选择数据源,将GATB的7项能力倾向数据选为输入变量,将标记专业课均分项选为输出变量。然后在字段选项中选择其中的分区节点,设置训练、测试、验证区域样本比例,这是构建神经网络模型所需要的一个设置。总体挖掘过程如图1 所示。

图1 数据挖掘过程

接着在模型里选择神经网络模型的训练方法。Clementine提供了快速、动态、多重、修剪、RBFN和穷举型修剪六种用于构建神经网络模型的训练方法(Silverston,数据模型资源手册)。选择快速的训练方法,即使用数据的简明规则和特征来选择适合的网络形状(拓扑)。

此后在模型中设置预防过度训练,将数据随机分割为训练集合和检验集合两部分,设置70%的样本为训练集合,并将随机种子设置为18。特定的随机种子通常会生成相同的随机值序列,产生相同的生成模型,从而使结果模型具有精确的可再现性。本研究中的预防过度训练与随机种子设置见图2。

图2 模型设置结果

四、结果分析

1.文科大学生一般能力倾向对专业成绩的预测模型

本模型显示出模型在生成前的选项和生成后的统计情况。结果显示模型对建模数据估计的准确率达90.247%,其中输入层有7个神经元,隐藏层有1∶3个神经元,输出层有1个神经元。

对各输入点的敏感度进行分析显示,各输入字段的相对重要性参数,按重要性排序为言语能力、一般智力、形状知觉、运动协调、数理能力、书写知觉、空间判断能力,其敏感性系数依次为0.523、0.191、0.09、0.053、0.05、0.047、0.045。

将Neural Net结果结点连接在数据流中的分区结点后,向数据流中增加分析节点,模型分析结果见图3,由图可知,文科学生一般能力倾向对专业成绩模型的平均预测误差在-0.004到0.036之间,绝对平均误差在0.103到0.105之间,该模型的预测误差在可以接受的范围之内。

图3 文科大学生一般能力倾向对专业成绩的预测模型分析结果

再向数据流中增加导出结点。将导出结点连接到Neural Net结果结点。设置该结点属性,将增添的字段的值设置为【abs(P专业课均分 - '$N- P专业课均分') / P专业课均分】 * 100,其中$N- P专业课均分是由神经网络生成的预测结果,如图4所示。该图形的横坐标为导出值,纵坐标表示一共有多少个样本的导出值落在相对应的横坐标上。由导出的定义公式可知,导出值越小,则表明预测值与实际值的差别越小。由输出图形可以看出,该模型已达到一定的精度。

图4 文科大学生一般能力倾向对专业成绩的预测模型精度直方图

2.理科大学生能力倾向对专业成绩的预测模型

理科大学生一般能力倾向对专业成绩预测模型显示模型对建模数据估计的准确率达90.979%,输入层、隐藏层、输出层的神经元个数与文科大学生模型的数量相同,分别为7个、1∶3个、1个。

理科大学生一般能力倾向对专业成绩预测的各输入点的敏感度分析显示:按重要性排序为数理能力、一般智力、空间判断能力、书写知觉、言语能力、形状知觉、运动协调,其敏感性系数依次为0.471、0.233、0.132、0.073、0.046、0.042、0.003。

图5 理科大学生一般能力倾向对专业成绩的预测模型分析结果

模型分析结果见图5,由图可知,理科学生一般能力倾向对专业成绩模型的平均预测误差在-0.022到0.006之间,绝对平均误差在0.091到0.097之间,结合图6可知,模型达到了一定的精度。

图6 理科大学生一般能力倾向对专业成绩的预测模型精度直方图

3.工科大学生能力倾向对专业成绩的预测模型

工科大学生一般能力倾向对专业成绩的预测模型显示模型对建模数据估计的准确率达90.381%,输入层、隐藏层、输出层的神经元个数与之前相同,分别为7个、1∶3个、1个。

工科大学生一般能力倾向对专业成绩预测的各输入点的敏感度分析结果显示:按重要性排序为空间判断能力、一般智力、言语能力、书写知觉、形状知觉、数理能力、运动协调,其敏感性系数依次为0.594、0.202、0.084、0.048、0.035、0.029、0.008。

模型分析结果(见图7)显示,工科学生一般能力倾向对专业成绩模型的平均预测误差在-0.044到0.008之间,绝对平均误差在0.106到0.115之间。模型精度直方图(见图8)显示,由图可知,导出值集中在一个很小的范围之内,模型达到了一定的精度。

图8 工科大学生一般能力倾向对专业成绩的预测模型精度直方图

五、讨论

神经网络具有的非线性映射、自适应学习、并行性、知识分布存储、逼近任意复杂连续函数等信息处理能力,克服了传统预测方法对于数据处理方面的缺陷,使神经网络能够在心理测量领域发挥重要作用。值得注意的是,回归分析要求数据正态分布、线性,以及连续变量这些比较严苛的条件,在神经网络模型中却不需要这些前提条件。也就是说,神经网络的算法具有非线性的特点。这可以大大弥补传统统计方法的线性模型的局限。

本研究以人工神经网络建模为统计手段,分别建立文、理、工三类大学生一般能力倾向对其专业成绩的预测模型,由建网信息和模型分析结果可知,三个模型对建模数据估计的准确率均达到90%以上,预测的平均预测误差在0.091到0.115之间,三个模型均达到了一定的精度。

首先, GATB的7项能力倾向对文科专业成绩的影响按重要性排序依次为言语能力、一般智力、形状知觉、运动协调、数理能力、书写知觉、空间判断能力,这一结果也可与文科专业大学生优势能力倾向互为佐证。言语能力的敏感性系数达到0.523,是影响文科专业成绩表现的关键能力,这一结果也符合我们研究前的假设和实际情况。文科类专业的学生通常对文字、语言更有兴趣,拥有较好的文字功底,将来所从事的职业多以文字工作为主,专业课程的设置与考核也是以此职业方向为导向,因而言语能力上得分突出的学生更有可能在文科专业的课程学习中达到优秀水平。

其次,对理科大学生而言,数理能力、一般智力和空间判断能力对其专业成绩预测的敏感性系数分别为0.471、0.233和0.132。数理能力是利用算术知识解决实际问题的能力,一般智力则是需要根据原理进行推理和判断的能力,而空间判断能力是要求在心理空间进行图形转换进而进行推理、判断的能力,这三类能力对学生的逻辑思维能力有较高要求,理科类专业侧重于理论研究和科学培养,尤需学生的理性思维、逻辑思维能力,因此,数理能力、一般智力和空间判断能力是理科学习关键之所在,理科专业要求报考者在这些能力上的发展达到一定的水平,而在这些能力倾向上得分较低的被试可能需要付出相当的努力才能够胜任理科专业的学习。

最后,工科类专业学生的专业成绩7项能力倾向按重要性排序依次为:空间判断能力、一般智力、言语能力、书写知觉、形状知觉、数理能力、运动协调。另外,空间判断能力也是工科类大学生的优势能力倾向,以往相关研究也表明,空间想象和空间思维能力对于工科学习是不可或缺的[19],尤其是机械制图等相关专业。工科专业侧重技术应用,学生动手能力较强,心理空间的运动能力依赖于实际动手能力的发展,动手能力的锻炼也会促进其空间想象能力的发展。值得注意的是,空间判断能力对于工科学生专业成绩的预测敏感性系数达到了0.594的水平――该项能力对工科学习十分重要,若发展良好,更可能在工科学习中脱颖而出。

纵观三类专业大学生一般能力倾向对其专业成绩的预测情况,不难发现,一般智力对于任何一类专业来说都是基础性的能力倾向。国外相关研究结果也发现,人们的智力和知识只要达到一定的水平,人们智力的高低差异对于工作效率不再有明显的影响,然而与专业紧密相关的能力倾向与工作效率之间始终有显著的正相关。本研究的结论在一定程度上验证了这一观点:对于不同的专业方向来说,每种专业类型都各有其关键的能力倾向。该专业的潜在报考者能否胜任该专业的学习和考核,关键能力倾向是至关重要之因素。

总而言之,人工神经网络模型对三类专业的专业成绩预测都具有较高的准确性,说明本研究整体的技术路线可行,GATB所测得的7项能力倾向的不同组合可以用来预测不同专业学生的专业成绩。通过人工神经网络模型,中学生可以根据自己在GATB的7项能力倾向上的得分情况预测自己报考三类专业的成绩水平,从而判断自己适合报考的专业方向。如能早日实现推广,将是教育界及广大学子喜闻乐见之事。

项目基金:全国教育规划课题(DIA080131)

[1] Hammod, M.. An investigation into the factor structure of the General Aptitude Test Battery[J]. Journal of Occupational Psychology,1984,57(1):4348.

[2] Droege, R. C.. GATB aptitude intercorrelations of ninth and twelfth garders: A study in organization of mental abilities[J]. Personnel & Guidance Journal, 1968,46(7):668672.

[3] 桑代克, R.L.,哈根, E.P.. 心理与教育的测量与评价[M]. 叶佩华,等,译. 北京:人民教育出版社,1985.

[4] 林耀斌,杜友福.基于Clementine神经网络的商品促销效果预测模型应用[J].电脑知识与技术,2009,5(34):90-92.

[5] 张菊英,韦健,杨树勤.神经网络模型在住院费用影响因素分析中的应用[J].中华医院管理杂志,2002,18(3):143-145.

[6] 严武.基于BP算法的住院天数神经网络模型建模研究[J].中国病案, 2009,10(11): 38-40.

[7] 易东,王文昌.回归分析的人工神经网络算法模型研究[J].中国卫生统计,1998,15(5).

[8] 郭秀艳,朱磊,魏知超.内隐学习的人工神经网络模型[J].心理科学进展,2006,14(6):837-843.

[9] Martin, G. L.. Encoder: A connectionist models of how learning to visually encode fixated text images reading fluency[J]. Psychological Review, 2004,111(3):617639.

[10] Berthier, N.E., Rosenstein, M. T., & Barto, A.G..Approximate optimal control as a model for motor learning[J]. Psychological Review, 2005,69(2):329346.

[11] Seidenberg, M. S..Connectionist models of word reading[J]. Current Directions in Psychological Science, 2005,14(5):12381242.

[12] 郭秀艳,邹玉梅,李强,孙怡.中学生颜色内隐学习特征的实验研究[J].心理与行为研究, 2003,1(2):122-127.

[13] 郭秀艳,朱磊.神经网络模型对内隐学习的探索[J].心理科学,2006,29(2):410-415.

[14] Kashima,Y., Kerekes, & Andrew. R.Z.. A distributed memory model of averaging phenomena in person impression formation[J]. Journal of Experimental Social Psychology, 1994,30(5):407-455.

[15] Read, S. J., & Montoya, J. A.. An auto associative model of causal reasoning and causal learning: Reply to Van Overwalle’s critique of Read and Marcus-Newhall[J]. Journal of Personality and Social Psychology,1996, 76(5):728742.

[16] Shultz, T., & Lepper,M.. Cognitive dissonance reduction as constraint satisfaction[J]. Psychological Review,1996, 103(2): 219240.

[17] Gureckis, T.M., Love, B.C.. Common mechanisms in infant andcategory learning[J]. Infancy, 2004,5(2):173198.

[18] 杨富勇.神经网络模型在股票投资中的应用[J].计算技术与自动化,2010,29(3):108-112.

[19] 黄俊红.机械、自动化专业与非专业高年级学生能力倾向的比较研究[J].天津职业技术师范学院学报,2000,10(4):15-18.

上一篇:鲜为人知的外国科学家 下一篇:“千里快哉”中国美术馆盛大揭幕