数据挖掘在学习管理系统中应用的研究进展综述

【摘要】数据挖掘和远程教育是当前两大热点领域,基于前者的学习管理系统是远程教育领域研究的热点和方向。文章首先剖析了近年来高等教育面临的形势和发生的变革,在此基础上引出了学习管理系统和数据挖掘的价值和必要性。随后重点分析了学习管理系统在高校中的使用情况,揭示了在线学习模式对教育领域的新启示,并介绍了数据挖掘在学习管理系统中的成功案例,从中可以看出学习管理系统的发展历程、现状和趋势。通过调研,研究者认为高等教育机构更多地采用学习管理系统进行在线教学的方式是未来的趋势,同时数据挖掘技术的采用是成功的关键。

【关键词】数据挖掘;学习管理系统;远程教育;学术分析;在线考试;社会网络分析

【中图分类号】G420 【文献标识码】A 【论文编号】1009―8097(2010)09―0127―07

一 引言

作为知识的创造者、保持者和传播者,长期以来对知识的责任一直是高等教育机构的首要目标。然而,为了适应现代化的知识社会,全世界的高等教育机构需要采用新的方法来履行责任,实现目标。和中国的各大高校一样,全世界的高等教育机构都正经历着飞速的发展和变化。一方面,在激烈的竞争环境下,学生们面临的压力越来越大,社会对高等教育也越来越重视;另一方面,在社会期待和监督下,教育工作者需要展示出高质量的教学成果,同时,现有教育资源的不足又无法满足日益增长的学生人数及其日趋多元化的学习需求[1]。

在大学校园中,全日制大学生是非常幸福的,因为他们能和师生们直接接触,一起参与学术沙龙,而且还能享受到教学设施的服务。然而,这种传统的理想高等教育模式需要大量的教育资金和劳动力,各国政府给予高等教育的资助无法满足不断升级的教育资源需求。为了解决这个问题,各大高校都曾采用了不同程度的扩招办法来填补教育资金的不足,于是社会开始对高校的教育质量感到担忧。OECD的一份报告[2]对工业社会中高等教育环境变化进行了广泛而又详细的分析。

高校教师面临着众多的挑战,班级人数正在增加的同时,社会也对他们提出了更高要求。他们需要使用更有效的教学方式,来提高学生的学习和研究能力,并完成教学目标。此外,越来越多的关于高等教育的教学和学习的研究[3]阐述了以学生为中心的教学方法,强调鼓励学生们的合作和互动,以及促进主动学习的重要性,还建议提供及时详细的反馈,强调限时任务的需要,同时尊重不同的学习模式。另一方面,教师们在教学过程中发现,他们发现难以通过沟通交流的方式来监督学生的学习进展[4]。尽管更传统的“灌输式”的教学模式在一定的教育环境下有其立足之地,但对于促进学生的学习来看,它日益被看作是一种落后途径。与此同时,高等教育领域的竞争日趋激烈,教育成本不断上升,学生和家长们对教育质量、教育支出的透明度提出了更高要求[5]。

1 学习管理系统的应用

面对大量的教育需求,同时为了实现更高效的教学,解决现代社会的教育需求与传统教育方法的矛盾,高校开始向企业学习,着手利用以信息技术为基础的现代教育技术来打造自己的核心竞争力。

互联网是当今最重要的收集、共享和信息的媒介。随着高校信息化的发展,基于网络的信息技术迅速成功地应用于高等教育领域。如今国内外众多高校提供的在线课程就是最好的例证,它为师生提供了一种有效的网络教育环境。更值得一提的是,在线的学习管理系统(Learning Management System, LMS)在国内外有了飞速发展和普及。

学习管理系统拥有支持教学的资料和工具,它集课程设计、学生管理、学习管理、主题讨论、问卷投票、在线考试、教学评价等于一体,还包括会议系统、学生社区以及其他工具,还能用于对学习效果和学习进度进行评估。

2 数据挖掘技术的利用

高校逐渐普及了学习管理系统,然而仅仅利用这些系统的表面功能,无法让教师在网络教学过程中及时、彻底、准确地了解学生们的学习活动及其动态进展情况,并评估课程内容结构和教学效果,更无法将其潜力挖掘出来。虽然有些系统提供了一些基础的统计汇总功能,比如常被访问的页面、最喜爱的交流方法等,但这些信息是不够用来分析学生的学习行为和学习进展的。

在网络学习环境中,近距离师生关系的缺失是问题的关键所在。这种关系的缺乏导致教师无法直接监督学生,学生不能以一种自然而然的方式来表达他们所面临的问题。换句话说,教师需要获得更多的潜在信息和知识来辅助他们进行指导和决策,学生则需要得到及时指导。为此,借鉴商业领域的成功应用,高校需要向现代教育技术中引入数据挖掘技术来改进基于网络的学习环境。

数据挖掘(Data Mining)[7]是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,抽取出潜在的、有价值的知识、模型或规则的过程。同样,它也能从教育数据的中发现被忽视的规律和模式,从而更好地支持和指导教学工作。

经过长时间的积累,任何一个信息系统中都蕴含着大量数据,学习管理系统也是一样。众多的学生和教师在使用系统过程中,都会产生两个不断发展和更新的数据集,其中包括师生们使用的在线课程资源,以及师生在使用这些资源的过程中所留下的“足迹”。本文正是将探索利用数据挖掘技术从这两个数据集中抽取出潜在、有价值的知识、模型或规则,从而为在线学习环境提供支持。

二 学习管理系统的发展

1 LMS的广泛使用

对于高校来说,正因为学习管理系统会给教学带来诸多好处,所以目前很多高校都已购买商业软件、使用开源系统,或是自主开发学习管理系统。

据美国Campus Computing Project的2008年调查[8]发现,超过70%的美国高等教育机构使用了校园范围内的LMS。2007年数据显示,超过39万名美国学生(高于20%的美国高校学生)在2007秋季学期就注册了至少一个在线课程[9]。更重要的是,更多的教师利用LMS来对传统课程进行支持,形成了混合的课程教学方式。例如,超过4500名学生在2008年注册了不列颠哥伦比亚大学提供的109门在线课程。数据显示LMS已经在许多高校中获得了广泛应用。同样在2008年,超过22.5万名学生注册登录了由超过3800位教师教授的3169个不同LMS支持的课程。

2 商业与开源LMS的角逐

据美国Campus Computing Project的2009年调查[10]发现:从2000年到2009年,在美国的5类大学中,使用学习管理系统的课程数呈逐年上升趋势,并且平均普及率从2000年的15%上升到了2009年的55%左右。其中,商业的学习管理系统目前占据绝大部分的高校市场,世界上最著名的Blackboard和WebCT公司已于2005年10月合并,成为全球最大的LMS提供商。随着全世界对于开源(Open Source)这一概念逐渐产生共鸣,开源的学习管理系统也如雨后春笋般出现,其中较有名的主要有Moodle、Claroline、Sakai、OLAT等。同时,还有一些高校针对自身情况,选择自主开发学习管理系统。美国EDUCAUSE公司的一项调查[11]结果显示,目前正在使用课程管理系统的美国高校中,约有12%的院校所使用的软件属于自主开发或是与其他院校合作开发,其中“具有博士授予权的大学”比例最高达到14.9%。

值得一提的是,Campus Computing Project的2008年调查[8]显示,商业化的代表Blackboard在高校中的占有率已从2007年的66.3%下降到2008年的56.8%,以Moodle、Saiki等开源学习管理系统为校园标准的高校则从2006年的7.2%上升到2007年10.3%。此外,在2008年的调查中,在被问及在未来5年内(即在2013年之前),是否会将原有体系迁移到开源的系统上时,约四分之一(24.4%)的被调查者表示他们会迁移到开源的学习管理系统上,约六分之一(15.3%)表示会迁移到开源的内容管理系统上,还有一小部分表示会迁移到开源的ePortfolio管理系统(12.9%)和ERP系统(少于5%)上。

3 在线考试模块的嵌入

大部分学习管理系统都配备了在线考试(Web-based Examination)模块,在线考试、测验在学生使用学习管理系统的过程中起着十分重要的作用。比如,BlackBoard和Moodle等学习管理系统中的在线考试模块都具备了生成试题库、随机组卷、各种题型的选择、考试限时、考试评分等基本功能,同时还有许多考试系统在自适应考试、主观题评分等技术上有了新的进展。

通过在线考试模块的数据,学习管理系统才能获得学生学习情况的总结性结果,为其他教学分析提供学习效果指标。Campbell等[12]对学生的在线考试成绩和在线活动数据进行了回归分析,并且发现美国学生的学术能力评估考试(SAT)分数能够温和地预测学生未来的成功,而且如果加入了学习管理系统登录次数这一变量,则该模型的预测能力将会翻三倍。他们还通过数据表明,学生以中等偏低的在线考试分数进入一个课程,能够通过努力(用LMS登录次数表示)取得成功(用期末在线考试的成绩表示)。

4 监控学习进展的挑战

有了先进的学习管理系统,高校仍然面临着许多问题。在网络教育环境下,教师如何有效地跟踪学生的学习进展情况,以及如何对新执行的教学策略的影响进行有意义的评估已经成为一项挑战。和全世界一样,中国的教师常常会给学生布置作业,并通过这种传统的总结性方法来评估学生的学习情况。这种方法为教师和学生提供了必要的反馈,但这通常需要课程进展到一定阶段时才能获得反馈信息。因此,这种方法起不到太大作用,教师能采取的指导措施也很有限。此外,总结性评估方式只能在较低程度上对学生的学习方式、学习氛围的发展、学生之间的接触、沟通、交流和合作的实际程度给予最低的洞察力[13]。更令人焦虑的是,随着班级人数的上升,缺勤、被孤立或者无法充分参与到合作完成的课程作业中来的学生将会逐渐被忽视,而且教师们往往只关注得到那些积极参与的学生。

教师在网络教育环境中急需新的方法来快速识别高危学生,并且设计学习策略来指导他们的学习。基于初步的调研发现,Wang等[14]认为可以从BlackBoard和Desire 2 Learn等学习管理系统中找到学生在线活动的数据与学习期末成绩之间的映射关系。延续前人的观点,Campbell等[6][16]建议,该高校和教师能从LMS数据中挖掘出有益的知识和模式,以便开发“预警”报告工具,反映高危学生情况,并且让教师及时形成指导策略。

5 社会网络的注重

近年来,教育工作者已经越来越认识到遵循社会构建(Socio-Constructivist)的原则来进行学习设计的教育收益所在。社会构建的教育方法强调以学生为中心来进行教学设计,加强对学习的社会本质的认识,要求学生主动地和同学、学习资料和教师进行交互[17]。开发和支持学习社区来促进学生的学习已经成为教师的共同目标。为了进一步支持社区中心的做法,众多学者描述了信息和通信技术能力,以促进学生之间的通讯和接触,从而促进社会网络和社会意识(Sense of Community)的发展[18]。

与此同时,新的方法正不断涌现,它使教师按照学生社区、互动和参与等指标来评估设计的教学活动的学习影响。Dawson等[19][20][21]指出,LMS跟踪变量表明学生通信交流行为是社会意识的重要指标。然而,到目前为止,很少有研究表明如何将学生在线交流行为和社会意识映射到学生最终的学业成功上。

6 跟踪变量的数据积累和数据挖掘的可行性

LMS捕捉和储存了大量、复杂的学生活动和交互的数据,使数据挖掘成为可能。学生跟踪变量包括了学生访问LMS的上线时间和连接持续时间、LMS工具的使用情况、信息的阅读和情况、内容页面访问等数据的测量。这些数据能被实时捕获到,而且可以在课程进展的任何阶段开采。LMS对这些数据的收集不是侵入式的,也不需要教师的干预。重要的是,尽管这些数据通过其他方式难以理解,但可以代表学习行为的某些方面:学习模式以及学生接触、沟通、参与网络学习的程度和方式[21]。

Campbell等[22]指出对从各种信息系统中获取的数据进行分析的方法可以用到高校教学的决策过程中来。然而,到目前为止研究人员只能通过缓慢的人工方式获取、分析、可视化、解释这些数据,并且当前的LMS提供非常有限的数据报告功能[23]。而且,对于哪些获取的跟踪变量有教学意义,哪些可用的数据能够象征学生参与有目的教学活动,并且有助于他们提高在课程中的学习和收获,目前的研究还很少,而且没有任何可以提供给教师的指南。数据挖掘长期以来一直在商业领域成功地应用,到目前为止在学术领域还没体现出较大的兴趣[15]。

7 学术分析的出现

通过数据挖掘技术在教育技术领域的努力探索,学术分析(Academic Analytics)[24]这个概念出现了,它涉及教育数据库中大量数据的提取和各种统计技术的应用,以确定模式及相关性。学术分析带来了对数据获取选择和组织、储存和汇报等过程。更重要的是,这个分析方法能用统计技术和预测模型来整理合并数据,为高校面临的挑战提供报告和辅助决策。Campbell等[6][24]认为对LMS的数据进行学术分析应用,能够识别高危的学生,评估课程的效果,还能对学生的成功提供全新的见解。

目前,各高校的LMS已经储存了海量的多样性数据。因此,高校可以充分利用学术分析从中挖掘出潜在的有价值的知识,以识别一系列与学术相关的关键活动,为从战略决策到教学实践的实施提供参考。这个挑战对于高校来说,不再仅仅是产生和获取数据,还要能轻松、准确地解释数据,并将发现的知识、模式或规律付诸实践。

尽管在这些系统中记录和获取的数据量非常庞大,但目前只出现了很少的研究人员探索了如何让学术分析适合教学实践的设计、交付和评价[15]。同样,只有为数不多的几个例子显示了学术分析在高校的成功应用,从而提高了教学和学习质量。

三 数据挖掘的应用

数据挖掘在学习管理系统中的应用方法和步骤和数据挖掘在其他领域的应用类似,如图1所示,所不同的是主要是针对的数据源不同。

沿袭前人的研究成果,一些高校实践了数据挖掘的方法,对学生在线学习、交流、讨论所产生的数据结合在考试数据进行数据挖掘,发现了潜在的规律和模式,在教学中帮助教师及早地预测出学习情况不佳的学生,从而实施及时的教学支持和指导。

1 初步探索

从学习管理系统中获得数据源后,可以对数据进行初步探索。初步探索有助于用户更好地了解数据的性质,从而为随后的数据预处理以及挖掘分析奠定基础。

在澳大利亚的昆士兰大学,Dawson等[21]从BlackBoard学习管理系统中抽取的数据揭示了在这门课程中工具类型的使用情况。在他们的研究中,占主导地位的工具是论坛,它占据了网络环境中所有交互的80%;另外,学生和教师第二个最常用的工具是内容页面的浏览,如图2所示。在课程刚开始的几个星期里,公告和作业等其他LMS工具也在被使用,但是使用程度比较论坛的讨论和内容页面的浏览低很多。对LMS数据的初步探索可以汇总为一个重要结果,在整个网络课程学习过程中,为教师提供给了有关LMS的使用情况。例如,根据汇总互动记录的数量,论坛讨论在本研究中被确定为主要工具,而诸如在线测验评估、维客、博客等工具则被学生很少利用。但是,这并不是说这些工具还没有被纳入个人学习和教学实践中,而是很多学生可能使用了其他外部平台来代替。

在西班牙的坎塔布里亚大学,Zorrilla等[25]对WebCT学习管理系统进行联机分析处理(On-Line Analytical Processing, OLAP),以便了解学习管理系统的使用情况、课程结构设计得怎样,如以及学生在线学习行为如何随着时间变化。图3显示了学生使用学习管理系统的访问次数、访问平均时间和网页浏览页数。其中,左图显示了某学期所有课程的情况,右图则选择了精心设计的课程的情况。

从图3(a)中可以发现,在一门课程初期,学生们倾向于探索许多不同的系统功能(每次访问更多的页面)。然而,随着时间的推移,他们会越来越集中于某种功能。

从图3(b)中可以观察到,本学期学生的平均在线时间是很低的,不到15分钟,介于20到30分钟之间。这表明大部分课程设计成了内容库(例如,教师设计了链接到了PDF文件的许多网页)。因此,学生只需要连接到系统下载这些文件;另一方面,可能表明学生不经常使用协同的互动工具(如聊天室),因为它们需要长时间的在线时间。

2 分类

美国的密歇根州立大学使用了LON-CAPA学习管理系统中的跟踪数据对学生进行了分类,并对学生最终的在线考试成绩进行预测[26]。该项目用遗传算法和其它算法来实现分类,对LON-CAPA中的历史数据训练出分类模型,来对某课程的新学生的在线学习情况的测试数据进行分类,其中遗传算法表现出了最好的分类效果,如图4所示。

3 预测

加拿大英属哥伦比亚大学的Macfadyen等[28]在BlackBoard学习管理系统中用散点图展示了一些LMS跟踪变量和最终在线考试成绩呈现正相关的趋势。散点图是一个用来很好地识别调查的变量之间潜在的相关趋势的初始方法。图5为一个代表性的散点图,显示了挑选出的LMS跟踪变量和最终在线考试成绩之间的相关趋势。前人研究[22][27]表明,LMS跟踪变量和学习成绩之间存在着显著的相关性。

为了进一步考察课程中选定的变量作为学生成绩指标的重要性,Macfadyen对每个变量和最终在线考试成绩之间做了一个简单的相关分析[28]。Macfadyen对22个变量进行了考察,其中的13个标量表现出了和最终学生成绩之间的正向的和统计上显著的相关性(P

4 论坛网络分析

Macfadyen[28]从论坛讨论数据中探索性地提取和分析,以一种简单的可解释的图来代表社会网络能给给教育工作者带来价值。网络的可视化提供了更容易识别学生的方法,教师能确认在学习网络中处于的或缺席状态的学生,如图6所示。社会关系网络图中的每个节点代表在本课程中参与论坛讨论一个学生或教师,节点的大小代表“中心性”――由每个用户所完成的直接连接的数量。虽然学生的名字没有在网络中显示,但是这个社会关系网络图清楚地表明群体内接触的总体程度,以及每个学生的接触程度。

此外,这种分析和网络可视化的模式提供给了当今教师一个机会,利用这个机会他们可以调整适应教学方法,以满足学生群体的不断变化的学习动态。例如,图6还说明了在这个学习网络中教师的中心位置。如果理想的教学结果是产生以学生自己为主导的学习社区,这些信息将建议教师可能需要在战略上调整他们的活动或指导,来创造更多的学生与学生的交流关系(虽然理想的学生之间通过其他方式来完成互动也是可行的)。网络可视化的产生因此为教师提供了关于他们在形成的学习网络中的位置,让他们评估自己在网络行为中的活动的影响,以及学习网络是否朝着他们预期的教学成果的方向发展。

四 结论

从本文的调研结果不难看出,伴随全球教育领域的不断变革,学习管理系统也开始在全球高等教育机构的环境中飞速发展,在发展过程中遇到了挑战的同时,也为数据挖掘的应用开辟了另一片新天地,甚至出现利用“学术分析”这一新概念来预示数据挖掘将在教育技术领域的成功应用。本文调研了数据挖掘在学习管理系统中的成功应用案例,并强调学生在线学习的行为模式与学生参与情况对在线考试的最终考核成绩之间的映射具有代表性。通过对学生在线学习情况的历史数据进行挖掘和可视化,预测其未来概况,为“高危”的学生建立早期预警“指示器”,及时为教师提供早期指导学生的机会。教师通过及时地再指导,实时调整在线教学资源,就能促进学生良好在线学习行为的形成,进而取得好成绩。

显然,高等教育机构将会更多地采用在线教学方式,这是未来发展趋势,并且数据挖掘技术将会起重要作用。因此,高校要让教师拥有更多的机会来监督学生在线学习时对课程内容资料的利用、对课程活动的参与以及同学之间的互动情况。对相关数据的分析是与学生参与的学习活动评估直接相关的,有关学生如何以及何时参与活动,什么活动能促进学生参与等问题,都可以通过监督和分析学生的在线行为来解答。尽管对一些研究结果的还需要更科学的解释,但这些分析结果对传统教育来说提供了新的见解。

参考文献

[1] Twigg, Carol A. The changing definition of learning[J]. Educom Review, 1994, 29(4): 23-25.

[2] OECD. Education at a Glance 2008: OECD Indicators[EB/OL].Paris:Directorate for Education, Organisation for Economic Co-operation and Development.

[3] Chickering, Arthur W, Gamson, Z. Seven principles for good practice in undergraduate education[J]. AAHE Bulletin, 1987, 39(7): 37.

[4] Smith B., MacGregor J, Matthews R, Gabelnick F. Learning communities: Reforming undergraduate education[M]. San Francisco: Jossey-Bass, 2004.

[5] Mavondo F, Zaman M, Abubakar B. Student satisfaction with tertiary institution and recommending it to prospective students[A]. Proceedings of the Conference of ANZMAC, Gold Coast, 2000.

[6] Campbell J, Oblinger D. Academic analytics[EB/OL]. Washington,DC:EDUCAUSE Center for Applied Research.

[7] Han J, Kamber M. Data Mining: Concepts and Techniques[M]. 2nd ed. Morgan Kaufmann, 2006.

[8] Campus Computing. The 2008 Campus computing survey[EB/OL]. Encino, CA: The campus computing project.

[9] Allen I, Seaman J. Staying the course[EB/OL]. Online education in the United States, 2008. Newburyport, MA: The Sloan Consortium.

[10] Campus Computing. The 2009 Campus computing survey[EB/OL].Encino,CA:The campus computing project.

[11] Hawkins L, Rudy J, Nicolich R, Core Data Service survey: Fiscal Year 2004 Summary Report[EB/OL].

[12] Campbell J, Finnegan C, Collins B. Academic analytics: Using the CMS as an early warning system[A].WebCT impact conference,2006.

[13] Coates H. The value of student engagement for higher education quality[J]. Quality in Higher Education, 2005, 11(1): 2536.

[14] Wang A, Newlin M. Predictors of performance in the virtual classroom: Identifying and helping at-risk cyber-students[J].The Journal of Higher Education. Academic Matters, 2002, 29(10): 2125.

[15] Goldstein P, Katz R. Academic analytics: The uses of management information and technology in higher education[EB/OL]. Washington, DC: EDUCAUSE Center for Applied Research.

[16] Yanosky R, Harris M, Zastrocky M. Top technology priorities for higher-education e-learning[EB/OL]. Stamford, CT: Gartner Research Group.

[17] Laufgraben L, Shapiro N. Sustaining and improving learning communities[M]. San Francisco: Jossey-Bass, 2004.

[18] Brook C, Oliver R. Online learning communities: Investigating a design framework[J]. Australian Journal of Educational Technology, 2003, 19(2): 139160.

[19] Dawson S, Burnett B, O’Donohue M. Learning communities: An untapped sustainable competitive advantage for higher education[J]. The International Journal of Educational Management, 2006, 20(2): 127139.

[20] Dawson S. A study of the relationship between student communication interaction and sense of community[J]. The Internet and Higher Education, 2006,(9): 153162.

[21] Dawson S,McWilliam E,Tan J.Teaching Smarter:How mining ICT data can inform and improve learning and teaching practice[A].ASCILITE 2008,Melbourne.Australia, 2008.

[22] Campbell J. Utilizing student data within the course management system to determine undergraduate student academic success: An exploratory study[D]. Indiana: Purdue University, 2007.

[23] Mazza R, Dimitrova V. CourseVis: A graphical student monitoring tool for supporting instructors in web-based distance courses[J]. International Journal of Human Computer Studies, 2007, 65: 125139.

[24] Campbell J, DeBlois P, Oblinger D. Academic analytics: A New Tool for a New Era[J]. EDUCAUSE Review, 2007, 42(4): 4257.

[25] Zorrilla ME, Menasalvas E, Marin D, Mora E, Segovia J. Web usage mining project for improving web-based learning sites[J]. Computer Aided Systems Theory - EUROCAST 2005, 3643: 205-210.

[26] Minaei-Bidgoli B, Punch W. Using Genetic Algorithms for Data Mining Optimization in an Educational Web-based System[A]. GECCO 2003 Genetic and Evolutionary Computation Conference, 2003, 7: 2252-2263.

[27] Morris L, Finnegan C, Wu S. Tracking student behavior, persistence and achievement in online courses[J]. The Internet and Higher Education, 2005, 8: 221231.

[28] Macfadyen L, Dawson S. Mining LMS data to develop an “early warning system” for educators: A proof of concept[J]. Computers & Education. 2010, 54(2): 588-599.