对网络教学交互进行内容分析的应用研究

【摘要】文章回顾了国内对网络教学交互问题进行内容分析研究的论文,描述了内容分析法在使用标准、研究设计、研究变量、分析单位、构建内容类别及编码、数据处理等过程的实际操作方法。提出今后研究需要重视编码信度、综合运用多种研究方法、使用辅工具等问题,以期为今后内容分析法在网络教学交互领域研究应用提供借鉴。

【关键词】内容分析;研究设计;构建内容;网络教学交互.

【中图分类号】G420 【文献标识码】A 【论文编号】1009―8097(2010)09―0115―04

网络教学交互不受时间和空间的限制,可以支持学习者之间的沟通,为远程学习、分布式学习和终身学习提供了独特而有价值的环境。与此同时,这种技术可以记录交互数据,为教育研究者提供了特别的数据源[1]。分析基于文本的网络教学交互可以采用内容分析法。鲁尔克等学者曾讨论过利用量化分析方法对计算机会议记录进行分析的可行性以及方法论中的挑战。该研究调查了过去十年中发表的19篇广为引用的研究报告;从内容分析的标准、研究设计、内容类型、分析单位、伦理及辅助软件的角度进行探讨。[2] 本文在此研究框架的基础上对国内分析网络教学交互数据所采用的内容分析法进行梳理,主要从方法设计、实施、需要解决的问题等方面进行探讨,分析了内容分析法在操作层面需要注意的问题,为今后相关研究提供借鉴。

一 研究对象的确定

研究方法是由多个层面构成的。一般可以分为如下四个层面:最底层的是关于方法论、认识论层面的问题。上一层是对一般研究过程的理解和操作,包括操作性定义、测量、量表、效度、信度、抽样等概念的理解和处理方法。接下来一层是数据的收集方法,如内容分析、调查、访谈等;最后是研究数据的处理技术[3]。方法论、认识论的这一层次是研究者选取研究视角和研究方法的依据。一般具体的研究方法会跨越后三个层次。内容分析法是以测量变量为目的,采用系统的、客观的、量化的方式,研究和分析传播行为的方法。[4]这个定义揭示了内容分析法的三个特征:首先,内容分析是系统的;即用于分析的内容是按照明确的标准,通过正确的程序选择而来,同时对选择内容的处理方式必须一致;具体来说对内容进行编码和分析的程序应该统一。其次,内容分析应该是客观的,研究人员应当明确对变量进行分类并给出操作定义。最后,内容分析是量化的,即应该产生准确的量化信息。[5]一般来说,采用内容分析法分析研究对象,应当包含以下几个方面: 1、阐明研究问题或假设。2、界定研究总体,并选择合适的样本。3、选择和定义分析单位。4、构建用以分析的内容类别。5、建立量化系统。6、培训编码人员进行试点研究。7、对内容进行编码。8、分析采集数据。9、得出结论并寻求启发。[6]

根据上述内容分析法的特征,本文分析了目前国内研究网络教学交互所使用的内容分析法。尽管这些研究网络教学交互的文章在研究的目的和对象方面差异较大,但均包含如下特征:研究的交互对象是基于文本的网络教学交互。研究交互采用的方法是内容分析法。鉴于本文研究目的在于内容分析法在分析网络文本交互数据中的具体操作,因此没有选择这个领域内全部的研究文章进行分析。笔者选择文章的标准在于符合内容分析法操作的基本规程,处理数据、得出结论的过程清晰合理。

二 内容分析应用分析

本文主要描述使用内容分析法操作的五个方面:第一部分是内容分析法的三个标准:系统一致性、客观性、量化过程。第二部分是研究的设计。第三部分是研究的变量和分析单位。第四部分是构建内容类别及编码的过程。第五部分是内容分析数据处理的过程。

根据分析文章使用内容分析法的操作,一般可以分为如下几个步骤:首先是将需要选择分析的内容选择汇总。文中提到研究虽基于不同的网络平台,但交互内容一般都是以发帖的形式存在,故操作基本是从数量众多的帖子中选取符合研究变量要求的帖子,进行汇总。其次是建立编码的标准并对帖子进行标识和分类。这个工作可以由一个研究者来完成。如果帖子数量众多,需要多位参与者共同完成,便涉及到对分类和标识标准进行统一理解的问题;此时需要注意研究信度。一般的做法是对不同编码人员的分类和标识进行比较。再次是分析编码结果,确认变量之间的关系。最后是形成结论。见下表:

1内容分析法的使用标准

首先考察使用内容分析法应当遵循的标准。系统性一致性:这是指用于分析的内容是按照明确的标准,通过正确的程序选择而来;同时对选择内容的处理方式必须一致,具体来说对内容进行编码和分析的程序应该统一。这个要求涉及到两个步骤,第一步是选择分析的内容。研究者需要明确选择自己研究的主要对象,即分析帖子的总体。本文分析的论文选择教学平台中一门或几门课程的交互帖子作为研究总体。这些课程有固定的学生群体和教学内容。针对课程内容交互所发的帖子应该包含研究变量的内容。第二步是确定内容编码和分析的程序。在下文中具体介绍。

客观性:是指研究者不能将自己的偏好加入研究结果中;当其他研究者重复你的研究过程,应该可以得到相同的结果。[7]内容分析法研究不可能达到完全的客观。因为在确定分析单元、解释分析单元的过程中不得不加入研究者主观的成分。

量化的过程:内容分析法需要产生一系列精确的信息,因此需要将分析结果充分量化。本文分析的文章中,一般采用建立编码细目的方法,将某一细目对应的帖子数量手动统计出来,计算百分比。杨惠[9]等研究者利用统计软件对帖子数目进行多配对样本非参数检验验。揭示了研究变量显著性差异的结果。

2研究设计

同使用其他研究方法一样,内容分析应该建立在对现有文献进行基本回顾的基础上。本文所选择的八篇文章均进行了大量的文献回顾。如网络教学中的教师角色的研究中。研究者回顾了网络教学教师角色的困境,网络教师角色的组成纬度及含义等问题。[10]文献回顾不仅提供了对研究问题的清晰定位,还为研究者提供编码的理论框架。

贝雷尔森认为,内容分析法的特色在于其描述的技术 [11]。本文分析的文章基本都是基于描述的研究。即作者的研究设计的重心在于对网络交互的帖子进行分类整理,分析后形成一定的框架描述帖子的分布、网络学习的教师组织行为、网络交互的深度、基于网络知识建构的水平等问题。描述帖子的分布需要数量统计的方法,最基本的是计算发帖的频率,和某一种类型的帖子所占的百分比。[12]比较复杂的方法是使用描述性统计。这种方法对调查总体所有变量的有关数据做统计性描述,主要包括数据的频数、集中趋势、离散程度以及数据分布。该方法可以发现数据的内在的规律,再选择进一步分析的方法。上述研究设计均是建立在描述性研究的基础上的。若要分析复杂变量之间的关系,在内容分析中应该加入线性回归、多元线性回归的数据处理方法。杨惠[13]等利用多元回归分析了网络外部特征、学习者个体特征与高水平知识建构的关系。

3研究的变量和分析单位

研究的变量按照性质分可以分为显性变量和隐性变量。显性变量是驻留在文本表层,易被观察的内容。例如:交互的次数,回帖的次数等。这类型的变量比较容易被区分和描述,通过分析文本中某些特定意义词语的出现次数即可确定。隐性变量是某些网络教学平台外部特征和学习者个体特征综合作用的结果,因此难以确定。例如:高级认知思维、知识建构、知识社会互的质量、教师组织行为与知识建构的关系等(见表1)。鲁尔克等学者提出有两种辨析隐性变量的方法,一种是不在编码过程中识别隐性变量,而推迟到解释阶段去。研究者可以自由运用自己的想象力和直觉从数据中得出有效的结论。即数据中归纳内容。另一种方法是定义隐性变量,然后演绎出这些变量的显性指标。[14]

本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文

在使用内容分析法建立量化过程前,首先要确定分析单位。一般有语句单位即按照词、命题、句子这样的单位来划分内容,这样做可能产生大量的分析单元;段落单位即按照段落分割内容,可能的问题是一个段落包含多个变量;主题单位:以单独传达一项信息的内容作为单位;信息单位及语内表现行为单位[15]。在实践研究描述中,研究者一般将分析单位描述为帖子、信息、传播内容(见表1)通过作者的描述很难明确判断研究者具体采用的分析单位。

4 构建内容类别及编码

内容分析的核心在于用类别系统将媒体内容进行分类。优秀的研究在一定程度上源于类别系统界定清晰明确,且匹配需要回答的问题。所有类别的系统应该是互斥的,每个分析单元能够并且只能够归于一个类别。这个环节要求明确研究设计依照变量的要求选择合适的分类理论进行。本文分析论文中主要采用两种方法。一种是选择编码模型,如“Gunawardena 交互知识建构模型” “Berge的思维角色模型”“布鲁姆教育目标模型”等。胡勇,王陆[16]利用Gunawardena 交互知识建构模型将知识建构的过程描述为五个阶段,并对每一个阶段的特征做了充分描述。后续研究者可以将帖子的内容与阶段特征进行比对以确定归属。本文分析的文章中,部分论文没有采用分类的理论框架,而是研究者自己设计内容类别。此时需要质疑类别的互斥和归类体系是否可以解释每一个分析单位。

编码通常需要研究者制定标准化的表格并通过标记的方式对数据进行归类。可以采用纸质文档的形式统计,之后再进行输入。也可以直接录入为电子文档。有一些专门的软件可供研究者使用做内容分析如:TextSmart、VBPro、ProfilerPlus等[17]。王陆[18]等研究者利用上文提到的Gunawardena 交互知识建构模型作为编码的依据建立了知识建构层级的编码表。

5数据处理的过程

通常文本分析涉及到频数和百分比,而不是统计检验。原因在于分析者经常用完整的资料而非样本做研究。[19]但在对网络教学交互进行内容分析时,均涉及对样本的选取。因此,在数据处理的阶段有必要利用如卡方检验来检查观察与期望值之间的差异;或利用t检验来分析样本的显著性差异。如胡勇[20]对网络教学管理类帖子与总贴子的比例进行独立样本的t检验,证明了这类帖子的显著性差异,从而说明教师确实将部分时间用在组织管理中。

三 需要讨论的问题

1 信度的问题

内容分析研究法的应用中,基本检查客观性的方法是评估研究者的编码信度。即不同的研究人员对相同的内容进行编码决策一致的程度。一般可以通过以下步骤保证信度:尽可能详细地定义分析单元的类别边界,对每一类分析的单元进行明确的解释,促使编码人员可以充分理解编码程序。如果有多个编码人员,应该进行培训。在大范围研究开始前,可以从中选择一个子样本让编码人员率先独立地进行分类,从而发现问题。[21]

计算编码员之间的信度有几种方法。比较简单的是Holsti信度系数百分比。这种统计方法反映了总的编码决策中,编码角色一致的数量。

信度 =2MN1+N2

其中M是两个编码员意见一致的数量,N1、N2是两个编码员各自编码意见的数量。这种计算方法严重的缺陷在于信度检验旨在确认采用分类定义的有用性,但有时编码员的某些一致性可能归于偶然。信度其实是定义类别的函数。而不能反映分类定义的质量。所以百分比公式对信度的计算可能过高了。

为了解释编码员之间偶然一致的原因,scott提出了计算信度的改进方法即scott的Pi系数。具体的计算方法是:

Pi=观察一致的百分比-期望一致的百分比1-期望一致的百分比

观察一致的百分比是两个编码员之间一致性的百分比,期望一致性的百分比是每一类百分比的平方和。一般公认Pi信度系数大于.70是可以接受的。在 .60至 .70之间是可以接受的。小于 .60就不是好的信度。[22]

Pi系数的问题在于只能考察两位编码者信度的问题。于是cohen将其发展成为的K系数。这种计算方法的计算公式是:

K=(F0-FC)(N×M-FC)

N为总编码数,F0为评估者意见一致的编码数。FC为预期一致的编码数。M是编码员的数量

本文分析的论文中,仅有一篇使用cohen的K系数通过计算方法讨论信度的问题。其他文章均没有提及使用计算方法考察信度的评判问题。笔者分析可能的原因是部分文章分析的样本量较小,研究者可以独自完成制定内容类别并进行分类处理。但编码信度仍是内容分析法研究需要重点讨论的问题。

2 多种研究方法的综合使用

在应用内容分析法研究网络教学交互中,我们可以发现,研究者一般使用多种研究方法和工具综合实现研究目的。经常与内容分析法配合使用的有问卷调查法、参与式观察、统计分析、社会网络分析(SNA)等。分析原因,笔者认为:网络教学交互是十分复杂的研究领域。其中包含很多变量及其关系,使用单一的内容分析很难保证研究的效度。如上文提到,方法的综合运用与选择研究变量的复杂程度有关,如果只是统计发帖的频次、平均长度等显性变量,可以使用单一方法。但如果分析知识建构、意义建构、交互质量及多重变量关系等隐性变量则需要多种方法的综合运用。同时由于不同学者的方法论取向不同,对同一问题可能采取不同的方法进行分析。但目前国内研究者倾向于使用其他定量研究工具和方法与内容分析法配合使用。因此今后需要在保证研究信度和效度的前提下,扩展研究视角和方法组合。

3 辅助工具的使用

目前,对于文本文件可以采用一些定性分析的软件进行辅助分析。如QSR NVivo 7.0、NUD*IST等软件。研究者可以将分析单位导入软件,定义出分析的内容类别及编码,辅助软件会自动返回不同类别的归属,节省了分析时间。这种方法对文中提到显性变量的分析是很有效的。定性分析的软件允许多个编码者协同工作,这对提高编码的效率是有帮助的。同时部分软件提供了自动编码,搜索和模式匹配。这部分功能帮助研究者在面对大量帖子而又缺乏编码类目的情况下推导出编码类目。最后形成的数据可以导入SPSS、SAS等统计分析软件,进行检验并计算相关性。

参考文献

[1][2][11][14][15] Rourke,L,Anderson,T,Garrison,R.and Archer,W..

Methodological issues in the content analysis of computer conference transcripts International[J].Journal of Artificial Intelligence in Education,2000,(12).

[3][5][6][7][17][21] Wimmer,R.D.,Dominck,J.R.(金兼斌等译).Mass Media Research:Anintroduction[M].北京:清华大学出版社,2005:150-170.

[4]kerlinger,F.N. Foundations of BehavioralResearch(4th)[M].

New York:Holt,Rinehart&Winston. 2000.

[8] 张振虹,黄荣怀.中英学习者网上提问方式比较[J].现代远程教育研究,2009,(5):49-53.

[9][13] 杨惠,吕圣娟,王陆,王彩霞.CSCL中教师的教学组织行为对学习者高水平知识建构的影响研究[J].中国电化教育,2009,(1):31-34.

[10][20] 胡勇.网络教学中的教师角色实证研究[J].开放教育研究,2009,(4):92-96.

[12] 袁松鹤,隋春玲,课程学习论坛中学生交互情况的分析与启示[J].现代教育技术,2007,(7):61-64.

[19][22] Michael Singletary(刘燕南主译).Mass Communication Research-contemporary Methods and Applications[M].北京:华夏出版社,2000:287-290.

[23] 胡勇,王陆,异步网络协作学习中知识建构的内容分析和社会网络分析[J].电化教育研究,2006,(11):30-35.

[24] 王陆,杨惠,白继芳.CSCL中基于问题解决的知识建构[J].中国电化教育,2008,(4) :31-34.

[25] 赵凤梅,胡勇.网络教学中认知思维发展探析[J].中国教育信息化,2008,(5) :13-15.

[26] 陈丽.网络异步环境中学生间社会互的质量-远程教师培训在线讨论案例研究[J].中国远程教育,2004,(7):19-22.

本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文