多媒体课件中插图对听障儿童阅读影响的眼动研究

[摘要]文章通过眼动实验获取了听障儿童在阅读图文混排界面时的眼动信息与数据，据此结合认知心理学的相关理论分析插图对听障儿童文字阅读效果的影响，得出结论：（1）左文右图的布局方式更利于听障儿童对文字信息的获取；（2）听障儿童在阅读图文混排界面时，注意力分配较为困难；（3）插图会使听障儿童在文字区域的有意注意受到干扰，阅读过程有所减慢。

[关键词]听障儿童；多媒体课件；插图：眼动研究

[中图分类号]G420 [文献标识码]A [论文编号]1009-8097（2013）03-0045-05 [DOI]10.3969/j.issn.1009-8097.2013.03.009

一.问题的提出

随着教育技术的蓬勃发展，多媒体课件已经广泛应用于特殊教育的课堂上。聋校教师利用多媒体课件可以有机整合图、文、声、像等多元素的优势，有效地激发听障儿童的学习兴趣和学习积极性。目前，国内多媒体课件的数量繁多，但质量水平参次不齐，尤其缺乏一些针对不同群体的生理和心理特征专门设计、开发的资源。现有的关于聋教育多媒体课件的理论研究也仅是停留在课堂观察和经验总结层面，缺乏有效的、科学的实证研究。

听障儿童听力受损，主要通过视觉通道获取外界信息，而眼动研究被认为是视觉信息加工研究中最有效的手段。目前在认知心理学领域，尤其在阅读心理学领域，已经有众多的眼动研究成果，但针对听障儿童的研究少之又少，数字屏幕阅读也成为研究的一个重点与盲点。随着特殊教育信息化进程的不断加快，探索听障儿童的特殊认知规律，从而为其开发无障碍的数字化学习资源，已经成为现代教育技术研究的一个重要领域。

听障儿童的思维发展与正常儿童一致，要经过动作思维、形象思维、抽象思维三个阶段，但是由于听力受损，听障儿童的言语形成和发展较为迟缓，思维水平较长时间停留在形象思维阶段，更多依赖具体事物进行思考，表现出很大的具体性、形象性。戴尔在“经验之塔”理论中提出：学生学习知识是一个感性认识与理性认识相结合的过程，所以多媒体课件设计者总倾向于以图文并茂的形式呈现教学内容。一些研究者认为插图能帮助阅读者更易进入学习情境并理解学习内容，另一些研究者认为插图的存在束缚了学生自由想象的空间，本文暂不对此进行探究，而是把研究重点放在图文结合的呈现方式是否会干扰学生注意力，影响学生的文字阅读效果。

多媒体课件中的大部分插图具有辅的说明作用，但也有部分插图只是为了填充或美化画面而不具有实质的意义。已有研究表明，听障儿童注意的分配比较困难，很难在同一时间内把注意指向不同的对象；注意范围较狭窄且稳定性差，如果屏幕中出现很多无关的图片、动画等干扰性因素，会影响注意的稳定性从而造成阅读困难。本实验的假设是：听障儿童在阅读图文结合页面时，注意力分配狭窄会导致阅读困难；插图在页面中的位置变化会对阅读过程产生影响。

二.实验设计

1.实验对象

听障儿童组：从徐州特教中心随机选取六年级学生6名，平均年龄为14.2+0.8岁。6名学生均为重度聋，不佩戴助听器，智力正常，矫正视力均在1.0以上。

正常儿童组：从徐州解放路小学随机选取六年级学生6名，平均年龄为12+0.6岁。6名学生智力正常，矫正视力均在1.0以上。

2.实验仪器

瑞典公司生产的Smarteye5.4眼动仪设备。测量原理：角膜反射，采样频率60/120H。眼动仪连接到分辨率为1280*1024像素的17寸显示器。

3.实验材料

本实验采用文字与相关插图组合成的图片作为实验材料。文字内容节选自人教版七年级上册语文课本中的《皇帝的新装》，文章难度不大，没有生僻字。由于文字内容是记叙性的，不需要辅以说明，所以图片的作用仅是增加趣味性，吸引学生的注意力。为了避免图片位置的放置对实验结果产生干扰，A组图片内容呈现方式为左图右文，B组图片呈现方式为左文右图，每组各三张图片，数据处理时取三组数据的平均值。

4.实验设计

本实验采用2*2析因设计，研究听力水平（听障和正常）和图片位置（A组：左图右文，B组：左文右图）二因素对儿童文字阅读过程的影响。具体实验设计为：第1组：三名听障儿童观看A组图片；第2组：三名听障儿童观看组B图片；第3组：三名正常儿童观看A组图片；第4组：三名正常儿童观看组B图片。实验过程记录了被试的兴趣区域、注视时间、注视次数、眼动轨迹图等信息。A、B两组各三张图片，结果分析时取三张图片所得数据的平均值。

5.实验过程

为了保证实验的信度，整个实验过程分为练习和正式实验两个阶段。练习过程：练习开始前对被试者进行眼校准，校准后告诉被试者身体要保持目前的姿势。在与听障儿童进行交流时，需要聋校老师的帮助，指导被试熟悉眼动仪的测试流程后进入正式实验。正式实验过程：（1）被试者按照练习过程中的注意点进行调整；（2）被试者清楚要求后自己按键开始测试（每组的3张图片自动放映，时间间隔为30秒）；（3）阅读3张图片结束后按键跳出，主试者保存被试者眼动信息。

6.统计分析方法

在数据采集时，删除单次注视时间低于0.1s的数据，使用SPSS18.0进行数据分析。对眼动指标的比较采用单因素方差分析，检验水准a=0.05。

三.研究结果

1.眼动指标的差异

实验中获得的眼动数据包括注视时间、第一次到达目标区域时间以及非注视总时间，具体结果如表1所示：

注视时间是指关注一个注视点所停留的时间，注视时间反映了阅读者的注意力集中情况、材料的阅读难度等。不同听力水平儿童注视时间的差异有统计学意义，听障儿童在文字区域的注视时间多于正常儿童，F=5.601，p=0.045；图片位置的效应无统计学意义，F=1.955，p=0.200：儿童听力水平和图片位置的交互效应无统计学意义，F=0.014，p=0.908，如表l所示。

第一次到达目标区域的时间是指在区域内搜索目标时，第一次准确定位的时间，是衡量学习者学习效率的重要指标。不同听力水平儿童第一次到达目标区域的时间差异不具有统计学意义，F=2.164，p=0.161：图片位置的效应无统计学意义，F=0.414，p=0.529；儿童听力水平和图片位置的交互效应无统计学意义，F=0.342，p=0.567，如表1所示。

不包括空白的非注视总时间是指已经被眼动仪记录，在每两个注视点之间实现转移的时间，即在眼动轨迹图中，连接两个注视点之间移动线上的时间总和。在注视点之间游离的时间越长，表明阅读者的注意力不够集中或阅读速度较快，阅读难度较小。不同听力水平儿童非注视总时间的差异有统计学意义，F=15.732，p=0.005；图片位置的效应无统计学意义，F=2.075，p=0.169：儿童听力水平和图片位置的交互效应无统计学意义，F=1.395，p=0.255，如表1所示。

2.眼动轨迹图的差异

眼动轨迹图是指将眼动信息用数据和图形的方式呈现出轨迹视图，能最具体、最直观和最全面地反映眼动的时空特征。由图1、图2对比可知，听障儿童对文字的关注时间更为持久，仅用少部分时间观察图片，而正常儿童则花费了一半的时间观看图片。听障儿童的观察具有一定的顺序性，先观看标题，再观看文字最后观看图片，而正常儿童却遗漏了标题，先观察图片再阅读文字，之后又将视线转到图片区域。此处只列出了两张具有群体代表性的图片，反映了两组被试的整体情况。

四.讨论

1.插图对被试阅读效果的影响

（1）插图对听障儿童阅读效果影响

Lvein依据文章中图画的功能，把图画分为装饰、表征、组织、解释和转换五。本实验中插图发挥的作用应为装饰与表征，也是在语文阅读材料中最常用的一表现形式。本实验的假设为：听障儿童在阅读图文结合页面时，注意力分配狭窄会导致阅读困难。研究的结果表明，不同实验组阅读图文结合页面时的阅读时间、阅读速度和阅读顺序都有较大差异。听障儿童在阅读过程中需要更长的时间理解文字，所以给予图片更少的关注，整体而言阅读速度较缓慢且阅读过程呈现明显的顺序性和规律性。

（2）插图位置对被试阅读效果的影响

在对文字区域注视时间、第一次到达目标区域时间的数据进行方差析时，页面的主效应均不显著，但由比较分析中的数据可知（参见表1）：被试在阅读左文右图页面时在文字区域的注视时间较少，第一次到达文字区域的时间较快，且这差异同时体现在正常儿童组与听障儿童组。插图的位置对被试阅读过程的非注视总时间的主效应具有显著性，由于当前人们的阅读习惯为由上到下，由左向右，所以文字置于左侧更利于阅读者视线的迅速定位，进行高效的阅读。

2.正常儿童与听障儿童在不同兴趣区的注视特征

本实验中把图文结合的页面划成了两个兴趣区，即文字区与图片区，并通过实验记录了实验者在每个兴趣区的关注时间。听障儿童阅读页面时，在文字区域停留了24s，而正常儿童仅停留了15s。造成此现象的原因并不是听障儿童对文字更感兴趣，而是在一定的阅读任务下，他们对文字的有意注意明显要强于图片区域。在实验后与被试的交流中，被试者普遍表示在实验过程中集中精力、仔细阅读文字内容的意识非常强烈，所以将大部分精力都放在了文字区域，并在完全理解文字内容之前刻意避免了对图片区域的关注。而正常儿童在观察页面时虽然明白自己的阅读任务，但是并没有对自己产生强迫性的要求，阅读过程更加随性和自由。听障儿童由于自身缺陷，阅读能力与阅读速度都显著落后于正常儿童，所以听障儿童在阅读文字区域时更为困难，需要更多的注视次数和更长的注视时间对内容进行获取和加工。

仔细观察不同组别被试的眼动轨迹图时可知（参见图1、图2），在30s的时间内，正常儿童在文字区域的注视次数较少，且眼跳距离和注视时间都显著小于听障儿童。观察各个注视点的顺序还可发现如下特点：正常儿童在开始阅读页面时，第一个注视点出现在图片区域，即色彩鲜艳的图片对正常儿童更有吸引力，随后被试把注视点转移到文字区域，此现象可能是出于对文字内容的好奇也可能是自身对阅读任务的认知。在文字区域的第十个注视点后，被试的视线又转移到图片，第十七个注视点后，被试的视线又回到了文字区域，此不断反复转移视线的过程在正常儿童被试组都有不同程度地出现，而在听障儿童组情况却完全相反。观察听障儿童眼动轨迹图，被试的视线首先定位在标题，之后开始阅读文字内容，在文字内容完全阅读完毕，被试仅在剩余的时间内对图片进行了观察。这一状况的出现与实验前的预想完全相反。大量的研究都表明听障儿童的注意力不易保持，更易受无关信息的干扰且对色彩鲜艳的图片内容等更感兴趣，而在本实验中实验结果呈现的事实却与以上理论相悖。为了探究此现象的成因，需要对听障儿童的心理特征进行分析。

3.听障儿童心理特征对实验结果的影响

Meadow指出，听障儿童个性比较自我，易接受暗示，缺乏独立、创造性。在接受实验的6名被试中，平均年龄为14岁，正处于耳聋学生的中年级阶段，具有正常少年后期的身体和生理发育特征，然而由于语言发展迟缓的影响所致，他们还带有儿童阶段的心理特征：好胜心强，不甘落后于他人，好学上进，但批判性不足。在实验过程中，他们的这些特征也得到了很好的体现。在其他同学进行实验时，他们对仪器和实验材料充满好奇，老师示意安静时，他们立刻变得安静。在参与实验时，他们坐姿端正，不轻易移动，老师讲的实验须知都能牢记于心并尽力配合。观察图片时也严格按照老师要求的“仔细观察图片并阅读文字内容”。而正常儿童在参与实验时，整个实验过程就颇多周折。被试者的平均年龄为12岁，好奇心强并善于表现，实验要求中的每一点他们都会心生疑问，在实验过程中也喜欢增加一些小动作，有些甚至会对其他正在实验的同学故意进行干扰。

造成听障儿童与正常儿童在实验中表现差异的原因有许多，一方面是由于听障儿童自身的生理和心理特点决定了他们更为自卑而谨慎顺从，另一方面是因当前我国特殊教育与普通教育机制之间也存在很大差别。普通学校的班容量较大，每个班可以容纳四五十人，每个学生都有机会去接触大量的人群参加各类的活动，而特殊教育学校一般采用小班教育，每个班级的学生不超过20人，由于听障儿童每个人的家庭背景、生理状况都存在巨大差异，所以他们的沟通能力和自我表达的意愿在未成年前都显著地落后于正常儿童。

4.听障儿童认知特征对实验结果的影响

（1）听障儿童的视觉感知速度较快

从生物学的角度看，人具有生物自发的适应和补偿功能，当机体的某一部分发生损伤时，整个机体的功能将重新组合，健全器官将在一定程度上代偿受损器官的功能。前苏联学者施夫对听障儿童与正常儿童的视觉反应时做了比较实验，得出结论为听障儿童反应速度快于正常儿童。在本实验中，每隔30s图片会进行自动切换，此时被试者就必须重新将视线定位到文字起点的位置。为了研究听障儿童与正常儿童重新定位的速度，笔者将文字区域作为目标区域，并通过眼动仪记录的数据考察了被试第一次到达目标区域的时间。

被试第一次到达目标区域时间的主效应不存在显著差异，即每组平均成绩没有显著差异。当舍弃均值对个体进行分析时，发现个体之间的差别十分显著。听障儿童组内的标准差大于正常儿童（参见表1），而标准差反映了数据的离散程度，也就是虽然实验组与对照组之间的均值相差不大，但是在听障儿童内部的数据差异比较明显，离散程度较大。图3为不同组别被试第一次到达目标区域时间的折线图：

如图3所示，正常儿童第一次到达目标区域的时间在0～0.5s之间，而听障儿童的组内存在显著差异，时间短的接近0s，时间长的竟达到3.5s，由此可证明听障儿童的视觉敏感度确实要强于正常儿童，视线转移速度也要显著强于正常儿童，这与他们视觉补偿的生理机制重要相关。而在此实验中由于出现了图片的干扰，听障儿童的有意注意受到干扰，第一次到达目标区域的时间呈现出不稳定性。

（2）听障儿童的注意力分配较困难

无意注意是没有预定目的、也不需要努力而实现的注意，它的产生主要取决于客观刺激本身的特点。无意注意在人们的学习和生活过程中都起着非常重要的作用。在本实验中由于图片的形状、色彩等特征，其刺激性要强于文字，被试的第一个注视点出现在图片区域非常正常，但是正常儿童受任务的驱动会很快将注意力转移到文字区域，而听障儿童的状况却不尽相同。有的被试有很强的自我控制能力，第一个注视点就在文字区域并能坚持阅读，有的被试当第一眼看到图片时，由于注意转移能力的迟钝导致需要花费较长的时间才能把注意力从一个对象转移到另一个对象上去。这现象在眼动轨迹图中也能得到验证。正常儿童阅读文字能力较强，能在较短时间内完成文字阅读，并能在文字与图片区域轻松实现视线的转移与注意的分配。听障儿童注意的分配比较困难，很难在同一时间内把注意指向不同的对象，他们的注意转移过程是间断的并且需要较长的时间。听障儿童获得的感知形象往往缺乏系统性和完整性，这给聋教育多媒体课件的无障碍设计带来许多启发：页面设计时可以通过一些动画和图片等帮助听障儿童更充分的理解和吸收教学内容，但是不要出现太多与内容无关的元素，无关元素会引起听障儿童的无意注意，且一旦引起注意需花费较长的时间才能实现注意力的转移和回归。同时，在穿插一些辅的元素时要尽量不打破原有内容的整体性，一旦打破就需要学习者花费时间与精力进行重新组织与排序，影响学习效果。当需要给文中添加图片等元素时，要保证其与内容的相关性、教学性和简明性。不要添加一些无关的装饰性元素，由于本实验中限定了观察时间，当在没有时间限制的时候，听障儿童缺乏对整个界面整体的统筹概括能力，就会对整个画面的元素进行细致的观察，影响阅读进度和效率。尽可能把一些有价值的元素放在文中的某个确定的方位，如果文中出现了文字包围式的图片等形式，听障儿童的阅读过程势必会受到十分严重的影响。当然这只是出于科学的推断，具体会产生怎样的影响依然需要一系列更为精准的后续研究。

不包括空白的非注视总时间就是指已经被眼动仪记录，但却不是停留在注视点的时间总和，也就是眼动轨迹图中视线转移线上所花费的时间。根据数据分析显示（参见表1），正常儿童的非注视总时间约为12s，而听障儿童仅为7s。由之前的分析也可推断，由于正常儿童阅读能力较强，且注意力的分配能力较强，所以其眼跳距离较长，视线可以在不同的区域游移。而听障儿童对文字的视觉加工难度大，注视时间较长，眼跳距离较小，所以非注视时间也就相应较短。

（3）听障儿童的语词加工能力发展较慢

Just和Carpenter在1980年发表了一篇文章题为《一阅读理论：从眼注视到理解》，他们以眼动指标考察了被试在阅读时对词语、句子和文章的加工情况并发现：在心里加工负荷较大的地方注视停留的时间较长。他们还提出了两眼动理论模型：直接假说模型认为阅读者在阅读文章时对每一个实义词进行及时的解释而非延迟进行；眼-脑假说即眼睛和大脑对词语的加工过程是同步的，也就是说对某个词的加工时间就是对该词的总注视时间。然而真正的阅读过程并不发生在阅读者阅读文字的过程中而是在识别文字过后的认知加工过程中。听障儿童在阅读过程中将大部分时间用于注视文字本身，也就是用于识别符号，而正常儿童识别文字没有难度，在视觉游移的过程中，也就是在较长的眼跳持续过程中实现了对文字内容的理解和深层次的加工。

Mayer从信息处理模式的角度提出了视觉信息和言语信息需经双重编码才能辅助阅读者建立文字和可视化信息的认知相关性，并提出了如图4的模型。

此模型提出言语和听觉经验是通过不同的通道进行加工的，不同的通道构建了不同的模型再与先前经验进行整合以促进对多媒体信息的加工和记忆。听障儿童双耳失聪，切断了声音的加工通道，对语词的加工便只能通过视觉通道进行。当语词和画面都通过眼睛获取并加工时就加重了阅读者的认知负荷，阻碍学习的高效进行。所以在为正常儿童设计多媒体课件时，应辅之以解说词帮助学习者构建言语模型，而在为听障儿童设计时画面的存在会在一定程度上干扰语词组织的速度和精度。

五.结论与建议

阅读是一个复杂的过程，夹杂着多大脑的内部机制，表现在视觉上就有回视、眼跳、瞳孔大小变化等多形式。实验表明，正常儿童视线跳跃感强，视觉范围较广，对整个页面内容把握能力较强。听障儿童的视线有连续性，尽管观察细致认真，却缺乏对整体内容的把握，反映了听障儿童认识事物缺乏整体性、概括性的认知特点。

阅读过程中，听障儿童在明确认知任务时能表现出较强的自控能力，但是在维持有意注意的过程中会耗费大量的精力，导致阅读速度较慢，具体体现在注视次数增多、注视时间增长等方面。听障儿童的视觉反应时间较短，能够准确定位并快速到达目标区域，但当对无关图片产生无意注意时，很难在短时间内实现注意力的合理分配和及时转移。因此在聋教育多媒体课件制作的过程中，要避免与教学内容无关的动画、图片等干扰出现，以规避听障儿童因长时间的无意注意对学习的效率和效果产生影响；另外还可选择一些与教学内容显著相关的元素放置在页面上，但不能打乱重点教学内容的整体性。实验证明：整体性、简洁性和相关性依然是聋教育多媒体课件设计的基本取向。