体感交互设计及其在三维虚拟实验中的应用

时间:2022-09-17 01:21:34

【摘要】一、三维学习环境中体感交互设计目标分析 (一)WIMP交互体验问题 当前主流的桌面交互方式是基于WIMP范式的。WIMP是指以Windows(窗口)、Icon(图标)、Menu(菜单)、PointClick...

体感交互设计及其在三维虚拟实验中的应用

[摘要]人机交互方式直接影响三维虚拟学习系统的沉浸感和用户体验,基于桌面的WIMP交互由于信息维度的限制,在完成三维交互任务时存在用户体验不佳问题。体感交互使用自然习惯动作直接交互,其交互信息具有连续性、多维性、隐含性等特点,能减轻对WIMP交互中鼠标键盘的操控依赖与操控复杂度,使学习者更关注学习任务本身,在三虚拟学习系统中具有更好的适用性。与WIMP交互相比,体感交互设计的最终目标是提升学习体验,在影响学习体验的四个主要因素中,体感交互行为过程最为关键,主要体现在“定位”、“操作”、“反馈”等环节,并通过隐喻设计促进学习者的认知和反思。对体感虚拟实验的案例分析和开发实践表明,体感交互能提高与三维对象的交互效率、增强学习沉浸感,体感交互设计应遵循情景性、隐含性、及时反馈、反思性等原则。

[关键词]体感交互;WIMP;学习体验:交互设计:三维虚拟实验系统

现代计算机科学的发展使得人机交互技术也出现了日新月异的发展,界面形式经历了从第一代基于字符的命令语言式界面到目前主流的桌面图形用户界面的飞跃,数字化学习环境的交互体验得到了显著的提升。但是。随着更多的设备装配了传感器、微处理器、网络连接,同时互联网也已经发展成为一个能容纳各种应用的高级平台,各种学习应用得到了拓展,“聋哑”学习设备的升级,虚拟学习环境的延伸,使交互手段和交互设计有了新的内容,桌面交互模式固有的弊病也逐渐暴露,并给用户操作带来了较大的限制,桌面交互不再是交互设计唯一的中心。于是出现了新一代基于现实的人机交互,它是随着虚拟现实、混合现实、增强现实以及普适计算等“脱离桌面”技术的发展,三维人机交互成为重要的研究领域之后出现的。RBI强调利用现实世界中的一些主题。如从人们对基本常识的理解、对自身肢体动作的理解、对环境的理解等不同层面。来对新的交互模式进行描述。

体感交互是RBI的一种,强调利用肢体动作、手势、语音等现实生活中已有的知识和技能进行人机交互,而不需要学习者额外学习太多的新知识。体感交互发端于游戏行业,近几年得到了飞速发展,其中微软公司开发的集图像识别、视频捕捉、语音控制等多种技术于一体的体感器Kinect,实现了不需借助任何手持设备,即可通过手势、肢体动作、语音等自然方式与终端交互。自然体感交互释放了手指与键盘的紧张关系,减轻了人们对鼠标键盘的操控依赖与操控复杂度,淡化了计算机工具与技术的界线。从而使学习者更关注学习任务本身。这种自然的人机交互体验得到了广泛的认同,开始在教育中催生新的应用,并正在改变和扩展着学习交互方式。

自然体感交互能更好地满足三维虚拟学习环境中的交互需求。如,在三维虚拟实验系统、三维教育游戏中的交互应用。虽然已有的2D人机交互设计的有用经验可以为体感交互设计提供有益的参考,但体感交互应用于三维学习系统中所涉及的交互方式、交互行为、交互界面、交互评价等方面皆有新的内容,所以需要新的交互设计。

一、三维学习环境中体感交互设计目标分析

(一)WIMP交互体验问题

当前主流的桌面交互方式是基于WIMP范式的。WIMP是指以Windows(窗口)、Icon(图标)、Menu(菜单)、PointClick(指点式)为交互元素的交互界面,它以“桌面”为隐喻(Desktop Metaphor)。隐喻就是利用联想和类比的方式。用一个概念范畴来理解另一个概念范畴,如“桌面隐喻”就采取了“计算机操作系统是一个办公系统”的隐喻,如其中的“回收站”可以隐喻为删除文件,隐喻的价值不在于呈现一个具体的形象,在于传达出的意象,让用户把未知的事物看成已知,使交互更加流畅和自然。与第一代命令行交互界面相比,WIMP具有对象可视化、语法极小化、快速语义反馈等明显优势,改进的用户体验使它统治了用户界面几十年。

从WIMP界面的交互行为来看,鼠标和键盘一直是人机交互的主要输入设备,是传达指令的“传令官”,用户通过“鼠标经过”、“鼠标点击”、“键盘按下”等离散输入事件来传递指令与行为。这种交互行为的优点是定位操作精确,能提供迅速的反馈,操控二维对象比较容易。但WIMP的根本特性是“二维性”,这种信息维度限制决定了其在三维场景的交互中存在以下缺点:界面复杂度随交互任务复杂化呈非线性增长。即不能用一种简单自然的方法表示复杂的多维关系:难以操作三维物体和完成三维交互任务:采用顺序对话模式。不能处理同步操作。仅支持鼠标键盘的精确和离散输入,不能利用语音、手势、触觉等其它交互通道的连续输入。

目前,一些桌面三维虚拟实验系统,实现了实验场景的三维化、虚拟化展示,但实验操作还是通过WIMP界面这个“中介”来实现的。对比现实世界中的实验过程。即直接操作仪器设备,这种界面的存在,本身就是一种压力和障碍,因为界面本身不是实验内容和任务,可是在计算机虚拟情景中,学习者迫于某种压力或约束,又必须把自己的一部分心智和精力放到应对各种复杂的界面认知和识别上,分散了注意力,破坏了体验的连续性,降低了学习的本位需求和交互效率。此外,通过WIMP方式中的键盘鼠标来间接操作三维物体,学习者感觉操控的是计算机,而不是学习对象本身,造成学习情感体验不佳。

(二)体感交互方式及特点

体感交互是通过用户的手势、肢体动作、语音及这些方式综合的虚拟人像技术来完成交互任务。手势包括静态手势与动态手势,静态手势通过静态手势识别系统来利用不同的手势表示不同的交互语义,而动态手势是通过提取手势的运动特征,如指点、指向、指点运动轨迹等实现更加直观的交互,比如图片的查看、模型的旋转等等。Kinect体感器还可实时追踪真实场景中用户的深度信息和骨骼节点来识别人置与姿势,实现肢体动作交互。内置的麦克风阵列可以接收来自不同方位的声音信号,实现语音交互控制。虚拟人像是三维虚拟环境中用户的一个化身,用户综合运用手势、肢体动作、语音等来直接控制它,协助用户完成与虚拟场景的交互。可见,体感交互在一定程度上摒弃了WiMF这一交互中介,可以实现用户直接操作三维虚拟对象,而操作方法是基于现实生活经验的。表1是体感交互与WiMF交互的特点比较。

从表1的比较中可以看出,体感交互信息具有连续性、多维性、隐含性等基本特征:

1 交互信息的连续性

WIMP界面中用户通过发送离散的命令给系统,系统收到命令后执行相应的操作,如。使用WIMP中的间接指点式输入设备鼠标对三维场景中的模型进行选择/缩放/旋转,移动等多步骤操作时,需要每次移动鼠标切换到其中一种操作状态。再定位到对象进行相应操作,这种操作方式需要不断重复“Point and Click”,还需要手眼的很好配合。而在使用体感交互时,信息的输入和反馈都是连续的,可以使用手势直接完成这几种操作,甚至可以同步进行,这种连贯的操作给用户带来现实中的真实感。

2 交互信息的多维性

在信息输入输出方面,体感交互采集用户运动空间的三维信息(追踪节点的三维坐标)作为输入,并且可视信息呈现也是三维的:在交互通道方面,突破了WIMP中仅仅使用人的眼睛和手指方式,增加了听觉、语音、肢体动作等交互通道。这种多维性能更好地匹配三维交互环境,并从感官感受、行为方式以及使用空间等方面提高交互的沉浸感。

3 交互信息的隐含性

隐含性是指用户在交互过程中,不需要关注任务的执行方式和过程,只需关注任务本身。体感交互使用自然习惯动作直接与学习对象交互,能淡化用户对正在使用计算机的认知,强化学习情景和学习任务。交互的隐含性能避免因学习复杂界面而增加认知负荷,提高交互效率。

(三)体感交互设计目标:提升学习体验

从体感交互的特征分析来看,体感交互可以弥补WIMP交互的一些不足。在三维虚拟学习环境的人机交互应用中具有更好的适用性。因此,探究在三维学习环境中如何使用自然交互方式完成交互任务。释放WIMP交互中非自然的被强迫的操控习惯,使学习者关注任务本身,并引导出深层心理上精神上的愉悦体验,并最终提升学习体验,是体感交互设计的目标。

学习体验不完全等同于一般产品的用户体验,它是一种跟学习活动密切关联的经历,是对学习活动的反思,是在反复的学习亲历中得到情感体验、人格提升、个性张扬,生命活力得以焕发,生命价值得以提升的过程。因此,学习体验除了具有用户体验的因素,应更加突出学习的情境性,包括使用情景、动机、先验知识、气质和多种认知因素等;在体验层次中,除了感官和行为,更强调反思性,即引发探讨和思考。

学者Andrew Perkis提出了多媒体计算机环境中用户体验评价树形模型。对分析达成用户体验目标的因素具有一定的参考意义。但过于简单和笼统。著名心理学家Donald A.Norman在《情感化设计》中提出体验分层理论,突出体验的产生要经历感官、行为、反思三个层次。本文在分析体感交互特点的基础上。结合Norman的体验发生论以及Andrew Perkis的用户体验模型的优点,提出了三维虚拟环境中基于体感交互的学习体验影响因素树状模型,如图1所示。该模型中使用体感交互作为主要交互手段,强调了用户交互行为对学习体验的重要影响。

在使用体感交互的三维虚拟学习环境中,影响学习体验的因素被细分为四个维度:用户、用户的交互行为、三维环境、学习内容。这四个方面相互关联,形成对学习体验的支撑体系,其中用户模型具有主观不可控特点,其它三个因素均是客观可控的。从学习体验的生成来看,学习体验依承于学习活动,而学习活动依承于交互行为(通过交互行为来体现)。这里的交互行为是指在三维虚拟学习交互场景中,主要依赖体感交互技术,学习者与学习任务之间的行为和感知反馈过程。交互行为作为学习的主要活动方式,把其它三个要素紧密联系在一起。

从前面的分析中得知,WIMP中的交互行为主要是离散的鼠标键盘输入输出事件,学习者与学习对象是一种松散非直接的关系,这也是造成学习体验不佳的原因。而体感交互行为与WIMP交互行为在交互发生环境、交互方式等方面存在较大的差异,实现体感交互目标,必须要以学习者在三维环境中的感知、记忆、思维、决策、反思等特点为基础,分析和总结符合学习者心理认知特征的交互行为过程。

二、学习体验目标下的体感交互行为过程

目前的用户认知和交互行为模型大部分是针对WIMP界面的,如,Kaur K等人在Donald A.Norman研究的基础上提出了“人机交互行为的九个阶段”模型。描述了用户在使用WIMP系统过程中每个阶段的行为特征。由于WIMP交互与体感交互存在本质差异,它们各自的交互行为也存在很大的差异。在宏观上分析研究人们的空间感知能力、获得深度线索的途径以及行为特点的基础上,结合体感交互特征,笔者总结了三维虚拟环境中体感交互行为过程,如图2所示。

学习者发起一个体感交互行为,心理过程往往要经过七个阶段:意图、计划、动作实施、感知反馈、认知、反思、形成新意图。这是一个螺旋上升的过程。前一个过程的结束意味着下一个过程的开始,完成一个任务往往需要有多个交互过程的循环。

其中显互行为有“定位”、“操作”、“反馈”三个阶段。“定位”是操作的前提,在3D界面中通过对动态手势的跟踪实现指点式输入,快捷定位学习路径以及确定要操作的对象,一般使用虚拟手来实现,使用不同的手势或停留时间表示是否选中:操作是定位对象后进行的查看、移动、缩放、旋转等动作:反馈是系统向用户提供信息说明某一操作是否已经完成以及操作所产生的结果。如模型碰撞检测与显示。

在定位和操作阶段的体感交互中,为了获得更好的交互体验和效率。需要进行隐喻设计。在三维虚拟学习系统中,隐喻不仅是一种界面可视化手段,在现实习惯与虚拟操作的整合、引导用户直觉交互行为方面也起着重要作用,具体表现在空间隐喻设计和行为隐喻设计上。

空间隐喻来源于对空间位置和空间运动的认识,它通过自身和外界事物的前后上下、远近里外、中心和边缘的关系来表达对事物的认识。体感交互中的空间隐喻不再局限于二维桌面隐喻,其所在的交互环境是一个更真实的三维虚拟空间,这个空间的隐喻设计有着更大的想象力,如,2D界面中的即时聊天工具的用户列表都采用树状列表形式,而在3D中可以隐喻为在一个三维空间的教室中讨论问题的班级,创造出更加愉悦的交互体验。

行为隐喻是指将生活中熟悉的自然动作简化、分类、并映射到虚拟操作。如,用双手掌心相对的旋转动作表示旋转虚拟对象。行为隐喻利用现实生活定活动的经验图式引发用户对虚拟物体操作的联想。这种联想不在于表象。更注重“情境”类比。也就是类比现实生活中的活动,以及活动相关的环境、对象、过程。恰当的行为隐喻可以使用现实生活中的很多操作习惯来直接操作学习对象,由于在初始阶段就能对即将开始的行为和随后发生的结果有一定的预期,学习者可以节省很多学习时间,如,可以使用现实中旋转一个魔方的手势动作经验来旋转三维虚拟实验仪器。

为了更有效地引导学习者的直觉交互行为,隐喻必须以学习者为中心、基于“用户概念模型”进行设计。用户概念模型是用户根据已有的生活学习经验形成对目前系统(如三维虚拟实验系统)应该是什么样子的思维概念上的模型(如图1中用户模块因素所示)。当用户在使用该系统时,潜意识会被激活,从而直接影响用户对该系统如何使用的判断。因而隐喻设计应尽可能接近用户的概念模型,应基于用户对3D环境的总体知识,将系统从功能和使用方式的角度,表现成用户熟悉的事物,借助知识迁移的过程加速用户心智模型的建立,从而把认知新事物的负荷降到最低,聚焦对任务域的理解和认知,提高交互效率。

三、Kinect在虚拟实验中的应用案例分析及开发实践

(一)Kinect虚拟实验应用案例分析

自2011年微软PC版Kinect SDK以来,Kinect体感交互得到广泛关注,迅速在机械控制、教育系统、虚拟娱乐、虚拟手术、虚拟实验室等方面得到了应用。由于虚拟实验能超越传统单纯的实物教学方法,使微观实验、危险性实验、高成本实验等成为可能,同时,使用体感交互方式完成虚拟实验,使学生摆脱鼠标键盘束缚,在学习体验和学习效率方面具有明显优势,为此,国内外一些高校和研究机构开展了在虚拟实验中应用Kinect新型人机交互的研究项目,并取得了较好的效果。如。瑞士伯尔尼大学Forensic医学研究所的Virtopsy项目成员研发了Kinect在医学实验方面的应用系统:美国ITWorx教育机构新近推出了体感虚拟实验室:内布拉斯加大学林肯分校的计算机科学与工程创新实验室利用Kinect设计和开发了体感绘画实验项目,使用手势动作在电子屏幕上进行绘制实验。国内相关的研究起步稍晚,但也出现了一些有趣的应用,如,Kinect蜡笔物理小游戏,使用Kinect控制手势绘制的图形,并使之具有物理特性,比如重力,吸引力等;华南理工大学K-shining团队制作了体感交互虚拟实验软件等。

1 K-shinin~团队的Kinect虚拟实验软件

K-shining团队主要由华南理工大学的学生组成,使用Kinect SDK for Windows开发包以及WPF编程技术,开发了使用Kinect体感交互完成虚拟实验任务的软件,软件内的实验内容涉及物理、化学、数学甚至大学中一些专业学科的实验。如图3是中学物理课程中的牛顿摆实验案例。

在实验界面左侧显示了实验原理及操作方法,界面中间是可以摆动的实验小球,用户可以使用现实生活中的自然手势操作小球运动,如将抓握手势移动到其中一个小球笋短暂停留后将拾取该小球,移动手臂时小球跟随移动。松开抓握手势后小球将落下。这一系列动作都是由Kmect通过骨骼跟踪来识别的,并通过程序中预设的动作手势来实现“语义”层面的交互。

在实验过程中,除了通过控制手势来隔空移动、旋转、开关虚拟实验仪器等,也可以利用kinect的音频设备采集声音信号实现一些复杂或细微的操作,例如,捏滴管、微调旋钮、控制开关等动作。该软件还具有实验教学功能,如,实验提示和警告功能能够及时给实验者提供实验中的各种信息(例如温度、湿度、压强等变化信息);实验数据通过软件实时记录下来。方便生成实验报告。

这是一款在国内较早引入Kinect体感交互的虚拟实验软件,实现了简单的体感交互功能,学习者能使用手势直接操作部分三维虚拟实验对象,提高了虚拟实验的真实性。但由于使用WPF构建虚拟实验仪器,缺少三维引擎提供的强大物理系统和渲染功能,虚拟实验场景比较简单。用户操作视角单一,交互手势也还有待丰富。

2 ITWorx体感虚拟实验室

ITWorx是位于美国北部的一家提供软件专业服务和E-Learning解决方案的全球性教育机构,在2012年6月于圣地亚哥举办的国际教育技术协会年会中,该机构展示了他们的“多语言社会学习平台”,并演示了使用Kinect体感交互作为人机交互手段的“虚拟实验室”。图4是其中化学虚拟实验室(Virtual Chemistry Lab)的操作界面。

化学虚拟实验室通过仿真现实实验环境和对象,创造了一个三维虚拟实验世界,用户可借助视觉、听觉、肢体动作等多种通道与之交互,并直接参与探索仿真对象在不同实验条件下的作用和变化。该项目除了具有降低真实实验的材料成本、时间成本、可反复操作等优势外,最大特色就是体感交互带来的沉浸感和全新的有趣的用户体验。

进入实验界面后。角户站在Kinect体感器前通过手势操控“虚拟手”完成实验过程,如拾取试管、倾斜、倒出试剂等操作,如图4所示。此外,学习者还可以通过预定的手势放大或缩小虚拟实验场景,当学习者的身体在体感器前左右移动时,实验场景视图可以随之改变视角,实现全息图效果。由于Kinect体感交互:没有触觉和力反馈,该软件使用了通感,即使用音效或视觉(如高亮显示)输出来表示虚拟仪器被拾取或发生了碰撞。

ITWorx体感虚拟实验通过合理的空间隐喻设计给学生提供了熟悉的实验情境,同时定义了较丰富的手势交互语义,能使用现实生活中的自然习惯动作完成对虚拟对象的操作,学生可以享受动手的乐趣,在“试误”体验式学习中掌握化学知识。在该实验中,Kinect不仅可以作为教师在课堂上的交互演示工具,也可以同iPad、智能手机一样,成为学生个人学习工具,通过肢体动作亲身体验实验室全景虚拟情境并与之互动,使学习变得更有效、更自主、更有趣。

(二)基于Kinect的减速器虚拟组装开发实践

减速器是高等院校《机械设计基础》课程中的一个典型教学实例,笔者使用微软的Kinect体感器,结合3D引擎Unity3D,实现在普通PC上运行的“减速器组装”三维虚拟实验。在实验过程中,学习者无须任何手持设备,通过手势、肢体、语音等通道与虚拟仪器进行自然交互。完成减速器的组装,以更好地理解减速器的运行机理、功能划分以及复杂结构。

1 系统结构

体感交互的虚拟实验系统在传统的桌面三维虚拟实验系统中增加了前端体感器Kinect。完成用户体感信息的采集,如图5所示,系统硬件包括PC机和Kinect体感器各一台。

目前基于Kinect的开发包有微软官方的SDK和开源社区的开源驱动,如,Open NI Framework,CLNUI Platform、Open Kinect等旧,本文所采用的驱动平台是Open NI Framework,它提供了Kinect在Unity3D引擎中的应用接口,支持手势识别。虚拟实验场景及实验逻辑任务使用Unity3D引擎实现。

2 体感虚拟组装的设计与实现

减速器虚拟组装包括自动组装演示和手动组装,手动组装是学习者使用体感交互自主完成减速器的仿真组装,是整个虚拟实验中交互性最强的环节。关键是实现部件拾取、组装逻辑顺序控制和碰撞检测以及合适的隐喻设计。

(1)由于不能使用鼠标指点式选择。用户也不能触摸屏幕,部件拾取使用虚拟手方式实现。第一种方法是通过虚拟手在部件上停留的时间来决定拾取或放弃,并在停留期间使用高亮进度条反馈剩余多长时间。第二种方法是虚拟手碰到部件后。用户同时发出语音指令(如“Select/Unselect”)来拾取或取消拾取,如图6所示。

(2)组装逻辑顺序控制通过Unitv3D闪置的脚本编程来实现。从齿轮减速器的拆装过程分析司知,在拆装过程中有随机操作与串行操作两种。例如,拆装减速器外部的螺钉螺母是随机操作:而那些彼此多受到位置、空间关系、配合、联接、尺寸等关系约束的拆装是串行操作,在Unity3D建立零部件的层次匹配模型,通过C#脚本编程实现模型之间、事件之间的逻辑关系、控制功能以及人工智能效果。

(3)由于学习者操作的自由性与不可预见性。需要进行碰撞干涉检查,防止产生穿越现象。在Unity3D引擎中,只要为导入的模型选择产生刚体,即可实现碰撞效果。对于碰撞或拾取的反馈,可以让操作部件高亮输出视觉反馈,提醒碰撞已经发生或已经选取到部件。

(4)通过设计行为隐喻,使操作者能快速地将现实生活中的自然习惯动作用于虚拟实验操作,极大简化操作复杂度。如,使用Kinect体感器采集实验者的景深数据判断距离,当实验者走近屏幕时,视图自动逐渐放大,反之缩小;同时获取实验者的头部节点偏移数据来调整视图往左或右旋转一定角度,实现了将实验者头部作为一架与三维实验场景相关联的摄像机。这样简化了视角切换的操作复杂度:又如使用双手掌相对的旋转动作来旋转虚拟减速器部件(如图7所示)。同时在界面中提示可以进行相应操作的手势示意图标,如图6工具栏的Slide图标表示可以挥手滑动菜单,图7中的Rotate图标表示可以使用旋转的手势来旋转选定的部件。

3 应用效果与结论

本系统的开发和应用是虚拟实验教学中的一次较新尝试,实验系统在笔者所在学校机械与电气工程学院2010级机械制造专业本科实验教学中进行了应用。为了对比WIMP交互效果,选取了一组学生(该组学生均没有3Ds Max等三维软件的学习和使用经验)先后使用鼠标键盘交互和体感交互两种方式宅成相同场景的三维实验任务,通过观察和访谈发现:

(1)用体感交互进行虚拟实验。能激发学生的实验兴趣和参与热情:在操作三维虚拟实验仪器时更为直观和直接。交互效率明显提高。有助于学生对实验过程的理解:在完成实验目标的整个过程中,学习沉浸感更强,学习体验有较大改善。而使用WIMP交互时,很多学生在将虚拟组装对象摆放到指定观察视角时,花费了很多的时间和精力,往往需要多次操作才能成功,因为这需要使用鼠标组合完成选择、缩放、旋转等多步操作,而体感交互中这些步骤是通过手势和肢体的自然动作同步完成的。

(2)体感交互也存在一些新的问题需要解决,如,相比鼠标定位,手势定位的精准度有待进一步提高;Kinect内置红外线摄像头的延迟造成偶尔会有抖动现象等。下一步工作是基于微软推出更高级版本的SDK提高学习者手势的精准定位,并完成语音和面部表情信息的采集,进一步增加交互通道。

四、体感交互设计原则

体感交互是基于现实的交互,本质上是一种自然人机交互技术,它辅助三维虚拟学习系统营造高度真实的学习情境。在一定程度上改善了传统课堂学习的去情境化弊端。让学习者回归到真实问题情境中学习,这与情境学习理论倡导的“在哪里用,就在哪里学”不谋而合。情境学习理论的观点认为知识是在具体情境中构建的,它与具体情境紧密相联。学习本质上是在具体情境中与他人或事物互动能力的提高。因而应通过社会互动或活动来促进学习:情境学习理论突出了学习的情境性、行为互动性和学习反思,这对体感交互设计原则具有指导意义,结合体感交互行为过程的特点、案例分析及开发实践,笔者认为,体感交互设计应遵循以下原则:

第一,交互行为设计应该符合现实生活情景,在用户意图和所需操作之间、操作与结果之间建立自然匹配关系。如,设计一种将屏幕上显示的图片进行放大或缩小的交互行为,固然可以指定一些最简单的姿势,例如,从上向下画直线表示放大,反之表示缩小。但是这种操作方式的随意性太强,同动作执行后所要达到的效果之间没有一种自然匹配的关系,这将导致难以记忆:而如果使用单手或双手的拿捏动作则更符合生活情景和习惯。

第二。合理使用隐喻设计,使交互指示具有隐含性。减少学习者的认知负荷。体感交互学习的立足点是让学习者在学习过程中把注意力集中在学习任务本身,系统不需要或尽可能少对学习者的交互成分或交互成因进行显性说明,力求交互的自然性,尽可能利用已有的经验完成交互,减轻认知负荷。这取决于隐喻设计的好坏,考莫(Khoury)和西莫夫(Simoff)提出。应该只提取实体物体的结构关系和操作方式。设计“弹喻”,相比起一般的隐喻只对物体对象外观进行模拟,弹喻更强调“神似”。使隐喻蕴涵熟悉或一见便知的交互因素。

第三。及时反馈。保持系统状态的可视化。系统应当对用户的操作行为提供及时的适当反馈,以便用户了解当前系统的状态。自然体感交互没有触觉反馈,可以使用通感,用视觉和听觉表示触觉和力反馈。同时合理使用前馈设计,使操作更容易。前馈信息能让用户在自己的操作行为发出之前就知道系统下一步将要发生什么。从而能不断引导用户完成下面的工作,降低用户在使用系统时的记忆负担,达到简单操作的目的。

第四,注重对学习反思的引导,促进知识和技能迁移。用户体验包括感官、行为和反思三个层次,体感交互在提升学习体验的层次中,应更加强调反思层面的心理体验,突出实验中真实问题情境的设计,引发探索与思考,以形成扪象思维。促进学习迁移。

上一篇:煤矿矿井通风技术措施分析 下一篇:OPEN3000电网监控信息优化分层