面向视频感知的静电力触觉渲染方法

摘要：针对视觉障碍的人获取视频等数字媒体信息受限的问题， 为扩展视频等数字媒体信息的触觉感知通道，提出一种面向视频感知的静电力触觉渲染方法。首先，采用基于像素点的视频帧处理算法，根据手指触摸位置获取当前视频帧的目标像素点，然后将目标像素点彩色信息从RGB模型转换为HSI模型，利用像素点色调分量来映射静电力激励信号频率参量，结合像素点亮度和饱和度分量来映射静电力激励信号幅度参量，合成静电力触觉激励信号，实现对实时视频的触觉渲染和感知。最后，设计动态色彩感知实验和亮度辨识感知实验，结果表明，该方法可实现对视频中物体信息的触觉感知，动态识别平均正确率达90.6%，色彩辨识平均正确率达69.4%，亮度辨识平均正确率达80.0%，所提方法能有效提取视频中的动态特征信息，增强视频触觉渲染的实时性。

关键词：虚拟现实；触觉再现；视频处理；静电力；触觉渲染

中图分类号：TP391.9 文献标志码：A

0引言

视觉障碍的人由于丧失了视觉，获取信息主要依靠触觉和听觉，触觉是人体除视觉和听觉之外最重要的感觉通道， 是人类认识外界环境并与环境进行交互的重要手段[1]。对于盲人等视觉障碍的人，触觉再现技术可帮助其利用触觉感知方式实现读书、看报、上网、导航[2-3]，但对于图像、视频等数字媒体类信息，目前很难有效感知。如何让视觉障碍的人获得一定程度的数字媒体类信息，是当前研究者们广泛关注的问题[4]。

图像、视频等数字媒体类信息为视觉信息，要将视觉信息转化为触觉信息呈现，需要建立定量的转换模型[5]。针对静态图像触觉渲染方法的研究，李佳璐等[6]用颜色变化表征纹理，提出彩色图像纹理力触觉渲染方法，能够有效地对彩色图像纹理进行力触觉渲染；Vasudevan等[7]提出了一种基于图像处理的纹理力触觉再现模型，该模型提出力渲染掩模的概念，通过子图像与力渲染掩模相乘，有效地对图像的边缘和纹理进行力触觉建模与再现；Adi等[8]提出了基于小波变换的方法提取图像中的纹理信息，把图像灰度映射为纹理表面的空间深度信息，建立三维纹理表面模型，完成纹理的力触觉表达。近年来，面向动态视频的触觉渲染方法的研究也逐渐兴起，Cha等[9]提出了一种3D视频的触觉感知系统，将触觉信息通过编码方法融入到深度图像中，实现对3D视频的触觉感知；Israr等[10]设计了一种针对盲人的视觉触觉便携辅助设备，通过颜色特征识别环境中的目标物体。上述针对视频的触觉渲染方法，主要集中于编码算法和实践应用方面，而如何提取视频中的触觉特征信息，如何满足视频触觉渲染的实时性，是视频触觉渲染中面临的主要问题。

静电力触觉再现技术利用静电吸引力原理[11-12]，通过调节手指和触摸屏之间的摩擦力来模拟丰富的触觉感受，可在移动终端上为图像、视频等媒体提供触觉感知接口[13]。为进一步提高针对视频的触觉感知效果，研究面向视频感知的静电力触觉渲染方法，提出基于像素点的视频帧处理算法，根据手指触摸位置获取当前视频帧的目标像素点，将目标像素点的彩色信息从红、绿、蓝（Red Green Blue， RGB）颜色模型转换为色调、饱和度、强度（Hue Saturation Intensity， HSI）颜色模型，利用像素点色调分量来映射静电力激励信号频率参量，结合像素点亮度和饱和度分量来映射静电力激励信号幅度参量，合成静电力触觉激励信号，实现对实时视频的触觉渲染和感知。

3实验分析

为验证本文算法的有效性，邀请10名受试者（6男4女）参与实验，平均年龄24岁（最大26岁，最小22岁）。室内温度保持在23℃～28℃，湿度保持在35%～55%。实验系统所用的静电力触觉再现装置如图7所示，采用罗技C930摄像头实时采集视频信息，分辨率为640×480，帧率为30f/s。触觉交互部分包括三层结构，上层的光学传感器用于获取手指触摸位置信息；中间的触觉再现面板结构类似于电容触摸屏，用于产生静电力触觉刺激；下层的LCD屏幕，用于显示摄像头采集的视频信息。触觉激励信号生成器为程控高压信号生成器，可以产生信号幅度范围为1～400Vpp，频率范围1～2000Hz的正弦波信号。受试者通过导电手环与触觉激励信号生成器共地。

首先，设计动态色彩感知实验，对所提触觉渲染方法的实时性和色彩辨识度进行评测；然后，设计亮度辨识感知实验，对所提触觉渲染方法的鲜亮度辨识性能进行评测。

3.1动态色彩感知实验

实验步骤：选取红、黄、绿、青、蓝和深红6种标准颜色的长方形卡片，每种卡片3张，将这18张颜色卡片按随机次序排列，实验人员依次抽取其中一张颜色卡片放置在摄像头视频采集区域，每隔5～10s更换一次颜色卡片，更换操作时间为2～3s，用眼罩遮挡受试者眼睛，受试者用手指触摸探测视频感知区域，根据触觉感受的有无判断卡片是否更换，并根据触觉感受的差别判断前后两张卡片的颜色是否相同，统计受试者感知到的卡片动态更换和颜色辨别的正确率。

实验结果如表1所示，受试者对卡片的动态切换识别平

均正确率为90.6%，标准差为8.3%；对卡片色彩辨别的平均

正确率为69.4%，标准差为9.7%。可看出，大多数受试者可以通过触觉感知识别现实物体的动态变化，且可以辨识不同的颜色，表明本文所提渲染方法实时性强，且颜色辨识度良好。但由于个体差异，受试者对激励信号频率感知差别阈值不同，导致其对相近的颜色分辨不准确；同时，受试者的触觉记忆能力对实验效果产生一定影响。

3.2亮度辨识感知实验

实验步骤：选取3组长方形颜色卡片，每组包括两个卡片，分别是深红色和粉红色、黄色和米黄色、青色和淡青色，已知深红色、黄色和青色的鲜亮度较大。将一组内的两张卡片同时放置在摄像头视频采集区域的左右两边，位置随机调换3次，用眼罩遮挡受试者眼睛，受试者用手指触摸感知视频感知区域，根据触觉感受强弱挑选出较为鲜亮的卡片，统计受试者选择的颜色次数，并计算辨识颜色的正确率。

实验结果如表2所示，受试者对亮度辨识感知的平均正确率为80.0%，受试者对深红/粉红和黄色/米黄的鲜亮程度辨识度较高，但对青/淡青的辨识不明显。因为青/淡青卡片易受外界光线的影响，摄像头在采集卡片信息时存在部分颜色失真，导致两种卡片颜色差异不大，使受试者较难区分。

4结语

本文提出一种新的面向视频感知的静电力触觉渲染方法，为解决视频触觉渲染的实时性问题，提出基于像素点处理的视频帧处理方法，利用视频中目标像素点的HSI颜色模型进行触觉渲染，设计一系列实验进行验证评价。实验结果表明，该渲染方法可大大提高视频触觉渲染的效率，满足视频触觉感知的实时性要求，可以帮助受试者实现对不同颜色和亮度物体的动态触觉感知和识别。进一步工作将研究辅助视觉障碍的人通过触觉感知认知真实世界的应用模式，为未来在人机交互中扩展触觉交互通道提供技术参考。

参考文献：

[1]

王爱民， 戴金桥. 虚拟现实的力触觉交互技术发展现状与趋势[J]. 测控技术， 2007， 26（10）：1-3.（WANG A M， DAI J Q. Current development situation & the future trend of haptic interaction in virtual reality[J]. Measurement & Control Technology， 2007， 26（10）：1-3.）

[2]

王冠生， 郑江华， 瓦哈甫・哈力克， 等. 基于Haptic技术的盲人路径诱导辅具应用研究现状[J]. 传感器与微系统， 2013， 32（4）：1-4.（WANG G S， ZHENG J H， HALIK W， et al. Research status of applications of route guidance aids for the blind based on haptic technology[J]. Transducer & Microsystem Technologies， 2013， 32（4）：1-4.）

[3]

XU C， ISRAR A， POUPYREV I， et al. Tactile display for the visually impaired using TeslaTouch[C]// Proceedings of the CHI 2011 Extended Abstracts on Human Factors in Computing Systems. New York： ACM， 2011：317-322.

[4]

吴涓， 宋振中， 吴伟雄， 等. 用于盲人的图像振动触觉显示系统设计[J]. 东南大学学报（自然科学版）， 2011， 41（5）：973-977.（WU J， SONG Z Z， WU W X， et al. Design of image vibrotactile display system for the blind [J]. Journal of Southeast University （Natural Science Edition）， 2011， 41（5）：973-977.）

[5]

吴涓， 宋爱国， 李建清.图像的力/触觉表达技术研究综述[J]. 计算机应用研究， 2007， 24（5）：1-3.（WU J， SONG A G， LI J Q. Research summarization of image expression with haptic rendering[J]. Application Research of Computers， 2007， 24（5）：1-3.）

[6]

李佳璐， 宋爱国， 张小瑞. 彩色图像的纹理力/触觉渲染方法[J]. 计算机辅助设计与图形学学报， 2011， 23（4）：719-724.（LI J L， SONG A G， ZHANG X R. A method of haptic texture rendering color image[J]. Journal of ComputerAided Design & Computer Graphics， 2011， 23（4）：719-724.）

[7]

VASUDEVAN H， MANIVANNAN M. Tangible images： runtime generation of haptic textures from images[C]// Haptics 2008： Proceedings of the Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. Piscataway， NJ： IEEE， 2008：357-360.

[8]

ADI W， SULAIMAN S. Haptic texture rendering based on visual texture information： a study to achieve realistic haptic texture rendering [M]// ZAMAN B H， ROBINSON P， PETROU M， et al. Visual Informatics： Bridging Research and Practice， LNCS 5857. Berlin： Springer， 2009：279-287.

[9]

CHA J， EID M， SADDIK A E. Touchable 3D video system[J]. ACM Transactions on Multimedia Computing， Communications， and Applications， 2009， 5（4）： 29.

[10]

ISRAR A， BAU O， KIM S C， et al. Tactile feedback on flat surfaces for the visually impaired[C]// CHI 2012： Proceedings of the Extended Abstracts on Human Factors in Computing Systems. New York： ACM， 2012： 1571-1576.

[11]

BAU O， POUPYREV I， ISRAR A， et al. TeslaTouch： electrovibration for touch surfaces[C]// Proceedings of the 23nd Annual Acm Symposium on User Interface Software and Technology. New York： ACM， 2010： 283-292.

[12]

KACZMAREK K A， NAMMI K， AGARWAL A K， et al. Polarity effect in electrovibration for tactile display[J]. IEEE Transactions on Biomedical Engineering， 2006， 53（10）： 2047-2054.

[13]

KIM S C， ISRAR A， POUPYREV I. Tactile rendering of 3D features on touch surfaces [C]// Proceedings of the 26th Annual ACM Symposium on User Interface Software and Technology. New York： ACM， 2013： 531-538.

[14]

GONZALEZ R C. Digital Image Processing[M]. Chennai， India： Pearson Education， 2009.

[15]

WIJEKOON D， CECCHINATO M E， HOGGAN E， et al. Electrostatic modulated friction as tactile feedback： intensity perception [M]// ISOKOSKI P， SPRINGARE J. Haptics： Perception， Devices， Mobility， and Communication， LNCS 7282. Berlin： Springer， 2012： 613-624.

Background

This work is partially supported by the National High Technology Research and Development Program （863 Program） of China （2013AA013704）.

WU Saiwen， born in 1990， M. S. candidate. His research interests include virtual reality， haptic display.

CHEN Jian， born in 1977， Ph. D.， associate professor. His research interests include humancomputer interaction， virtual reality， wireless positioning.

SUN Xiaoying， born in 1969， Ph. D.， professor. His research interests include humancomputer interaction， haptic display， wireless positioning.