微软人机交互技术

视觉、听觉、触觉、味觉、嗅觉，是人类感知世界最重要的五种途径。其中与视觉、听觉相关的各种影音产品，早已成为了现代人日常生活中不可或缺的部分。然而当您的指尖每天在智能手机和平板电脑的屏幕上生硬地划过时，有没有想过这其实白白浪费了上天赋予我们的灵敏触觉？套用一句流行语：这实在是太不科学了。

庆幸的是，在科技研发人员的努力之下，这种暴殄天物的局面正在发生变化。通过微软亚洲研究院在人机交互领域的创新技术，也许不用等上多久，我们就可以触摸到一个更加真实的三维计算世界。下面就请大家走进微软亚洲研究院，一起感受指尖上的精彩。

Haptics：用触觉感受立体世界

模拟真实触觉的Haptics

通过硬件与软件结合的触觉反馈机制，Haptics技术可以为人体模拟真实触觉体验。试想一下，如果我们将手指放在平板电脑或智能手机的屏幕上，就能感受到画面中的物品逼真的材料质地与纹理，那么这种体验该是多么的身临其境和震撼人心。

从人体感受输入的角度来看，Haptics技术大致可以分为刺激表皮和刺激肌肉中的感受器这两大类别。譬如许多用户已经非常熟悉的手机“振动”提示，就是一种表皮Haptics技术。但振动只是Haptics领域很小的一部分，并且在按键反馈等许多应用场景下的效果都不甚理想。而触觉能够感受到的东西，远比简单的振动要多得多。针对Haptics这一崭新的领域，微软亚洲研究院的研究人员认为如同红、绿、蓝是光的三原色一样，粗糙度、粘滞度、柔软度很可能是触觉的三个基本维度，并分别针对这三个维度展开了深入研究。

现有的人机交互技术大都基于视觉设计，用户可以操作触摸屏但无法获得差异性的触觉反馈。这好比人一出生就戴着一副手套，虽然手没有感觉，但只要眼睛能看到东西，也能完成许多事情。然而，如果用户的手能够在屏幕不同位置感知到差异，那么人机交互就会从此发生质的改变，甚至于完全颠覆我们现有的生活习惯和方式。当Haptics技术让屏幕变成能够让用户摸到、感受到不同反馈的时候，人们才会意识到：原来人机交互的用户体验，远可以比现在做得更好。

然而要想从事Haptics领域的研究，往往需要跨越不同领域的技术，了解多个领域的专业知识。譬如振动反馈就不但要从电子工程和机械学角度知道如何有效利用电能、设计原件结构，而且还要从心理学角度了解人体对哪些频率的振动最为敏感。不过对于兴趣广泛的研究者来说，这也是从事该项工作的乐趣之一。

在玻璃表面感受纹理

在人们的传统印象里，玻璃表面的触感大都可以用“光滑如镜”来形容。然而微软的研究员们却可以在同一块玻璃表面，让人感受到平滑和毛糙等不同的触感甚至是纹理。这样高端大气上档次的神奇“魔术”，又是通过什么样的技术来实现的呢？

这种魔术的奥妙，就在于人的手指在抚摸不同质地的物体时，能够精准感知其表面不同大小的摩擦力。因此如果能够根据需要随时改变物体表面的摩擦力，那么就会让人产生触摸不同纹理的感觉。

微软研究人员为我们展示了在智能手机和Surface平板电脑上分别运用不同原理产生变化的摩擦力。其中在手机上的超声波振动（Ultrasonic Vibration）采用了四块会使整块玻璃上下振动的压电片，其振动频率为23KHz，人既听不见也看不见，但是用手在上面移动时，手指和玻璃之间的空气厚度会产生变化，空气越厚，表面感觉越滑。当屏幕上显示不同物体图案时，用手指划过就能感受到其表面摩擦力的变化，尤其在图案交界边缘的地方更是明显。这样用户通过手指的移动，就可以实时体会到哪个地方比较毛糙、哪个地方比较平滑，由此对屏幕上的图案形成感知。

而Surface采用的则是静电原理，其玻璃与绝缘层之间有一层纳米铟锡金属氧化物涂层（ITO layer）。纳米铟锡（ITO）是一种透明但可以导电的特殊金属线，当电信号通过导电层时，手指皮肤中将产生极性相反的感应电荷。虽然其电场很弱，但是如果手指来回划动再根据手指位置改变信号，那么就能体会到手指与屏幕之间摩擦力的变化。对于用户来说，由于电场力并不受其控制，所以就会产生屏幕摩擦系数正在变化的错觉，就像是在触摸玻璃表面的不同纹理。

键盘上的触觉反馈

如果说触摸屏是通过触觉将信息传递给计算机，那么触觉反馈（Haptic Feedback）技术就是通过计算机把触觉反馈给人。为什么我们需要触觉反馈技术？因为在有触觉反馈的应用环境下，人的手指能够感觉到来自键盘等物件的反馈，甚至要比听到声音对打字更有帮助，更有利于提高用户的打字速度和正确率。

举例来说，在超薄键盘上打字时，尽管用户可以看到输入内容，但是由于手指感受不到反馈，容易导致输入速度和正确率双双降低，所以很多人都觉得这类键盘不好用，不实用。然而如果键盘能够为用户提供触觉反馈的话，那么这类问题就能迎刃而解。

微软亚洲研究院人机交互组采取的做法，是在PZT压电片材料上面放一层金属。在提供一个较大的电压之后，压电片会伸展变大，但是粘在压电片下面的金属也会对其形成约束，这样的合力作用会产生一个很小的弯曲。于是用户打字的时候，指尖就会感觉像是在敲击真实的按键。在对照实验中，拥有精确触觉反馈的键盘无论是输入速度还是正确率，都要明显高出单纯利用视觉反馈的键盘。

CHI 2014：人机交互的盛宴

跨越平台和设备的交互

可穿戴设备相信是大家都非常感兴趣的话题，如今研究可穿戴设备的学者越来越多，包括CHI 2014大会（人机交互领域首屈一指的国际年度盛会）上也出现了很多有趣的相关项目。比如通过穿戴式的设备，手表不仅能够和用户进行交互，而且还可以跨平台和不同设备进行交互。

举例来说，带有传感器的手表和手机可以检测彼此的位置，譬如检测手机目前是在用户的左手还是右手，相对位置又是怎样，从而实现交互功能，增强用户的体验式互动效果。

在移动智能终端设备高度普及的今天，每一位用户几乎都同时拥有智能手机、平板电脑或是笔记本电脑等移动平台，另外还可能有智能手表、智能眼镜等电子设备。那么如何在不同的平台和设备之间进行交互，就成为了人机交互领域研究人员密切关注的话题。因此如何实现跨平台、跨设备的交互，也是本届CHI 2014大会上非常热门的主题之一。

PPT制作演示的好帮手

“科学技术是第一生产力。”怎样通过现代科技提升用户的生产力和创造力，譬如提高艺术家的创造力等，也是当前的热门话题。在CHI 2014上，微软亚洲研究院人机交互组发表了一些与演示工具相关的论文。其中的PitchPerfect项目就是为了帮助用户更好地练习需要展示的PPT。

人们在制作PPT时常常会添加注释，以帮助演讲者更好地阐述内容。PitchPerfect也是运用了同样的原理，PitchPerfect使得用户在制作PPT的同时， 为PPT中的每一个可视化元素添加文字注释，标识每个元素的讲解顺序，并记录预期的讲解时间。这样在练习时，用户可通过细分元素更好地了解、熟悉和管理整个演讲内容，同时让练习过程变得更加简单。PitchPerfect还有录音功能，演讲者在练习时可以反复录制，对演讲进行修改和优化。

对于演讲者来说，熟悉PPT内容和练习演讲的过程往往非常痛苦。PitchPerfect可以优化这一体验。研究结果也表明，借助PitchPerfect系统，用户可以更有效、更丰富地阐述相关内容，整体演讲表现也有所提升。

微软的另一个Turning Point项目，则是练习过程中需要用到的其他工具。通常在刚开始准备PPT时，人们总是希望呈现很多图片和文字，Turning Point可以帮助用户以结构化的方式组织和管理这些材料。用户可以先添加准备好的材料和图片等多媒体内容，然后在头脑风暴环节讨论如何将图片和文字进行分类分组，再根据内容和应用场景选择预先设定的模板。在Turning Point的帮助下，用户可以对整个演讲内容和情节有一个更好的设计。

手机沉迷问题有治了

作为一位成年人，我要痛心疾首地说：现在韩国青少年过度使用手机的问题非常严峻，他们更喜欢用手机玩游戏、发信息，而不是跟朋友进行面对面的交流。什么？你说这种现象到处都是？好吧我承认，这其实是一个世界性的难题。

为了解决这一难题，微软亚洲研究院与韩国高等科技学院（Korea Advanced Institute of Science and Technology）的教授合作开展了针对青少年手机使用情况的科研项目。该项目对韩国学生进行了观察，研究学生使用手机的习惯以及对手机沉迷的程度。研究表明，沉迷手机的学生比普通人更频繁地使用手机，甚至于整天在使用手机。理由是如果不经常看手机会担心错过一些讯息，比如朋友从Facebook或其他应用上发来的通知等。该项目希望通过相关研究，能够帮助这些青少年减少使用手机的时间，并且已经取得了很好的效果。

由此我们可以看到，HCI人机交互领域的研究覆盖面非常广，包括硬件、软件、应用甚至涉及社会学和心理学等。可见HCI并不仅仅局限于IT技术，但不管其研究领域和形式有多大差异，最终目的都是为人类的工作和生活提供帮助，以及解决现有的社会问题。

有吸引力的屏幕

在没有触觉反馈的手机或平板屏幕上操作，用户有时难免会误触选项，而这有可能带来无法挽回的损失。Vacuum Touch项目正是为了解决这一问题而生。值得一提的是，该项目是由微软亚洲研究院的研究员和实习生共同完成的。

在空气泵、阀门组、微控制器、电容传感器等元件的作用下，Vacuum Touch会在屏幕下面产生一定的空气吸力，用户手指在点击屏幕相应位置时会有被吸进去的感觉，这也是一种触觉反馈。在这样的环境中，假设用户想要删除一个非常重要的文件，在弹出删除确认对话框时，选项“no”会对用户手指有更大的吸引力，以防止出现误删。

张虹

微软亚洲研究院高级研究员

人机交互组经理

我们的双手既能感受岩石的锋利坚硬，也能体会丝绸的飘逸轻柔，能分辨沙土的松散干燥，也能区别油水的湿润粘稠。敏感的触觉让我们能清楚知道书是否多翻过了一页，即使在黑暗环境，我们也能只凭触觉系好鞋带，扣好衬衣纽扣，摸到钥匙孔打开门锁；然而在寒冷的冬日，当双手不再自如灵活，你也许体会过纵使有双眼的帮助，仍无法做好这些事。

然而当我们与“玻璃下的图片”进行交互时，其实是以视觉作为反馈的唯一方式，正如同将麻醉剂注入双手，指尖对所有界面的触觉感受都别无二致――在这样的二维加视觉式的交互中，我们浪费了造物主赋予的两平米肌肤、两百个关节与六百块肌肉。而Haptics正是一门研究如何让每个人的触觉都能用于人机交互的前沿学科。

从鲜为人知的术语，到被寄予希望的未来技术，Haptics正逐渐走向我们的日常工作和生活。Amara法则说，我们常常高估科技的短期影响力，而又低估其长期影响力。在互联网世界逐渐三维化，并越来越和现实世界水融的过程里，人和机器的交互界面将不再受限于玻璃平面之下的二维世界法则，会变得跟现实世界一样细腻丰富。要让梦想更快的实现，还有赖于研究者们更多的关注和科研突破。

从某种角度来说，微软的产品应用有着很高的普及率，很多人都会去体验和使用。如果我们重新定义和设计了人机交互的界面以后，那么大家就再也不想回到没有触觉的时代了。这是我的一个理想。

Koji Yatani

微软亚洲研究院副研究员

我是微软亚洲研究院人机交互组的成员，我的研究主要致力于提升人机交互的体验和效率。人机交互强调人与计算机之间交互的关系，关注与人和计算机相关的方方面面。

CHI全称为“ACM SIGCHI计算系统中的人因学会议（ACM SIGCHI Conference on Human Factors in Computing Systems）”，是人机交互（Human-Computer Interaction，简称HCI）领域内首屈一指的国际盛会。每年约有3000多位学者从世界各地慕名而来。也就是说，全世界的业界学者几乎都会到场，这正是我们热衷于参加CHI会议的重要原因之一。会上不仅有工业界的代表、学术界前沿的教授，还会吸引众多非常有才华的学生。微软亚洲研究院也致力于挖掘这些有才华的学生，与他们进行一些沟通和合作。我也非常乐意与大家一同分享来自CHI 2014大会的精彩内容。