智能移动设备增强现实的研究问题

摘要： 智能移动设备的高速处理和大容量存储技术的发展使得增强现实技术可以脱离台式计算机，向户外和无线化发展。本文针对智能移动设备增强现实技术发展所要解决的问题进行了分析，针对这些问题总结目前的研究方法，并介绍了该领域的研究进展。

Abstract： Smart phones owing high-speed processing technology and mass storage technology enables the augmented reality technology breaking away from the desktop to the development of outdoor and radio application. In this paper， the problem for the development of augmented reality technology demanded for solving that is analyzed. And also according these issues， the current researching methods are summarized and the progress of current research is introduced in this field.

关键词： 增强现实；虚拟现实；智能移动设备

Key words： augmented reality；virtual reality；smart phone

中图分类号：TP391 文献标识码：A 文章编号：1006-4311（2013）14-0225-02

0 引言

增强现实要解决的问题是准确、稳定地跟踪用户视点的位置和朝向，最终将由计算机生成的虚拟内容与用户观察到的真实场景完美结合。由于工具和设备不方便用于日常生活，所以虽然该领域早已受到研究人员重视，但并未广泛应用于人们的生活中，之后与后背式计算机、个人数字助手、智能移动设备等可移动平台结合使该领域出现突。目前基于智能移动设备的增强现实（Smart Phone Augmented Reality，SPAR）系统成为研究和关注的热点。智能移动设备具备操作系统、高质量色彩显示、高分辨率数字摄像头、无线传输等性能，高端设备甚至配备能实时处理的硬件加速三维图形芯片，这使得SPAR可以将场景捕捉、算法处理和增强显示集于一体。下面将分析构建SPAR要解决的问题及相应进展。

1 领域问题及发展现状

该领域涉及的主要问题有：采用何种架构？如由服务器处理数据，如何实现服务器与移动设备的通信？如由移动设备独立处理，如何解决处理速度和存储容量问题？在大场景下如何定位移动设备位置？如何利用移动设备与环境进行交互？

1.1 主体架构 受处理能力和存储空间限制，早期的SPAR系统采取“客户端-服务器”的架构，移动设备只作为捕捉和显示设备，视觉算法处理交由远程的服务器完成，两者通过无线网络进行数据通信。如AR-Phone项目[1]通过蓝牙将移动设备拍摄的图片上传至一个PC机服务器，服务器对图片进行姿态估计算法的处理并将虚拟信息进行叠加，然后再通过蓝牙传给移动设备客户端进行效果显示（图1）。

后来，随着芯片处理速度的提高，一些系统让客户端与服务器分担处理任务。文献[2]将渲染和显示部分的处理转移到移动设备中；文献[3]中服务器进行目标的粗略识别后将粗略识别结果传至客户端，由客户端完成精确识别和渲染显示的任务。

近几年，已有系统成功地将姿态估计和渲染显示算法移植到智能移动设备上，如：将ARToolKit技术移植到

Symbian操作系统之中[4]。

1.2 姿态和位置估计 为向真实环境叠加虚拟信息，需已知用户视点的位置和朝向，场景范围较小时可通过AR的摄像机姿态估计方法完成；而在大范围、多物体存在时则需先定位用户空间位置，再引入识别算法以识别出目标。

目前的研究集中在将基于人工标志物和自然特征的跟踪算法移植到平台中。在使用人工标志物方面，

Henrysson等[5]在2005年将ARToolKit移植用于Nokia

6600（图2左）的Symbian操作系统中，成功开发出交互式乒乓球游戏系统。Mohring等在2004年[4]提出了一个基于彩色三维标志物的跟踪方法（图2右）。

1.3 空间定位与目标识别 已有SPAR系统多是为了较大环境下的导航而开发。为了对特定位置的兴趣目标进行虚拟信息的增强，需要先确定用户的空间位置，然后将当前拍摄到的目标与跟该位置相关的目标集合进行匹配以识别目标，最后将相应虚拟信息进行显示。城市导游系统MARA[6]通过GPS对手持智能移动设备的用户空间位置进行定位，使用加速计和磁力计对用户的朝向进行测量，进而得出用户当前的姿态并将与该位置相关的虚拟信息发送至移动设备终端（见图3，左右图分别为增强后结果和GPS定位结果）。

1.4 交互式系统 多数SPAR系统为单一用户单一设备，用户通过移动设备屏幕观察周围环境，屏幕向用户显示增强后的效果，用户与环境之间不存在任何交流，更没有多用户间的协作存在。近几年开始出现基于多人交互、用户与环境交互的SPAR系统。交互对象之间的数据传输和通信问题是关键问题，目前蓝牙、WLAN和GPRS等均可作为通信媒体。文献[4]中的系统允许用户实现工件装配任务（如图4-a）时使用WLAN通过服务器进行协助控制。图4-b是第一个多人交互式系统，多个用户可同时对同一房间内的虚拟物品进行整理和摆放，用户的移动设备屏幕上显示从该用户视角看到的整个场景的图像，还能看到其他用户对物品的操作。

1.5 数据通信和传输 传输媒体的选择首先要考虑用户所处的应用环境支持哪种网络，其次就是网络的通畅性、带宽、传输速度以及传输距离。除1.4节介绍的媒体，还包括GSM、Wi-Fi以及3G网络。其中3G网络属于最新的网络类型，具有较好的带宽和传输速度，但是目前只有部分智能移动设备支持该网络；GPRS和GSM较为常用，但前者的速度和带宽要优于后者，而二者在这两点无法与3G网络相比；蓝牙技术虽然传输速度较慢，但是大多数智能移动设备都拥有，因此使用较为广泛；Wi-Fi技术与蓝牙一样，也属于短距离传输技术，无线电波覆盖范围广，但是通信质量不尽如人意。

2 总结

SPAR技术已成为增强现实领域的一个重要发展方向，该领域的研究已得到研究人员的重视并取得了一定的进展。目前基于人工标志物的SPAR系统已经可以基本满足应用的需要，下一步的发展主要集中在基于自然特征的跟踪上面，这对于处理能力还很低的智能移动设备来说仍是一个很大的挑战。可编程图像处理部件有可能大幅度提高下一代智能移动设备的处理速度，基于此的SPAR系统将成为一个方向。

参考文献：

[1]Assad M， D.J.C.， D Cutting， etc. AR phone： Accessible Augmented Reality in the Intelligent Environmen[C].t. Proc. of OZCHI 2003， pp 232-237.

[2]Hakkarainen M.， W.C.， Billinghurst M.. Augmented assembly using mobile phone[C]. 7th IEEEInternational Symposium on Mixed and Augmented Reality （ISMAR 2008）， Cambridge， UK， Sep 15-18， 2008， pp. 167-168.

[3]Harlan Hile， G.B. Information Overlay for Camera Phones in Indoor Environments[J]. Lecture Notes in Computer Science， 2007， （4718）： pp 68-84.

[4]Mohring， M.，C. Lessig， O. Bimber. Video see-through AR on consumer cell-phones[C]. 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality. 2004. Arlington， VA.

[5]Henrysson， A.，M. Billinghurst， M. Ollila. Face to face collaborative AR on mobile phones[C]. 4th IEEE/ACM International Symposium on Mixed and Augmented Reality （ ISMAR 2005）. 2005. Vienna， AUSTRIA.

[6]Markus K■h■ri， D.J.M. MARA - Sensor Based Augmented Reality System for Mobile Imaging[C]. ISMAR 06. 2006. Santa Barbara， CA.