手持增强现实系统的研究

摘要：随着手持设备性能的提高，手持增强现实系统的研制成为近年来的研究热点。该文阐述了手持增强现实系统必备的软硬件环境，给出了手持增强现实系统的工作流程，概括了跟踪注册技术中的所使用的不同方法，以及虚拟模型建立与渲染中的一些技术，在此基础上对手持增强现实系统未来的发展进行了展望。

关键词：增强现实；手持式设备；跟踪注册

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）12-2921-02

1 概述

增强现实（Augmented Reality， 简称AR）是虚拟现实的一个重要分支，它将虚拟对象以空间对齐的方式注册到真实场景中，实现二者的融合，并允许用户与虚拟对象进行交互。AR技术涉及显示技术、交互技术、多种传感技术和计算机图形与多媒体技术等。目前，增强现实技术广泛应用于教育培训、工业设计、机械制造、医疗手术、军事训练，文化娱乐等，并且在这些领域取得了成功的经验，尤其是在室内AR与移动AR方面，但是在其市场应用方面有其局限性。起初室内AR大多是基于普通PC的，因此只能局限在室内的；而移动AR虽然可以应用于室外，但是由于使用者需要背负很重的设备，给使用者在移动过程中造成了很大的负担。因此，随着手持终端的飞速发展，具有较快处理能力、内置摄像头、彩色显示屏的手持设备（如PDA、智能手机）已经成为AR系统实现的良好平台。

增强现实系统已经在各种手持设备如ultra-mobile PCs（UMPCs），个人数字助理（PDAs）和智能手机中得到应用，手持AR取得了很好的发展。Blaine Bell等人设计了一个基于PDA技术的AR系统，提供一些信息帮助移动用户浏览不熟悉的环境。Geiger， C.等人设计了一个AR Soccer游戏，屏幕中出现一个虚拟的球和虚拟的场景，用户通过摄像机捕捉现实世界中脚的运动完成踢球的动作。邵峰晶[9]等人设计了一个基于增强现实技术的网络游戏，并且针对跟踪注册速度过慢的问题，提出了一种快速角点检测算法（CFD），另外针对AR系统抖动的问题，提出了一种手持增强现实系统中摄像机姿态抖动补正算法。

手持增强现实系统的开发大多基于ARToolKit与ARToolKitPlus工具包。ARToolKit是C和C++软件库，是在ARToolKit基础上进行修改，由Kato将其应用到基于Symbian操作系统的手机上，但是目前研究人员已经将ARToolKitPlus整合到Studierstube框架中，作为手持AR的开发平台。

随着3G时代的到来，手持AR系统具有广泛的发展前景。通过概述手持AR在软硬件方面的限制，分析手持AR系统开发的瓶颈；在手持AR系统的跟踪注册方面简述ARToolKit与ARToolKitPlus两种跟踪注册过程；在虚拟模型建立与渲染方面讨论了建模工具、3D模型存储类型及渲染工具包。

2 手持增强现实系统的软硬件环境

手持设备都具有CPU、内存、内置摄像头、彩色显示屏、蓝牙等基本配置。尽管手持设备处理能力已经得到较大发展，但处理性能上较普通PC仍有较大差距。对于单机版的手持AR来说，大多数智能手机使用运行速率在100-800MHz的CPU，但是由于大小，功耗和电池的限制，智能手机CPUs通常不拥有并行计算单元。另外，在智能手机内部缺少AR系统所必须的浮点运算单元，因此手持AR必须使用定点运算对其进行模拟，增加了计算量。由于手持设备体积的限制，智能手机的内存通常很小，并且为了减少功耗，智能手机的内置摄像头性能不甚理想，镜头渐晕的现象明显，不利于图像处理。对于无线网络式手持AR来说，除了上面所描述的以外，手持设备的带宽也是手持AR所必须的，如今智能手机的带宽一般都很小，手机上网的理论最高速率可达473KB，GPRS上网的最高速率为115.2KB，实际平均上网速率约为20-30KB左右。

大多数智能手机使用专用的、相对开放式的操作系统，例如Windows Mobile、Symbian系列、Linux和Palm。等。它们都提供了摄像机API，允许用户获取并处理视频帧图像。OpenGL ES是嵌入式手持设备的三维图形渲染库，它提供了三维虚拟模型渲染功能，可实现AR系统虚拟场景的绘制。但是，手持设备相较于普通PC而言，现有的摄像机操纵及虚拟模型渲染工具不够丰富。这几种操作系统各有优缺点，例如Windows Mobile易于编程且有大量的设备基础，缺点是摄像机的API比较复杂；目前Symbian操作系统是智能手机使用最多的操作系统，但是难于编程；而Palm系统虽然有很好的硬件概念，但是仅有很少的硬件设备并且没有本地SDK。目前这几种应用软件之间互不兼容，使得跨平台软件设计极具有挑战性。但是，现在可以在手机上运行Windows 3.0和Windows95的操作系统，但是由于手机本身资源有限，使得其运行速度很慢，不能满足手持AR的应用。

3 手持增强现实系统关键技术

手持AR的关键技术主要有跟踪注册技术和虚拟模型渲染技术。跟踪注册技术是通过对摄像机捕捉到的图像进行图像二值化，特征提取，姿态计算等一系列操作后得到有效标记姿态的过程。虚拟模型渲染技术是通过一系列的渲染工具包对AR中的模型进行绘制，得到逼真的虚拟模型。目前大多的手持AR是基于标记进行跟踪注册，下面是基于标记的手持AR系统工作流程。

3.1 基于标记手持增强现实系统工作流程

1） 预设标记：预先在真实场景中设置标记；

2） 生成虚拟模型：由计算机生成虚拟模型；

3） 渲染虚拟模型：将计算机生成的虚拟模型进行渲染；

4） 注册虚拟模型：根据计算出的摄像机姿态将虚拟物体准确的注册到真实世界中的标记上；

5） 输出：最后将虚实结合的结果输出到显示设备上。

3.2 跟踪注册技术

增强现实的关键技术就是跟踪注册技术，将虚拟模型准确叠加到现实世界中的准确位置上便是其主要目的。判定追踪注册技术的好与坏便是其叠加的准确与否。增强现实与虚拟现实一样都需要实时和精确的6自由度（Six Degrees Of Freedom，简称6DOF）的姿态跟踪。什么是姿态跟踪？姿态跟踪最大的特点就是耗费少而且能够适应多变的环境，并且成功实现在现实环境中的成功定位。跟踪注册技术体现在手持AR工作流程的标记检测识别和计算摄像机姿态这两步中。

3.3 虚拟模型建立与渲染技术

渲染技术是AR系统另一个很关键的技术。由于现在在大多数移动设备如手机，PDA上没有设置3D的图形子系统，所以在手持AR中，对模型的渲染至关重要。虚拟模型建立与渲染技术主要体现在手持AR工作流程中的生成虚拟模型、渲染虚拟模型与虚拟模型注册中。

3.3.1 建模工具

为了在增强现实系统中使场景达到形象、逼真的效果，必定需要逼真的虚拟模型，一个完美的虚拟模型首先需要合适的建模工具。在AR中，虚拟模型需要应用专门的建模工具进行创建，现在应用最多的建模工具有Sketch Up， Maya， 3DS Max等。用户通过建模工具创建逼真的模型，为AR所能呈现的虚实结合的效果提供了前提条件，但是由于手机缺少可视化的建模工具，无法直接将模型复用到手机上。

3.3.2 3D模型存储类型

目前，3D模型存储类型有很多如.max、.mb、.dae等格式，由于各种模型存储类型具有各自的规范，没有公共的开放规范，因此一些3D模型存储类型不能直接应用到手持AR中。Collada（COLLAborative Design Activity）技术最初是为了方便3D模型与分布式计算机控制系统交换信息和游戏开发而设计的，它是一个开放的中间规范，经由此规范可将模型复用到手持AR系统中。

3.3.3 渲染工具包

模型渲染需要使用的工具有OpenGL， OpenGL ES， Klimt等等。OpenGL有强大的函数库来完成这一系列的功能。但是为了适合AR的开发则需要高级的软件库，OpenGL ES是在移动设备上进行3D渲染的基础，是由Khronos设计用于移动设备的3D API，它也是低级的API类似于OpenGL并且提供大多数的OpenGL功能，它解决了许多长期悬而未决的问题例如窗口绑定。

4 结论

与传统的增强现实系统相比较，手持增强现实系统受手持设备资源的限制，需要计算量小、实时性高的跟踪注册算法，这一点是限制以往手持增强现实系统的发展的主要因素，随着手持设备性能的不断提高，手持增强现实系统的跟踪注册实时性和准确性将得到有效保证，从而使得手持增强现实系统的应用领域进一步推广，尤其是伴随着我国3G时代的到来，研制基于网络的多用户交互式手持增强现实系统将成为新的研究热点。

参考文献：

[1] 钟慧娟，刘肖琳，吴晓莉.增强现实系统及其关键技术研究[J].计算机仿真，2008，25（1）：252-255.

[2] 隋毅.基于手持设备的增强现实技术研究与应用[D].青岛：青岛大学，2008.

[3] Hirokazu Kato，Mark Billinghurst.Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality （IWAR’99），1999：85-94.

[4] Daniel Wagner.Handheld Augmented Reality[D].Austria：Graz University of Technology，2007.

[5] 隋毅.基于手持设备的增强现实技术研究与应用[D].青岛：青岛大学，2009.

[6] 张静.基于iPhone的增强现实技术的研究与应用[D].成都：电子科技大学，2010.

[7] 盛君.基于标识的增强现实系统的研究[D].杭州：杭州电子科技大学，2009.

[8] Collada website： http：///.

[9] Yi Sui，FengJing Shao，RenCheng Sun，ShuJing Li.The MagicARPhone： An AR-based Game on Phone Offering Personalized Enjoyment[C].World Congress on Software Engineering，2009：264-266.