数字媒体未来发展趋势――数字媒体与增强现实技术

摘要:数字反哺现实:增强现实的概念;列举增强现实技术在科技方面的应用;增强现实的前沿技术成果;增强现实在艺术领域的应用;游戏:游戏领域基于增强现实技术的新发展。媒体融合的增强现实技术:增强现实技术与媒体融合成果的展望;增强现实技术已经发展到媒体融合阶段

关键词:数字媒体;增强现实技术;游戏

中图分类号:TP37文献标识码:A文章编号:1009-3044(2010)11-2755-02

The Future of Digital Media

SHEN Jian

(Zhejiang University of Media & Communications, School of Animation, Hangzhou 310018, China)

Abstract: Digit reflects the reality: the concept of Augmented Reality; enumerate the application of Augmented Reality technology in the science and technology; the forefront technological achievements of Augmented Reality; the applications of Augmented Reality in the arts; Games should set an example: the new developments based on Augmented Reality technology in game field.Augmented Reality technology mixed with media: the prospects of mixing media and Augmented Reality technology; Augmented Reality technology has developed to the stage of media mix.

Key words: digital media; augment reality; game

1 数字反哺现实

增强现实(Augment Reality,简称AR),也被称为混合现实,是一种同时包括虚拟世界和真实世界之要素的环境。增强现实技术通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。实现未来数字化的真实世界,非增强现实技术莫属。

增强现实提供了在一般情况下,不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充,叠加。在多模式下的增强现实中,用户利用头盔,3D眼镜等特殊的输出系统,可以将真实世界与电脑图形重合在一起,形成数字信息对真实世界的反馈和丰富。这样,用户借助显示设备将虚拟对象与真实环境融为一体,并体验到一个感官效果真实的新环境,这种系统具有虚实结合,实时交互的新特点。

与虚拟现实技术(Virtual Reality,简称VR)相比,增强现实技术不仅在相类似的应用领域,诸如尖端武器,飞行器的研制与开发,数据模型的可视化,虚拟训练,娱乐与艺术等领域具有广泛的应用,而且由于其具有能够对真实环境进行增强显示输出的特性,在医疗研究与解剖训练,精密仪器制造和维修,军用飞机导航,工程设计和远程机器人控制等领域,具有比虚拟现实技术更加明显的优势。

在新兴技术方面越来越多的增强现实技术发明和应用进入人们的视野,它预示着这方面的技术在未来的数字时代所扮演的角色将会更加重要。在今年的SIGGRAPH 2009大会新兴技术展示部分,Multimodal Floor(多模式反馈地板)的出现让人们更加深化了对这方面技术的认识。Multimodal Floor是一个精心设计的增强现实环境中的一个地面部分,由地面传感器,数字处理中枢,投影仪和声音系统几大部分组成。当使用者踏上这个神奇的地面时,可以从视觉和听觉上直观感受到。试想,当你走进一片覆满落叶的树林里,每走一步,脚下都会沙沙作响,并且能够清晰地看到树叶被踏过的足迹。Multimodal Floor可以精确的探测到使用者脚下的压力变化,并在投影仪上呈现出逼真度极高的图像反馈,与声音的反馈一起,营造一个让人身临其境的世界。

正如巴黎大学麦凯(Wendy E. Mackay)《增强现实:连接现实世界与虚拟世界。与计算机交互的新模式》(1993)一文所指出的,增强现实让人们能以普通方式运用自己所熟悉的日常对象,而不是键盘输入、凝神屏幕。区别是这些对象也提供通向计算机网络的链接。医生可以观察添加的医药图像,儿童可以为垒高(LEGO)玩具编程,建筑工程师可以运用普通的纸面工程画和远方同事交流。它不是让人们沉浸在人工创造的虚拟世界中,而是通过以丰富的数码信息与交流能力来增强物理世界中的对象。

增强现实技术已经被用于医疗、军事、工业、通讯等多种领域。它可以通过图像传导使原先不可见的对象视觉化,让医生用图像引导手术(美国麻省理工学院、新加坡南洋理工大学都致力于开发帮助外科医生观察病人体内情况的增强现实系统);可以研发和物理环境良好匹配、能由用户合作修改的交互性三维地图,供军队使用;可以为施工现场提供与特定地点相联系、包含了工程信息与指令的虚拟图景,供工人参考;可以举办有真人和虚拟人物同时参加的远程会议……凡此种种,不一而足。此外,增强现实技术在旅游,展会乃至娱乐行业都有着非常广泛的应用前景。在娱乐,游戏领域中,增强现实游戏可以让位于全球不同地点的玩家,共同进入一个真实的自然场景,以虚拟替身的形式,进行网络对战。

在艺术与娱乐领域,增强现实也大有用武之地。例如,它可以用来建造主题公园,开发准全息虚拟屏幕、虚拟环绕电影和各种虚实结合的娱乐项目,让计算机生成的全息形象与实况娱乐者及观众互动;为人们的生活空间添加虚拟挂钟、虚拟装饰之类新产品;开发作为参与性新媒体平台的地面互动投影、让玩家犹如置身于游戏世界的新型娱乐手柄;为各种人文景观添加相应的标签或作为注解的文本,丰富旅游观光的知识性、趣味性,等等。例如,哥伦比亚大学开发的移动增强现实系统(MARS)为校园景观提供附加的多媒体信息,以便人们了解它们的历史。西班牙马德里interactivos工作室开发的增强现实魔术系统(AR Magic System)可让用户与其身边的人交换头部影像,让自己的脑袋仿佛长在另一个人的肩膀上,同时也获得了新的面孔。Sony公司PS3游戏《审判之眼》(Eye of Judgement)利用增强现实技术在玩家身边的真实环境中逼真地渲染出3D怪兽等游戏角色。北京理工大学王涌天教授致力于通过增强现实技术完成对于圆明园的虚拟重建,让在园中散步时戴上特殊三维眼镜的用户可以观览当年皇家园林原貌。在该校光电信息技术与颜色工程研究所等科研单位的协作下,中国军事博物馆利用增强现实技术以红四方面军一个真实故事为原型再现《雪山忠魂》这一感人场面,让观众感受长征的震撼。它的艺术价值是不可低估的。

2 游戏,当身体力行

基于增强现实技术,游戏制作领域也是新概念新技术新产品百花齐放,惊喜不断。“沉浸式游戏”将是将来的网络游戏重要卖点,网络游戏引擎将实时融合通过摄像头获取的玩家脸部信息,这样玩家在游戏中扮演的是具有自己脸部表情的游戏角色,使游戏玩家获得更加强烈的角色沉浸感。而体感游戏作为已经有产品开发出来的基于增强现实技术的游戏技术,更是引来了游戏制作领域,数字媒体等领域的广泛关注。

西门子公司在德国世界杯开幕之前就曾推出过一款增强现实类型的足球手机游戏。这款名为"Kick Real"的罚点球游戏允许玩家通过手机上的摄像头瞄准脚部,然后根据脚部的射门动作在手机屏幕上显示出射门得分的结果。很难来形容这种游戏的玩法,但这款游戏所使用的增强现实技术是目前虚拟实境技术的两种解决方案之一,其具体做法就是是在影像式虚拟实境中,在各场景加入几何式虚拟实境的物件。

Wii是任天堂的新一代游戏机,也是体感游戏的先行者。其操作方式非常独特,游戏可以感应出玩家所做出的各种动作,试图带给玩家一种全新的游戏概念。Wii的最大特色就是非同一般的操控体验,其内置了特殊芯片的Wiimote可以感应不同幅度的坐标变化,转化为可以控制游戏人物动作的信号。在运动类游戏的时候,这种操控体验尤为吸引人,游戏者挥舞无线控制器,游戏里的人物也跟着挥动,效果非常不错。这款体育游戏共收录了网球、棒球、拳击、高尔夫球和保龄球五大运动,利用Wii的感应手柄,玩家将可以很自然地作出挥拍、挥棒、挥拳、挥杆和掷球的动作。Wii Sports是Wii的必玩游戏,也是目前来说最好玩的Wii游戏之一,是一款体育题材的Wii主机首发游戏。

而在今年广受游戏玩家瞩目的E3大会上,最引人关注的项目来自微软公司的Project Natal。曾经的Lionhead工作室知名游戏设计师展示了这个还处于开发阶段的概念:人体即控制器。这款游戏和索尼的PS3游戏《审判之眼》让之前Wii一家独霸的体感游戏圈风起云涌。

相较传统的游戏方式,体感游戏的最大特点是充分的交互功能。从运动游戏调动玩家的激情燃烧脂肪到与游戏程序进行复杂的交互甚至沟通,随着软硬件技术的不断发展,人们可以通过游戏达到锻炼身体的目的,达到沟通交流的目的,达到比传统方式更深层次的游戏体验。体感游戏是游戏领域的未来,毋庸置疑。

3 媒体融合的增强现实技术

不久的将来,随着高清晰数字摄像设备大大普及,视频信息的获取将变得更为容易,人们可以更加简洁轻松地使用DV、摄像头和手机等获得数字视频。同时随着数字媒体应用的深入,也将大大增加数字特效应用的需求,使得动画和视频交互处理的应用日益普及。这两方面发展,将大大促进媒体融合的增强现实技术发展。

将来的电影将以数字电影为主,数字电影将实拍和电脑制作相结合,后期处理采用数字中间片技术。随着数字电影快速发展,预计不久的将来使基于实时视频融合技术的“沉浸式电影”成为可能情况。应用实时视频合成技术的“沉浸式电影”,将观众身体的某个部位实时合成到某主角对应的身体部位,进而产生沉浸式的感觉,电影观众以“参与模式”就可以观看到自己主演的电影。可以想象,某个周末,A先生去电影院观看电影。A先生走到放映厅门口,一边将电影票交给工作人员,一边走过红外线人体扫描仪。工作人员同时将票根上的编号和座位号码,以及人体扫描资料输入到放映设备中。此时电影院正在播放《功夫》。观众A坐到自己的位置在座位手把操控设备上点击“参与模式”,A先生的五官被实时地贴到男主角周星驰的脸上。A先生在自己的座位上欣赏了自己担任主角的电影。当电影结束时,A先生还深深地沉浸在电影的高潮跌宕的剧情中。A先生看完电影回到家里,打开电脑,拿出电影票的票根,输入电影票的编号,便可以下载由自己主演的电影《功夫》。于是A先生将这部由自己主演的电影上传到了电视博客上,供朋友在线观看。

实时视频融合技术可以类似应用于“沉浸式卡拉OK”,视频融合系统将卡拉OK表演者的表情和动作实时融合到卡拉OK的舞台场景中,这样普通的卡拉OK爱好者将虚拟地实现在香港红|体育馆表演的愿望。

随着实时视频融合技术发展,将来的网络购物也将更加个性化。“三维真实感网络购物”即网络上产品的展示将是三维的立体商品,用户可以通过鼠标的转动,在360度方向上观看产品的外观。像类似于冰箱等允许查看内部结构的商品,用户还可以通过鼠标查看三维商品的内部结构,使商品选择更加直观。

以上这些媒体融合增强现实技术在增强现实的基础上又增加了视频目标跟踪和实时融合功能。此技术帮助使用者能锁定在增强现实环境中的已经有的目标,并且将真实环境的物体影射到此目标上,替代其参与增强现实环境中的运动,同时根据真实环境物体的特点进行相应的调节。

又如,让已故的明星再次参与新片的制作,与活生生的演员同时出场。韩国和日本曾计划拍摄《纹龙斗士》,由数码合成的“李小龙”担当主角。通过媒体融合增强现实技术,就可以让替身演员演完全部影片后,再由电脑将已故明星取代替身演员,免去完全数码合成的过程。再如,在电视直播过程中的角色替代。在电视直播中,有时会出现突发事件,在目前的技术条件下,一般采用录播或暂停直播的方式补救。而通过媒体融合增强现实技术,就可以通过将指定目标替代在真实场景和过程中需要替换的部分,继续直播过程,这比录播更具有真实性,此应用包含了视频和音频融合等多项媒体融合技术。

就国家发展趋势来看,增强现实技术已经发展到媒体融合阶段,但是未到成熟状况。在将来数字媒体的某些应用中,例如,在数字影视和网络游戏中,往往需要将真实拍摄的视频和特定的数字场景实时、高效融合起来,以增强身临其境的感受和娱乐体验,基于实时视频融合的增强现实技术将大量应用在日常生活中。因此,基于动态视频合成与交互的增强现实研究已经成为计算机视觉和计算机图形学等相关领域迫切需要进行的研究课题,也是数字媒体技术未来发展的趋势所在。

大到军用设备,小到游戏娱乐,增强现实技术之于今人仍像计算机和互联网之于20年前的人一样陌生。等到技术和概念获得长足发展的那一天,增强现实也许会成为人们衣食住行不可或缺的一种生活方式――毕竟,更为集中,快捷而高效的信息流动是技术发展的重要趋势,而增强现实则是当下一个神秘而奇妙的骄子。