立体环幕影像低成本解决之道

时间:2022-09-13 08:26:25

立体环幕影像低成本解决之道

摘 要 立体环幕影像由于其放映系统成本高昂,很难在教育机构中普及,因此国内环幕及4D影片创作力量匮乏,片源长期依赖进口。为了降低创作成本,本文提出了只需单台电脑便可实现三通道立体投影的解决方案,通过HLSL语言调用显卡GPU强大的计算能力实现实时的几何校正与边缘融合。最后,文章对该解决方案的实际应用效果进行了测试与分析,并阐述了其优缺点与未来研究方向。

关键词 立体影像;环幕影像;几何校正;边缘融合;HLSL

中图分类号TP39 文献标识码A 文章编号 1674-6708(2013)107-0122-04

1 研究背景与价值

环幕影像是指呈现在圆柱体(或圆柱体局部)表面的环形影像。得益于出众的沉浸感与视觉效果,环幕影像不仅被广泛应用于科技馆、博物馆、博览会和各种商业活动中,而且目前绝大多数“4D影院”、“5D影院”实际上也是以立体环幕影像作为视觉核心的。

环幕影像本身并非新鲜事物,已经有很多成功范例和成熟解决方案了,尤其在2010年上海世博会期间,环幕影像在众多世博展馆内大方异彩,吸引了数以万计的观众驻足赞叹。

但令人遗憾的是,时至今日环幕影像还是以“高端”的姿态固步于有限的场馆之内,具备丰富经验、能够进行环幕影像创作的艺术家寥寥无几,这很大程度上限制了这类影视作品的普及。2011年底,上海科技馆召开了自主编创的4D电影《重返二叠纪》的首映会,会上科技馆的负责人不无遗憾地表示目前国内大多数科技馆、博物馆都设立了4D影院,但片源几乎完全依赖进口,翻来覆去只能放几部老片子,影片的供应远远跟不上观众和时代的需求。

目前国内高校动画、影视特效类的专业遍地开花,有些地方甚至到了供过于求的地步,为什么立体环幕影像的创作者却如此难觅呢?据笔者调查,除了信息不对称的因素以外, 由于放映环幕影像需要造价高昂的特殊软硬件环境,超出了大部分高校相关专业愿意接受的水平,因此学生在校期间很难有机会进行这方面的学习和研究,毕业后会选择创作这类特种影片的人肯定只是凤毛麟角了。

传统环幕影院建设成本之所以昂贵,主要因为以下三个方面的原因:首先,要实现环幕投影必须进行边缘融合与几何校正,专门用于边缘融合与几何校正的硬件设备(国产)价格在20至30万左右;其次,立体环幕影像需要提供多通道视频信号,实现三通道立体投影就需要总共7台电脑(6台输出视频信号,另一台作为服务器),即使每台电脑采购成本在1万元左右,7台电脑的采购成本也要近10万元了;最后,大多数环幕影院都选择使用价格昂贵的工程投影机,每台投影机在3-5万元左右,六台投影机的采购总价高达20-30万元。再加上环幕本身的造价和安装调试的费用,要打造一个三通道立体环幕影院的成本大约在50-80万元——这显然是一笔相当可观的投入。

笔者负责的“非平面影响实验室”建设项目总经费不到200万元,还需涵盖立体视觉、4D座椅、交互球幕、球幕影院等多个研究域。因此,在满足创作与研究需求的前提下,必须尽可能降低三通道立体投影系统的造价。最后,经过反复研究与不懈努力,该系统的总造价被控制在了15万元。

2 软硬件环境及建设成本

5.1声道音响系统:0.25万元

再加上偏振滤镜、支架、线材、安装等费用,硬件部分的投入约为15万元,并且随着时间的推移硬件成本还会逐步降低。相比较大多数立体环幕系统50-80万元的造价,这样的建设成本相信大部分的院校都能比较轻松地接受。

在软件系统上,本系统利用Quest3D三维引擎内的Render to Texture与HLSL编程功能完成了几何校正与边缘融合。鉴于本方法的普适性,您完全可以选择自己熟悉的三维引擎组建,只需确保这个引擎支持“渲染至贴图”功能与“可编程着色器”功能即可。

最后,需要特别指出的是,在主控电脑中所选用的显卡为华硕EAH5870 EYEFINITY 6/6S/2GD5,因为它是为数不多的性能强大且能够同时输出六个数字视频信号的显卡,这样的显卡是组建低成本立体环幕投影系统的必要条件。

3 基于HLSL的三通道立体投影实现方法

3.1设备连接与系统配置

支持AMD Eyefinity功能的显卡最大的优势在于它不仅能够同时输出六个不同的影像,而且可以在驱动程序层面将六个画面合并为一个完整的桌面。根据这个特点,我们将六台显示器按照3x2的形式组成分辨率为3072x1536的矩阵,左眼画面渲染至1-3号显示器/投影机,右眼画面渲染至4-6号显示器/投影机,左右眼投影画面以偏振技术加以区隔。

3.2利用HLSL进行几何校正与边缘融合的思路

3.2.1相机模型转换

适用于环幕的影像分为预渲染影像(如动画或影片)和实时影像两大类,其中实时影像又包括二维和三维两种,它们之间各有不同但其中难度最高的是本文所研究的实时三维影像。

由于常用的3D API(包括OpenGL和DirectX)仅支持针孔相机模型,生成环幕影像只能通过多相机画面拼接。相机数量越少拼接后图像精度的损失越大,相机越多则消耗的运算资源越多,因此必须在两者之间取一个平衡点。对于本例中120度的环幕来说,水平方向上放置三个视锥左右相连的摄像机比较合适。虽然这三台相机可以渲染出左右相连的画面,但如果简单地将它们左右拼在一起那么透视不连续的问题会明显地表现出来,表现为直线在接缝处产生折角(见图2)。

3.2.2线性变换

理想情况下,投影方向应垂直于该部分圆弧的弦,且分管环幕左、中、右侧的投影机影像应能完美地两两重叠。但事实上,由于投影机和环幕的安装都不可能精确到分毫不差,并且为了降低成本我们选择了并不支持“镜头平移”功能的商用投影机,所以在进行几何校正时必须纠正这一偏差。

在进行平面投影时,这样的偏差通常由投影机内置的“梯形校正”功能修正,但是在进行环幕投影时必须利用程序解决。这首先是因为投影机的“梯形校正”功能无法达到子像素级的精度,其次也是因为很多投影机仅能进行垂直梯形校正而不能进行水平梯形校正。另外,将所有校正操作都集成在同一的界面中也能大大提升调试效率。

由于投影机与环幕的相对位置、角度所引起的偏差可以通过一次线性变换完成修正。本系统允许用户通过移动四个角点实时地影响修正结果,也即通过四个角点的坐标实时计算出变换矩阵并完成变换。

本方案计算变换矩阵所采用的是Dong-Keun Kim等人在A Planar Perspective Image Matching using Point Correspondences and Rectangle-to-Quadrilateral Mapping一文中的提出的计算公式,如下(原文公式中的一个小错误在此已修正):

得到变换矩阵后利用HLSL对于图像进行重取样,只需将IN.UV与变换矩阵相乘即为新采样坐标。需要强调的是,按照上述公式求出的矩阵M是将矩形变换至任意四边形的变换矩阵,但由于矫正过程是一个对于渲染结果进行重取样的过程,因此应当直接使用M而非其逆矩阵M-1。

3.2.3 非线性变换

目前市场上所能购买到的投影机都是为平面成像设计的,在平面上它们可以投射出4:3或16:9的矩形画面(或至少是线性变换后的画面)。但是在环幕或其它非平面投影对象表面,投影机形成弯曲影像是无法通过线性变换修正的,必须通过非线性变换才能使之与投影幕匹配,这是环幕几何校正的核心步骤。

经测试,在硬件搭建完毕的情况下几何校正与边缘融合模块一般可以在10分钟以内完成调试,拼接后的影像清晰锐利,没有明显的拼缝和叠影问题,可以满足绝大部分影视与交互内容的放映需求。

另外,得益于5870 GPU强大的运算能力,虽然程序运行在3072x1536这样的超高分辨率下,并且几何校正与边缘融合需要消耗大量的GPU资源,但程序的流畅度并没有受到严重影响,程序帧速率始终保持在50FPS以上。当然,测试用的游戏场景并不算太复杂,随着画面复杂程度与精美程度的提高,几何校正与边缘融合运算对运行速度的负面影响应该会逐步显现出来。

4结论与进一步研究的方向

本文所提出的方法经过实际检验切实可行、效果良好,其优点和缺点都非常明显。

本方法的优点在于,只需一台电脑无需边缘融合机便可实现三通道立体投影,相比较其它方案大幅降低了建设成本,也规避了多台电脑间信号同步的复杂问题。它的缺点在于,由于需要利用GPU进行大量运算以完成边缘融合和几何校正,因此会消耗可观的运算资源,如果显示的内容是复杂的实时渲染三维场景则帧速率会被显著降低。另外,与使用边缘融合机的方案相比,本方法需与特定的引擎结合使用,并不能做到软件无关性。

在本文的基础上,可以在以下几个方面做进一步的研究与探索。

首先,通过加入网格变形功能模块让像素级的几何校正功能更为灵活,并且能够应对不规则的投影表面变形。

其次,设法提高执行效率,让几何校正与边缘融合所占用的运算资源尽可能少,为主程序留出足够的运算机能。

最后,通过其它开发工具拓展本方法的适用范围,使之与特定引擎无关,实现桌面级的几何校正与边缘融合。

参考文献

[1]Dong-Keun Kim, Byung-Tae Jang, Chi-Jung Hwang. A planar perspective image matching using point correspondences and rectangle-to-quadrilateral mapping, Proceedings of Fifth IEEE Southwest Symposium on Image Analysis and Interpretation, 2002,4:87-91.

[2]Paul Heckbert, Projective Mappings for Image Warping, Fundamentals of Texture Mapping and Image Warping, Master’s thesis CS Division, U.C. Berkeley, 1989,6:17-21.

[3]Paul Bourke. Edge blending using commodity projectors. http:/// texture_colour/edgeblend/, 2004.

[4]吕冀,汪渤,高洪民.图像失真矫正算法与应用,微计算机信息,2008,12:280-281.

[5]陈子俊.环幕电影系统及其开发利用.影视技术,2000,6:46-47.

上一篇:影视幽默与苦难欣赏 下一篇:基于多点触控操作的网页界面设计趋势研究