TIP画中游技术的重访

摘要：TIP（画中游）即只通过一张照片，观看者就能浏览照片中描述的整个场景。根据TIP的执行过程，笔者注意到一个问题：随着视点在场景中移动，可视性会显著下降。这与真实世界中的经历是相矛盾的，该文通过使用图像的多重表述性来解决这个问题，即在浏览中可视性基本保持不变，而且还将3D模式整合到了TIP中，笔者还通过光源在场景中产生了光影。

关键词：影像式绘图/建模；画中游；虚拟现实漫游；多重图像；光影

中图分类号：TP391文献标识码：A文章编号：1009-3044(2010)20-5606-02

影像式绘图是对研究虚拟现实绘图的几何学的补充，它利用一套提前获取的影像来生成新的场景。这也是获取三个主要的有利条件的有趣途径。首先，渲染速度是独立于复杂场景之外的。其次，渲染是一个图像取样的过程，因此它不依靠任何特殊的绘图硬件只用普通的CPU就行了。第三，绘图的结果是自然并真实得像照片一样。

TIP是一种影像式绘图技术，最早是由Horry等人提出的。即只给出一张照片，允许观看者浏览图像描述的整个场景。TIP使用一种简单但功能强大的图形用户界面（GUI），它允许用户轻易的浏览整个场景并提供不一样的视角。

一般来说，提供一个场景的不同图像需要不止一张照片。为了从场景中的一张照片得到不同的图像，TIP大量依靠了照片的主观阐述性。TIP使用照片中的蜘蛛网格获得一个简单的虚构的3D场景模式：背景可以通过最多5个3D多边形进行建模；图片上的每个前景物体都被描述为带有纹理映射的公告牌形式。值得注意的是，在TIP技术中，一个用户可以指定前景和背景物体。这种指定依赖于用户的感觉和目的。但场景本身的存在是不变的。

TIP的效果是令人印象深刻的。它能让用户感觉到2D平面图片变成了一个3D场景，还能从不同的视点进行浏览和观看。TIP应用场景中的一个图像的方法适用于如艺术博物馆中。

在TIP执行过程中，我们注意到一个问题：随着视点在场景中移动，可视性会显著下降。这与真实世界中的经历是相矛盾的。我们通过使用图像的多重表述性来解决这个问题。我们已经达到了这样一个目标，即在浏览中可视性基本保持不变，而且还将3D模式整合到TIP中。另外，我们还通过光源在场景中产生了光影。

1 其他相关研究

在影像式绘图方面的发展可以从三个不同的研究领域来探索：照相测量法、计算机可视化和计算机图形学。在照相测量法中，照相机的校准、修正画面变形、图像注册和光度测定都已经从参考图像的形成向图像合成的方向发展了。同样的，在计算机可视化技术中，像机器人导航、图像辨识以及图形理解等问题也很自然的往同样的方向发展。在计算机图形学中，向影像式绘图的方向发展被期望通过在图像表面绘图以增加可视化和现实复杂的几何描述所激活。

除了TIP，计算机图形学中还包括视点插值、视角转换和密集的样式插值等影像式绘图方式。在视点插值中，新图像是由两个通过镶嵌图案创建的柱状全景图合成的。绘图被表现为对一套离散模型中的任意波长的光强连续继承的重构。不同的地图是在使用圆柱体的极限约束变量的相邻柱状全景之间计算出来的。新图像是通过扭曲已存在的不一样的全景图合成的。视角变换结合了图像插值和图像变换，新图像能够被正确合成并通过数学检验，如果参考图像第一次矫正，那就使用插值。它包括三个步骤：矫正、线性的不一样的插值和反矫正。基于方法的密集样式构造了清晰的4D数据结构，其结构中包含了能在一个受限制空间（即光域或流明图像）中捕获完整光流的任意波长光强的子集。这种数据结构还包含了在物体周围封闭空间中所有交叉的可见光的色度。通过调整光线使其从一套离散模型中经过新的照相机中心，这样可以合成物体的新图像。

近来的工作包括了基于影像式绘图的硬件设计；基于LDI树的影像式绘图的分级继承；基于同一中心绘制镶嵌图案；影像式绘图以及基于可保障帧传输率的几何渲染的应用；基于人类脸部皮肤老化和产生皱纹的图像模型。

2 多图片漫游

当我们的工作是对 TIP的扩展时，首要简化我们的执行过程。主要步骤如下：

1) 构造蜘蛛网格：在这一步中，交互式用户可以指定蜘蛛网格包含一个灭点、四条光线和原始图片中的两个矩形。这两个内部矩形可以直观地被看作一扇望出去望不到边的窗户，同时外部矩形对应着图像的外部轮廓。四条光线从正灭点中射出。每一个内部矩形的边缘都与一个外部矩形的边缘平行。内部矩形也被用于指定3D场景中视点不能到达的背窗。

2) 3D背景建模：在这一步中，我们首先将外部矩形以2D的方式分解为5个更小的区域，每个区域都是外部矩形的一个2D多边形。它们分别描述了地面、右墙、左墙、背墙和顶面（背墙也是内部矩形），我们能够直接从图像中得到这些2D矩形的结构。假定：① 相邻的3D矩形平面互相垂直；② 3D背墙与投影平面平行；③ 3D地面与观测上向量垂直。每个矩形结构图是矩形所覆盖图像的一部分。

3) 使用材质贴图绘制场景：在这一步中，3D重构场景包含五个矩形并且可以直接绘制结构图。绘图期间通过改变视点，图像的可视化效果浏览就呈现出来。在执行过程中我们发现了一个问题，当视点移动时每一帧图片将出现严重模糊。此问题归咎于使用了图片的单一结构。开始的时候绘图是强烈而清晰的，当视点移动时，由于使用材质贴图显示的图片部分尺寸会持续减小，因此合成的图像会变得越来越模糊。

普遍的解决方法是使用多重结构和多重性。当视点离得远时，分辨率较小。当视点移动时分辨率增加。理想状态下，用于显示的图片部分的尺寸应该保持不变。

首先，我们获取一张图片的多重结构。当今通过数码相机和图片扫描仪可以获取一张很清晰的图片。从最高分辨率可以使用普通的图像编辑器得到不同等级的低分辨率。

第二，我们将多重结构分成五部分对应5个重建的矩形。对于每层结构来说，被使用的图像可以为各自不同的矩形部分采取不同的分辨率。比如，当视点接近场景的背墙时，从视点到其他四面墙（顶面，左右墙和地面）的距离仍然保持一样，因此只有背墙需要使用高分辨率。我们把每个图像分成五部分从而存储起来，这样每一面墙都有自己的多重图像金字塔。在场景浏览时，从当前视点所在的墙与每一面墙的距离可以选择一张拥有适当分辨率的图像。

第三，我们在浏览中为每个矩形选择具有最适当的分辨率结构。我们试图保持图像分辨率的产出以及与适当范围内3D矩形的距离。使用新分辨率的间隔是由距离函数决定的。为了保持最好的显示质量，我们使用一个简单的方法，用公式描述为：Tlow≤Li×Di≤Thigh，Li代表矩形（墙）i的分辨率等级，当Li值等于1时表示最低分辨率，只有下一个分辨率等级即等级2的四分之一；Di是当前视点与矩形（墙）i之间的距离；Tlow和Thigh是极限值恒量。直观的讲，一旦Li×Di产生的值小于（或大于）最低（或最高）极限值Tlow（或Thigh），那么就可以选择使用更高分辨率的图像。

最后，我们通过窜改多重图像改进了绘图。当选择使用新分辨率的图像时产生了一个值得注意的突变。我们通过窜改来解决此问题，以至于图像显示能够平稳的过渡到下一分辨率。我们通过没有一般性损耗的一面墙来描述它。在前一段中使用了公式，在距离变量D0中，墙变量i采用了Li；在距离变量D1中，采用了Li'。如果距离变量D在[D0,D1]范围内变化，图像使用的分辨率就在Li和之间变化Li'。简单的讲，我们将距离的窜改线性化：IMG(D)=(IMG(D1)(D-D0)+IMG(D0)(D1-D))/(D1-D0)，公式中的IMG(D)代表的是距离D中的图像。因此，IMG(D0)和IMG(D1)是来自等级为Li和Li'的抽样图像。在我们的执行过程中，处于图像金字塔中的低分辨率图像的尺寸只有更高分辨率图像的四分之一，因此在窜改之前，低分辨率图像的比例必须放大四倍才能获得同样尺寸大小。

3 3D模式的整合

加入更多内容到场景中去的其他3D模型的合成并没有在初始图片中刻画出来，那是提升虚拟环境的一种很有用的方法，其困难之处在于无缝合成3D模型与完成一段连贯的可视化效果。连贯性的要素包括模型尺寸、材料、位置、照明条件和光影。因为3D场景由五个矩形构造而来，尽管物体不能任意地放到如图7中柱子后面那样以真实3D建模的场景中去，尺寸和位置的连贯性问题也并没有那么严重。

我们计算光影是因为它们的实质是一个3D场景。形成光影的首要任务是获得场景中的光源。虽然有来自图像的自动照明恢复，但是它将特别用于只针对一张图片的情况，因此我们需要观察者指定光源。

我们应用了实时的光影运算法则，此法则在[MB96]中有描述。简要的说，我们在一个平面上计算并绘制光影，需要获取光影矩阵并用它增加3D图像传递的矩阵模型。光影矩阵是由基础平面矩阵和光源位置计算出来的，默认的基础平面是xz平面。在基础平面中给出三个向量v1、v2和v3，有vp1=v1-v2，vp2=v1-v3和一般向量v=vp1×vp2。最后，光影矩阵可以计算为：M[i][j]=－vp1[i]×v[i]，条件是i=j；M[i][j]=-vp1-vp1[i]×v[i]，条件是i≠j。

光影矩阵计算出来后，将被用于增加矩阵模型。同时，我们需要在绘制光影时使深度测试失效，以至于深藏的隐秘模型显现在地面和各个墙上，那时3D模型的光影就能显示在正确的位置上。

为了得到更好的效果，我们将光影与材质贴图面混合，并使用了RGB色谱中α值。α用于指明光影颜色怎样与地面颜色混合，即在帧缓冲中象素的色彩仍与那些没有光影但亮度被α值加强并加入到帧缓冲中的色彩保持一致。

4 结论及远景规划

TIMP作为TIP的扩展，我们已经计划并执行了在多图片中的浏览。正如浏览的结果显示的一样，当观察者进行场景浏览时，被绘制出来的图像质量几乎不变。通过在场景中不同视点距离应用不同分辨率的图像，我们能够保证绘图拥有先定义并可接受的抽样率。我们也已经改进了绘图的帧频。而且，我们已经将3D模型整合到了图片描述的场景中。每个物体光影从光源中产生。最终，光影平滑的与图像内容混合在一起以提高可视化的质量。

在以后的研究中，我们将扩展关于TIP的设想。比如，我们将考虑让图片中的背墙与观察平面不平行，或者3D的地面与观测上向量不平行，或更多普遍存在的情况，如灭点在图片之外。

参考文献：

[1] 吴琼玉,周东翔,蔡宣平.一种基于TIP技术的场景重建和漫游方法[J].计算机工程与科学,2006(04).

[2] Donald Hearn, M Pauline Baker.蔡士杰,吴春F,孙正兴,等,译.计算机图形学[M].北京:电子工业出版社,2000.

[3] Kang H W, Pyo S H, Anjyo A, et al. Tour into t he Picture Using a Vanishing Line[J].Computer Graphics Forum,20(3):1322141.

[4] 陈华光,邓奕,王京文,等.基于OpenGL可漫游虚拟场景的设计[J].微计算机信息,2008(24).