基于序列图像的三维重构

时间:2022-06-09 09:36:03

基于序列图像的三维重构

摘要 提出了一种基于序列图像的三维重构方法。在相机标定的基础上,利用两幅图像间的匹配关系得到一个初始的三维模型,然后利用剩余图像与初始模型间的匹配关系,采用反投影映射的方法计算出剩余图像的外方位元素。最后经过稠密匹配、三角剖分和纹理渲染得到物体的三维模型。实验结果表明,相机标定精度较高的情况下,采用该算法能够得到较低失真的三维模型。

关键词 三维重构;对极几何;外方位元素

中图分类号 TP391 文献标识码Adoi:10.3969/j.issn.1003-6970.2011.01.005

The Method for Image Sequence of 3D Reconstruction

ZHANG Xi-taoSI BinWANG HuiGUO Shi-wei

(China Airborne Missile Academy,Luoyang471009,China)

【Abstract 】 This paper presents a 3D reconstruction algorithm based on sequential image. The initial reconstruction is performed using the matching relations between two images based on the camera calibration. Then the external parameters of the remained images are generated by means of reprojection and the matching relations between the initial reconstruction and the remained images. Finally, through dense matching、triangle meshing and texture rendering, the model of the object is obtained. Experimental results show that this method can reconstruct the 3D model with low distortion in the case of high precision of camera calibration.

【Key words】3D reconstructionepipolar gemometryexternal parameter

0 引言

利用一系列已经标定好的二维图像精确的恢复物体的三位模型,是目前机器视觉领域研究的一个热点。其广泛应用于遥感图像分析、机器人视觉、虚拟现实、精密工业测量及军事侦察等领域。通常的双目立体视觉是建立在两幅图像上的重构,局限在于不能得到完整的三维模型。但通过近十多年的发展,双目立体视觉重构技术已经十分成熟。

本文就是在相机标定的基础上[1],利用对极几何约束的方法,先将两幅图像按照双目立体视觉进行重构。然后利用剩余图像与重构模型间的匹配关系,采用反投影映射的方法计算出剩余图像的外方位元素。通过较高精度的相机标定及重构中对各参数的迭代优化控制累计误差。

1 基于对极几何重构

对极几何关系是指从两个不同视点获取的来自同一个场景的两幅图像之间的约束关系,这种约束关系可以用基本矩阵(Fundamental Matrix)来描述。基本矩阵包含了相机从第一个位置到第二个位置相对运动的所有信息。

1.1 相机模型

机器视觉中常用的成像模型是透视相机模型。满足投影方程:

(1)

其中, 为二维图像坐标 ,相应的, 是空间中三维点的坐标 , 是 的投影矩阵。在欧式重构中 可以表示为:

(2)

其中:

, , , 表示相机的内方位元素, 表示焦距, 表示纵横比, 表示畸变因子, 为图像主点也就是相机中心在图像中的坐标。通常 , ,图像主点也接近于图像的中心。 和 为相对于世界坐标系的旋转矩阵及平移矩阵。

1.2 两幅图像的重构

基本矩阵 是3×3秩为2的矩阵,具有7个自由度。该矩阵包含了两幅图像间的变换关系,因而对基本矩阵 的稳健估计是三维重构的基础。如图1所示,三维空间中某个点 在图像1和图像2上的投影分别为点 和 ,这两个点即为一组匹配点。基本矩阵与匹配点满足下面关系式:

(3)

由式(3)可知,基本矩阵可以采用RANSAC的方法由两幅图像的匹配点求得[2][3]。

图1 对极几何关系

由对极几何关系[4]可知: 矩阵与投影矩阵 有如下关系:

(4)

其中 ,当相机主点 时, 可由 求得。假设以第一幅图像的主点为世界坐标原点,可得两幅图像的投影矩阵为:

(5)

将式(5)代入式(4)可得:

(6)

令 ,代入式(6)可得

(7)

其中, 称为关键矩阵,可由内方位元素矩阵 和基本矩阵 求得。对式 奇异值分解可以得到 的单位向量,由方程 可得旋转矩阵 。

将两幅图像的投影矩阵和匹配点代入投影方程式(1)可以求得一个基于两幅图像的三维初始模型。

2 序列图像重构

在得到两幅图像重构结果的基础上,本文采用每次将一幅图像加入原有模型的方法完成整个模型的重构。首先,根据新加入图像与初始的三维模型间的匹配关系确定该图像的外方位元素,然后将新产生的三维坐标点加入原有模型[5]。

如图2所示,对于新加入的图像上的点 ,其和前一幅图像间的匹配点 可由RANSAC方法求得,若点 对应的三维空间点为 ,则新加入图像上的点 所对应的空间点也为 。同理可求新加入图像上所有的匹配点所对应的三维点,将所有对应的二维点集 和三维点集 代入投影方程式(1)便可以得到新加入图像的投影矩阵

图2 新加入图像与初始模型的匹配方法

由于误差和噪声的存在,每加入一幅图像,采用如下的优化函数对其投影矩阵进行校正:

(8)

3 稠密重构及纹理贴图

为了使重构结果的表面信息较为完整,本文采用Quasi稠密匹配的方法[6]求得致密的匹配点,同时经过序列图像的重构所得到的投影矩阵重构出大量的三维空间点,最后利用delaunay三角剖分法对重构结果进行分割及贴图。

4 实验结果及分析

仿真实验中,相机的内方位元素经标定为:

取一个盒子作为重构对象,用上文标定好的相机对该盒子随机拍摄得到五幅大小为1024×768的序列图像,如图3所示。

图3 原始图像

先采用SIFT匹配的方法[7]求得初始匹配点,利用RANSAC的方法剔除误匹配的同时,得到每两幅图像之间的基本矩阵。选择匹配数目最多的两幅图像进行初始的重构。最后运用本文基于序列图像重构的方法对该序列图像重构,结果如下图所示。

图4 不同视角的三维点云图

图5 不同视角的重构结果

由表1可以看出,由于第三幅图像和第二幅图像间的视角变换比较大,导致匹配点数目较少,基本矩阵的精度较低,从而使反投影误差较大。由于采用了式(8)的的函数进行优化,第四幅图像和第五幅图像的反投影误差并没有明显的增长。因此,在相机标定精度较高的情况下,本算法并不会由于中间图像出现较大误差而影响后续图像的重构。

5 结论

本文提出了一种基于序列图像的三维重构算法。在相机标定的基础上先用两幅图像进行初始重构,通过每次添加一幅图像的方法求得剩余图像的外方为元素,采用稠密匹配的方法得到大量的匹配点,结合所有图像的外方位元素重构出完整的三维模型。从实验结果来看,在相机标定精度较高的情况下,采用该算法能够得到较低失真的三维模型。

实验结果表明该算法仍有不足的地方:

1)该方法得到大量的三维空间点有一部分是重复的点,应该剔除;

2)由于稠密匹配耗费时间比较长,因此实验总耗时比较大,对稠密匹配需要进一步研究;

3)该算法受限于相机标定的结果,特别对于图像有畸变的情况,应先对图像进行校正。

参考文献

[1] Zhang Zhengyou. A Flexible New Technique for Camera Calibation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[2] M A Fischler, R C Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J].Communication of ACM, 1981,24(6): 381-395.

[3] R Hartley. In defence of the 8-point algorithm[C]. In Proceedings of the Fifth International Conference on Computer Vision. 1995:1064-1070.

[4] R Hartley, A Zisserman. Multiple view geometry in computer Vision[M].Second. New York: Cambridge University Press, 2003:241-250.

[5] M. Pollefeys, L. Van Gool. Visual modeling with a hand-held camera[J].International Journal of Computer Vision , 2004, 59(3), 207-232.

[6] J.Kannala, S.S.Brandt. Quasi-dense wide baseline matching using match propagation[J].IEEE Conference on Computer Vision and Pattern Recognition,2007.

[7] D G. Lowe.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision, 2004, 60(2): 91-110.

6 提供作者简介与联系方式

作者简介: 张喜涛(1986-),男,在读研究生, 主要从事图像处理及三维视觉研究

注:本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文

上一篇:ACCESS带参数的查询详解 下一篇:基于RUNA WFE的人力资源管理工作流系统开发