尺度总体最小二乘在图像拼接中的应用

摘要：图像拼接是是一种重要而实用的计算机技术，好的拼接算法离不开鲁棒的参数估计方法。尺度总体最小二乘方法作为一种新的线性模型参数估计方法，它是最小二乘，数据最小二乘与总体最小二乘方法的直接推广与统一体，具有良好的估计性能。考虑到观测数据中外点的存在将可能导致参数估计失效，我们首次将RANSAC方法与尺度总体最小二乘结合起来用于图像拼接问题，实验表明，该方法具有优良的性能，值得推荐。

关键词：图像拼接；尺度总体最小二乘

中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)18-4503-04

Scaled Total Least Squares and Its Application in Image Mosaicing

DENG Wei-jun1,2,YANG Sheng2

(1. Hunan Normal University, College of Polytechnic, Changsha 410081,China; 2.Yueyang County Vocational School, Yueyang 414100, China)

Abstract：Image mosaicing is an important and useful technology in computer science and it requires robust parameter estimation methods. Scaled total least squares (STLS) is novel parameter estimation approach for linear model which unifies the least square (LS), data least squares (DLS) and total least squares (TLS) and shows better performance. However, the outliers or gross errors may destroy the estimation performance of the LS, DLS, TLS and STLS approaches. We combined the RANSAC method with the STLS algorithm and adopted it in the image mosaicing. Experiments show that the RANSAC-STLS method behaves excellent and it is recommendable for practical workers in computer vision.

Key words：image mosaicing; scaled total least squaers

图像拼接（image mosaicing）是一项重要技术，在医学影像处理，航空遥感，地理信息系统，虚拟现实技术，计算机视觉等领域有着广泛的应用背景[1-2]。一方面，由于摄像机的视角范围远比人小，如果要对较大的区域获取全景信息，就不等不把图片系列包含的场景拼接成全景；另一方面，对于人眼也无法纵览的场景，例如大地尺度下的遥感遥测与地理信息系统，也迫使人们寻求准确高效的图像拼接方法。较早的获取全景图像的方法是使用像机绕定轴摇转(panning)，而拼接过程则类似于按母线展开圆柱面。对于以平移运动为主的运动摄像机拍摄的图片系列，与摇转情形类似，都可以用一个公共的参考平面来构建全景，其中包含各个局部拍摄的图片所包含的局部场景信息。对于场景而言，最简单的是静态的场景，当前的各种图像算法都是针对这类问题，对于运动场景的拼接问题，则要复杂得多，Peleg等人[3]在这方面做出了开创性的贡献。

图像拼接技术包括两个基本步骤：图像配准（image alignment, image registration）与区域粘帖(pasting)。对于图像配准而言，有两大类方法，第一类方法是间接法，即利用特征抽取与匹配过程获得的匹配点计算两图像间的单应矩阵（射影变换或放射变换矩阵）；第二类是直接法，采用所有像素点求得图像点的平面运动模型（单应矩阵）。对于区域粘贴，也有两大类方法，一类是使用全部像素的常规方法，另一类是流形拼接方法[4-8]，这类方法的特点是从每张图片中选取一个条带，先进性形变将光流平行化，然后按顺序（不重叠地的）拼接。

然而无论何种拼接问题与方法，图像配准过程都离不开平面单应矩阵的参数估计过程，因此好的线性模型参数方法总能在图像拼接中得到应用。在实际问题中，从图像中提取任何信息都会受到噪声干扰，各类方法都存在一个鲁棒性(也叫稳健性)问题,当观测数据中存在外点时，参数估计方法很可能会失效。此外，在不存在外点时，不同的参数估计方法也有不同的性能，寻找好的估计方法在理论上与应用上都非常重要。

在该文中，我们考虑基于特征抽取与匹配的图像拼接方法，采用RANSAC方法[9]剔除外点，而用尺度总体最小二乘（scaled total least squares, STLS）方法[10]估计平面单应矩阵，用距离加权融合图像间公共区域以获取无缝拼接的全景图像。

图3RANSAC-STLS方法得到的全景图(γ=1.0)

容易发现，拼接想效果非常只好，没有任何“鬼影”(ghost)现象，连图中的电线也已经光滑连接了。实验还发现，当把图1作为参考图像时，在γ

[1]赵向阳,杜利民.一种全自动稳健的图像拼接融合算法[J].中国图像图像学报,2004,9(4):417-422.

[2] M.Brown, D.G.Lowe, Recongizing Panoramas.Procedings of IEEE International Conference on Computer Vision ,2003(2):1218-1225.

[3] A. Rav-Acha, Y. Pritch, D. Lischinski,et,al. Dynamosaicing: Mosaicing of Dynamic Scenes, IEEE Trans. PAMI, Oct. 2007:1789-1801.

[4] S. Peleg, B. Rousso, A. Rav-Acha, and A. Zomet, Mosaicing on Adaptive Manifolds, IEEE Trans. on PAMI, Oct. 2000:1144-1154.

[5] B. Rousso, S. Peleg, I. Finci, and A. Rav-Acha, Universal Mosaicing using Pipe Projection , ICCV’98, Bombay, January 1998:945-952.

[6] B. Rousso, S. Peleg, and I. Finci, Video Mosaicing using Manifold Projection , British Machine Vision Conference BMVC’97, Univ. of Es? sex, UK, Sept. 1997. HTML version.

[7] S. Peleg and J. Herman, Panoramic Mosaics by Manifold Projection ,, CVPR’97, June 1997:338-343.

[8] B. Rousso, S. Peleg, and I. Finci, Mosaicing with Generalized Strips, DARPA Image Understanding Workshop, May 1997:255-260

[9] M.A. Fishler and R.C. Boles. "Random sample consensus: A paradigm for model fitting with applications to image analysis and automat? ed cartography". Comm. Assoc. Comp, Mach., 1981, 24(6): 381-395.

[10]张鸿燕,耿征.Levenberg-Marquardt算法的一种新解释[J].计算机工程与应用, 2009, 45(19): 5-8.

[11] C.C. Paige & Z. Strakos, Unifying least squares, total least squares and data least squares , In S. van Huffel and P. Lemmerling, editors, Total Least Squares and Errors-in-Variables Modeling, Dordrecht: Kluwer Academic Publishers, 2002:25-34.

[12]张贤达.矩阵分析与应用[M].北京:清华大学出版社,2004.

[13] Lowe,DavidG.(2004)."DistinctiveImageFeaturesfromScale-InvariantKeypoints".InternationalJournalofComputerVision60(2):91-110.

[14] Cui, Y,Hasler N. Thormaehlen, T.; Seidel, H.-P. (July 2009). "Scale Invariant Feature Transform with Irregular Orientation Histogram Binning". Proceedings of the International Conference on Image Analysis and Recognition (ICIAR 2009), Halifax, Canada: Springer .

[15] R. Hartley, A. Zisserman, Multiple View Geometry in Computer Vision, 2nd ed., Cambridge Press, 2004.