基于SURF的敦煌壁画数字图像智能拼接系统研究

摘 要:针对敦煌壁画数字图像拼接数据量大、计算耗时长这一急待解决的技术难题,构建了敦煌壁画数字图像智能拼接系统的总体结构;提出并实现了基于SURF的图像配准算法,该算法在积分图像的基础上进行快速计算,通过快速Hessian检测子来检测特征点;通过计算哈尔小波变换,确定其主方向及特征点描述子,并根据描述向量之间的欧式距离实现图像间的特征点的匹配;最后,采用渐入渐出的图像融合算法实现了图像拼接系统。实验表明:该系统既能满足匹配准确性的要求,又具有计算量小,计算速度快的优点。关键词:图像拼接; 快速鲁棒性特征; 积分图像; 海森矩阵; 特征点描述子; 图像融合

中图分类号:TN915.73-34; TP391 文献标识码:A 文章编号:1004-373X(2010)16-0133-04

Dunhuang Fresco Digital Image Intelligent Mosaics System Based on SURF

HE Zhao,LU Xuan-min,WANG Jun-ben

(School of Electronics and Information, Northwestern Polytechnical University, Xi’an 710072,China)

Abstract: An intelligent digital image mosaics system structure is conceived to deal with the difficult problems of large data amount and long time consuming in Dunhuang fresco digital image mosaics. A new algorithm based on SURF for image registration is presented. It is a fast computation based on the integral image through the Fast-Hessian detector, the feature points are extracted. For each feature point, the dominant orientation is assigned by computing Haar-wavelet responses, and then the descriptor is generated. Image matching is made based on Euclidean distance between these descriptors. At last, the original image and reference image are fused together by gradating in-and-out amalgamation algorithm. Experimental result shows that this system can not only meet the requirement of accuracy, but also has a small data amount and fast speed for image mosaics.

Keywords: image mosaics; speed up robust feature; integral image; Hessian matrix; feature point descriptor; image fusion

0 引 言

敦煌莫高窟现有洞窟735个,其中包括四万五千多平方米壁画和二千多身彩塑以及藏经洞出土的五万多件文化遗产。然而随着时间的流逝,由于壁画原料中存在铅成分,在光照、氧气、温湿等外部条件作用下,色彩大多褪变,且这种现象仍在持续。另一方面,人类活动的影响,使敦煌壁画不断遭到破坏。为了更好地研究和保护敦煌莫高窟洞窟的壁画艺术,为了未来通过数字影像的方式更好地向全世界推广敦煌文化,亟待开发一套壁画数字图像智能拼接系统来帮助解决敦煌壁画数字图像的自动拼接问题。

图像拼接技术是目前的热门研究领域,是虚拟现实、计算机视觉、计算机图形学和图像处理等领域的重要研究课题[1-2]。其中,图像配准和图像融合是图像拼接的2个关键技术,图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。近十年来,虽然许多图像自动拼接技术被提出并实现,如相位相关法、基于相似曲线的拼接算法、基于兴趣点的拼接算法,SIFT算法等[3],但是各种拼接算法[4-5]都有其局限性和针对性。因此,在图像拼接时,如何提高图像拼接精度和降低计算复杂度等方面还有很多的研究工作要做。

本文针对敦煌壁画数字图像拼接数据量大、计算耗时长这一亟待解决的技术难题,构建了敦煌壁画数字图像智能拼接系统的总体结构;提出并实现了基于SURF[6]的图像配准算法,该算法在积分图像的基础上进行快速计算,通过快速Hessian检测子来检测特征点;通过计算哈尔小波变换,确定其主方向及特征点描述子,并根据描述向量之间的欧式距离实现图像间的特征点的匹配;最后,采用渐入渐出的图像融合算法实现了图像拼接系统。实验表明:该系统既能满足匹配准确性的要求,又具有计算量小,计算速度快的优点。

1 系统总体结构设计

根据敦煌壁画数字图像的特点,设计了敦煌壁画数字图像图像拼接系统的总体结构,如图1所示。

图1 敦煌壁画数字图像图像拼接系统的总体结构

整个系统的功能主要由以下几个主要的模块来实现:

(1) 图像输入/输出模块。主要实现数字图像的调入、打开和图像的浏览显示和打印输出等。

(2) 图像预处理模块。主要是对图像进行几何畸变校正和噪声点的抑制等,让参考图像和待拼接图像不存在明显的几何畸变,以及亮度、色度和饱和度等明显差异等,以尽量减少图像质量、色差等因素对图像配准造成的困扰。

(3) 图像配准模块。主要是对参考图像和待拼接图像中的匹配信息进行提取,在提取出的信息中寻找最佳的匹配,精确找出相邻2张图像中重叠部分的位置,最终确定2张图像的变换关系,完成图像间的对齐。

(4) 图像融合模块。主要是在完成图像匹配以后,对图像进行缝合,并对缝合的边界进行平滑处理,让缝合自然过渡,最终实现图像像素级融合、特征级融合、决策级融合等。

(5) 图像拼接综合评价模块。主要是实现图像融合的客观评价方法,在偏差指数,光谱扭曲程度和相关系数等方面进行对比,找出在视觉方面感触最好的一种融合技术,实现全景图像的良好显示。

(6) 图像剪裁/漫游模块。主要是在屏幕显示和全景图像物理尺寸的剪裁区域之间建立坐标映射关系,在图像调用和漫游显示时,只调用全景图像的剪裁区域,进而大大提高图像的调入速度和操作速度,达到全景图像平滑漫游显示的目的。

(7) 图像存储模块。主要是采用二叉树存储结构和多级压缩技术,尽可能在保存原始图像细节的基础上实现快速检索和平滑显示等。

在系统设计方案中,对于大尺度全景图象的显示,除了采用图像剪裁算法处理之外,考虑实现图像数据在粗、细颗粒度层次的不同细节表现。在无需表现出图像的全部细节时,在图像数据处理时,采用n×n个像素映射成像素的数据处理方式,其中n和图像的显示比例有关。当显示比例放大时,可逐级减小n的取值,从而最大限度地提高了系统的操作速度,解决了Photoshop等通用图像软件在调用大尺寸图像时,由于每次调用都是缓存图像的全部数据而造成的读入缓慢和操作困难的问题。

2 基于SURF的快速图像配准算法

基于SURF实现的快速图像配准算法的关键技术主要包括:

(1) 特征点检测。用大小不同的方框滤波器对原始图像进行滤波,形成不同尺度的图像金字塔;

(2) 主方向定位。用6倍尺度大小的半径范围内的哈尔小波响应的极值表示;

(3) 描述子生成。在20×20区域内,分成4×4的子区域,并用对应主方向的水平与垂直方向上的哈尔小波响应之和与其绝对值表示每一个子区域,形成4×4×4=64维的描述子向量;

(4) 图像匹配。采用关键点特征向量的欧氏距离作为2幅图像间的相似性度量,再结合RANSAC算法求出图像间的变换关系和配准后的图像。

2.1 特征点检测

特征点的检测是基于尺度空间理论。首先,使用积分图像[7](integral image)加速图像卷积以提高计算速度。积分图像的定义:给定图像I(X)的点X=(x,y),则积分图像I∑(X)П硎疚:

I∑(X)=∑i≤xi=0∑j≤yj=0I(i,j)(1)

在计算积分图像时,只需要遍历一次原图像,计算开销很小。其次,通过计算图像中每一像素点的Hessian矩阵行列式得到特征点的值。Hessian矩阵[7]具有良好计算时间和精度表现,设图像I(X)的某一像素点X=(x,y)T,尺度为σ的Hessian矩阵H(x,σ)Фㄒ逦:

H(x,σ)=Lxx(x,σ)Lxy(x,σ)Lxy(x,σ)Lyy(x,σ)(2)

其中,Lxx(x,σ)是二阶高斯滤波2x2g(σ)与图像点X的卷积,其中g(σ)=12πσ2e-(x2+y2)/2σ2。Lxy(x,σ)和Lyy(x,σ)Ъ扑憷嗨啤T谑导始扑阒,高斯滤波器需要离散化,并且会产生一些走样。因此Bay提出了一种用方框滤波(box filters)来近似高斯滤波的方法[6],它在计算卷积时的计算量与滤波器大小无关,可以极大程度地提高算法速度。

为了在不同尺度上寻找极值点,需要建立图像的尺度空间,尺度空间通常可以用金字塔图像来实现。在SIFT中,DOG尺度空间的建立是通过对图像金字塔中的相邻两层的图像做差值而得,SURF在建立尺度空间时不需要做差值,而是使用积分图像和方框滤波,所以不需要通过迭代同样的滤波来重复计算,大大提高了计算速度。基于SURF算法建立的尺度图像金字塔如┩2所示。

图2 尺度空间金字塔方框滤波器的大小

对于处于某尺度图像下的某一关键点,用Hessian矩阵求出极值后,在3×3×3的立体邻域内进行非极大值抑制(NMS),只有比上下尺度各9个及本尺度周围的8个共计26个邻域值都大或都小的极值点,才能作为候选特征点,然后在尺度空间和图像空间中进行插值运算,得到稳定的特征点位置及所在尺度值。对于某一尺度图像下的点X=(x,y,σ),通过尺度空间图像的插值得到Hessian矩阵行列式的局部极大值。

H(x)=H+HTx+12XT2Hx2x(3)

对上式两端进行求导运算并令其导数为零时计算得到极值点:

=-2H-1x2Hx(4)

2.2 主方向定位

对以每一个特征点为圆心,半径为6s(s为特征点所在的尺度值)的邻域中的点分别计算x,y方向上的边长为4s的Haar小波变换[7],如图3所示,黑色部分的权重是-1,白色部分的权重是1,并给这些响应值赋高斯权重系数(加权因子σ=2s),使得靠近特征点的响应贡献大,从而得到一系列向量;然后将60°范围内的Haar小波响应累加形成新的矢量,遍历整个圆形区域,选择最长向量的方向为特征点的主方向。

2.3 描述子生成

选定特征点主方向后,以特征点为中心,首先将坐标轴旋转到主方向,按主方向选取边长为20s的正方形区域,将该窗口区域划分为4×4共16个子区域,在┟扛霆子区域内,计算5s×5s范围内的小波响应,相对于主方向的水平、垂直方向的哈尔小波响应分别记为dx和dy,同时也赋给响应值以权值系数(σ=3.3 s),以增强对几何变形和定位误差的鲁棒性;如图4所示,对每个子区域的响应以及响应的绝对值相加形成∑dx,∑dy,∑|dx|和∑|dy|。这样,在每个子区域内得到1个四维的向量v=(∑dx,∑dy,∑|dx|,∑|dy|)。因此,对每一特征点,则形成4×(4×4)=64维的描述向量,将特征向量归一化,使描述子对光照具有一定的鲁棒性。

图3 Haar小波变换

图4 SURF描述子的生成

对于大于0或小于0的dx和dy,分别计算∑dx,∑dy,∑|dx|和∑|dy|,Э傻玫16×8的128维的描述子,该描述子具有更好的区分度,但同时也增加了计算量。

2.4 图像匹配

在上文用SURF算法获得了特征点的相关信息(位置、尺度、主方向及特征向量)中,特征向量包含了特征点周围邻域的信息,用特征向量的最近邻匹配法可求出图像间潜在的匹配对而无需进行额外信息量的计算。本文采用关键点特征向量的欧氏距离作为2幅图像间的相似性度量,取原图像中一特征点,根据阈值找出与基准图像欧氏距离中最近邻和次近邻的2个特征点,如果最近邻的距离与次近邻的距离的比值小于阈值 (试验中阈值取0.7),则认为这两个点是匹配的。降低阈值,匹配点的数目就会减少,但匹配更加稳定可靠。找出匹配对后,再应用RANSAC[8]鲁棒方法,通过几何┮恢陋性检验,去除外点,并估计出几何约束模型,以此来判断确定更多的匹配点对。计算精确的几何约束模型,对待配准图像用双线性插值进行重采样,配准图像[9]。

3 渐入渐出的图像平滑融合算法

图像融合是图像拼接的另一个关键技术,它是将2幅已配准图像中有用信息综合到一幅图像中并以可视化方法进行显示。为了改善拼接图像的视觉效果和客观质量,需要对拼接后的图像进行融合。为了消除重叠区的拼缝问题,本文采用了渐入渐出的平滑过渡的方法[10]。实现的具体方法如下:

假设重叠区域宽度为L,取过渡因子是σ(0≤σ≤1),2幅图像重叠区的x轴和y轴最大和最小值分别为 xmax ,xmin和 ymax , ymin ,г蚬渡因子:

σ=(xmax-x)/(xmax-xmin)(5)

重叠区域的图像强度为:

I=σIA(x,y)+(1-σ)IB(x,y)(6)

式中:IA,IB分别为图像A和图像B相对应的像素值;│椅一渐变系数,由上式可以看出,当σ由1慢慢变化到0时,图像从IA慢慢过渡到了IB,这样就可以实现图像间的平滑过渡,从而消除了图像拼接的痕迹。

4 系统实现

基于以上算法设计,在Windows平台上,采用Visual C++和OpenCV设计并实现了图像拼接的原型系统。其中,洞窟内壁画采用2 110万像素的Canon EOS 1Ds Mark Ⅲ数码相机拍摄,每张图像大小约为6.4 MB(5 616×3 744像素),相邻图像的重叠率约为50%。实现的数字图像拼接结果如图5所示。

图5 敦煌壁画拼接结果

与SIFT算法相比,该系统提出并实现的算法具有计算量小,计算速度快的优点,同时也满足了匹配准确性的要求。

5 结 语

本文构建了“数字敦煌”中壁画数字图像智能拼接系统的总体结构,采用基于SURF的图像匹配算法和渐入渐出的图像融合算法,最终实现了壁画数字图像的无缝拼接。在大量图形拼接实验中,验证了算法的有效性和鲁棒性,并在拼接精度和算法复杂度方面取得了很好的平衡。但是SURF算法对视角和亮度变化的图像匹配效果不太理想,今后需在这方面对其进行进一步的改进。

参考文献

[1]解凯,郭恒业,张田文.图像Mosaic技术综述[J].电子学报,2004,32(4):630-633.

[2]ZIIOVáB, FLUSSER J. Image registration methods: a survey [J]. Image and Vision Computing, 2003, 21(11):977-1000.

[3]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004,60(2):91-110.

[4]VILOAP, JONESM. Rapid object detection using a boosted cascade of simple feature[J]. CVPR, 2001(1): 511-518.

[5]LINDEBERG T. Feature detection with automatic scale selection[J]. IJCV,1998, 30(2): 79-116.

[6]BAY H, TUYTEPLAARS T, GOOL L Van. Speeded up robust features[C]. European Conference on Computer, 2006,1:404-417.

[7]邵平,杨路明,曾耀荣.计算旋转Haar型特征的积分图像的算法改进[J].计算机技术与发展,2006,16(11):146-147,181.

[8]FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with application to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[9]李晓明,郑链,胡占义.基于SIFT特征的遥感影像自动配准[J].遥感学报,2006,10(6):885-892.

[10]李勤,俞信.适合于生物图像的图像融合算法研究[J].光学学报,2000,20(4):495-500.