基于提升小波变换的图像融合规则综述

摘要：对提升小波变换的基本原理进行了介绍，描述了基于提升小波变换的图像融合的主要步骤，对基于提升小波变换的图像融合规则进行了概括。

关键词：提升小波变换；图像融合规则；图像融合

中图分类号：TP751.1文献标识码：A文章编号：1009-3044(2008)31-0954-03

Comments on Image Fusion Rule Based on Lifting Wavelet Transform

TANG Wei1, GONG Jian-guo2

(1.Information Engineering College of East China Insitute of Technology, Fuzhou 344000, China; 2.The First Affiliated Hospital OF Nanchang University, Nanchang 330006, China)

Abstract: The basic principle of lifting wavelet transform is introduced firstly. Secondly ,the main steps in image fusion process are described and image fusion rule based on lifting wavelet transform are summarized.

Key words: lifting wavelet transform; image fusion rule; image fusion

1 引言

图像融合是将两个或者两个以上的传感器在同一时间或在不同时间获得的关于某个场景的图像序列, 进行几何配准后, 采用一定的算法将各图像数据中包含的信息有机结合起来, 产生一幅高质量的新图像的技术。融合图像更适合人的视觉和便于图像的后续处理, 如图像分割、特征提取等。[4]

20世纪80年代中期发展起来的小波技术,由于在时域和频域同时具有良好的局部化特性,因而为图像融合提供了新的工具。但在实际图像融合应用中,传统小波变换存在着一些问题：1) 信号经过传统小波变换后产生的浮点数,由于计算机有限字长的影响,往往不能精确地重构信号。2) 图像的尺寸有要求,并不能对所有尺寸的图像进行变换。3) 对内存的需求量较大,不适于用专用DSP芯片实时实现。4) 不满足平移不变性。

1995年,Sweldens提出了一种基于空间域的小波构造方法――提升方法。提升方法既保持原有的小波特性,又克服平移伸缩不变性所带来的局限。提升方法可以实现小波快速算法,可以在当前位置上进行变换。

2 提升小波变换的基本原理

2.1 提升小波分解

提升小波分解过程分为分裂(Split)、预测(Predict) 和更新(Update) 三个步骤：

分裂：将原始信号sj分裂为两个互不相交的子集sj-1和dj-1，通常sj-1表示信号的低频近似分量，dj-1表示信号的高频细节分量。一般是将信号分为偶数序列和奇数序列，即：split(sj)=(sj-1,dj-1) 。

预测：在基于原始数据相关性的基础上，用偶数序列sj-1的预测值P(sj-1)去预测(或者内插) 奇数序列dj-1，即将滤波器P对偶数信号作用以后作为奇数信号的预测值，奇信号的实际值与预测值相减得到残差信号。实际中虽然不能从子集sj-1中准确地预测子集dj-1，但是P(sj-1)有可能很接近dj-1，因此可以使用P(sj-1)和dj-1的差来代替原来的dj-1，这样产生的dj-1比原来的dj-1包含更少的信息，于是得到dj-1=dj-1-P(sj-1)。这里,已经可以用更小的子集sj-1和dj-1来代替原信号集sj。重复分解和预测过程,经n步以后原信号集可用{sn,dn,…,s1,d1}来表示。

更新：经过分解步骤产生的子集sj-1的某些整体性质(如均值)并不和原始数据的一致，因此需要采用一个更新过程。方法是通过算子U产生一个更好的子数据集sj-1,使之保持原有数据集sj的一些特性。更新过程表达式为：sj-1=sj-1+U(dj-1) 。

从上述可知，提升方法可以实现原位运算,即该算法不需要除了前级提升步骤的输出之外的数据，这样在每个点都可以用新的数据流替换旧的数据流。当重复使用原位提升滤波器组时，就获得了交织的小波变换系数。

2.2 提升小波重构

提升小波的重构过程就是分解过程的逆步骤，它有三个步骤：

1) 反更新:sj-1=sj-1-U(dj-1)；

2) 反预测:dj-1=dj-1+P(sj-1)；

3) 合并:sj=Merge(sj-1 ,dj-1)。

式中的Merge表示将sj-1和dj-1分别作为偶数序列和奇数序列拼接成原始信号sj。提升小波变换的分解和重构过程如图1所示。

从图1可以看出：对信号进行提升小波变换用的是时域中的函数插值思想,即对信号进行预测来产生高频信号。然后再通过更新来获得低频信号,只需在时域中进行,大大节省了内存。

3 基于提升小波变换的图像融合规则

3.1 基于提升小波的图像融合过程

若对二维图像进行N层的小波分解，最终将有(3N+1)个不同频带，其中包含3N个高频带和一个低频带。融合的基本步骤如下：

1) 首先对每个源图像作行方向的一维提升变换，得到近似系数矩阵和细节系数矩阵；然后对分解得到的近似系数矩阵和细节系数矩阵分别再做列方向的一维提升变换，得到图像的3个高频系数矩阵和1个低频系数矩阵，这样就完成了对图像的一层小波分解。对图像的低频系数矩阵重复上述分解过程，可以对图像进行任意尺度的分解。

2) 对各分解层分别进行融合处理,采用不同的融合规则对各分解层的不同频率分量进行融合处理。

3) 对处理后得到的系数矩阵进行反变换即得到输出图像。

3.2 基于提升小波变换的图像融合规则

3.2.1 图像融合规则的现状

较早一类基于像素规则的融合算法，仅根据各个图像分解层上对应元素的大小来确定融合图像相应分解层上的元素值，其融合规则一般为对应元素值选大或对应元素值的加权平均。

但一般情况下，图像某一区域的局部特征并不能完全由单个像素表达；同时，图像某一区域内的各个像素之间往往有较强的相关性，以致这种基于像素规则的融合算法存在片面性，融合效果常常不甚理想，有待进一步改善。

目前，新提出的图像融合算法大都是基于区域特性的融合算法。较之一些基于像素规则的融合算法，基于区域特性的融合算法在融合效果上一般要好的多。基于区域特性的融合规则的基本框架如图2。

3.2.2 图像融合规则

由于每个源图像进行二维提升小波分解后分别得到由各层的细节子图像和最后一个分解层的近似子图像构成的子图像系列。由于图像的细节子图像和近似字图像包含的信息不同，因此我们针对它们的不同特点，分别采用不同的融合规则进行融合。

1) 融合规则一[2]

a. 低频域的融合规则

由于低频分量对恢复图像质量影响很大，所以采用以下式子进行融合：

A(j,k)=[AL(j,k)+kgA2(j,k)]gα-|A1(j,k)-kgA2(j,k)|gβ（其中α，β，k是加权因子）。

b. 高频域的融合规则

取两幅图像中相应小波矩阵中对应项的最大值。

2) 融合规则二

a. 低频域的融合规则

设两幅图像A和B，分别计算每个图像各个块的均匀度测度J(Ai)和J(Bi)，比较两幅图像对应块的均匀度测度，得出融合图像的第i个块Fi，融合规则如下式：

■

式子中的Th为阀值参数，是个经验因子。其中均匀度测度定义为：

■

其中：mk为Fk的均匀值；w(mk)为根据块平均亮度调整的加权因子，可由

■确定。

b. 高频域的融合规则

根据各个小波系数的梯度进行融合，Grad代表梯度幅度，此处选用Roberts算子融合规则如下：

■

3) 融合规则三[1]：低频近似系数采用加权平均、高频细节系数采用基于领域空间频域一致性检验的融合规则。具体步骤如下：

a. 低频域融合规则

使用加权平均的融合规则合并最后一个分解层的近似子图像：F(m,n)= α*A(m,n)+(1-α)*B(m,n)。其中：A,B和F分别标识源图像A和B，以及复合图像F最后一个分解层的近似子图像；下标(m,n)标识最后一个分解层的近似子图像的像素位置；α为权值，其值在0到1之间，由先验知识确定。

b. 高频域融合规则

细节子图像的融合采用基于邻域空间频率加一致性验证的融合规则，包括3个步骤：

步骤1：计算源图像A和B各分解层细节子图像每个像素的邻域空间频率。邻域一般取3×3或5×5大小的窗口。

步骤2：比较待融合的细节子图像每个像素的邻域空间频率，构造复合图像对应的细节子图像：如果SFA(m,n,l)>SFB(m,n,l)，那Dp(m,n,l)=DA(m,n,l)；否则，如果SFA(m,n,l)> SFB(m,n,l)，那么Dp(m,n,l)=DB(m,n,l)；否则，如果SFA(m,n,l)=SFB(m,n,l)，那么，如果DA(m,n,l)>DB(m,n,l)，那么Dp(m,n,l)=DA(m,n,l)；否则Dp(m,n,l)=DB(m,n,l)。其中：SFA(m,n,l)和SFB(m,n,l)分别表示源图像A和B提升小波分解第层对应的细节子图像在像素位置(m,n)的邻域空间频率，DA(m,n,l)，DB(m,n,l)和DP(m,n,l)分别表示源图像A和B，以及复合图像F在该像素位置相应的细节子图像系数。

步骤3：一致性验证。使用3×3或5×5大小的窗口在复合后的子图像上移动，用窗口周围的像素来验证中心像素。例如，如果中心像素来自于源图像A的子图像，而周围的像素大都来自源图像B的子图像，那么就把该中心像素值改为对应的B的子图像在该位置的系数。其中SF为空间频率，定义为：

其中 ■，

■

式中：RF和CF――行频率和列频率，D(m,n)――像素位置(m,n)处的灰度值。

4) 融合规则四

a. 低频域融合规则

以前我们采用加权平均法、选择最大小波系数法，以下介绍空间频率和对比度来确定融合图像的低频分量，具体算法如下：

①得到的低频分量A1和B1，再将低频分量分解成MxN大小的图像块，分别记为：A1K和B1K。

②分别计算A1K 和 B1K的空间频域SFAK 和 SFEK及对比度CAK和CBK，然后确定低频分量第K子块图像的对比度，其中FK为融合后低频分量的第K块子图。

■

其中SFAK和SFEK及对比度CAK和CBK 的计算公式分别为：

■

其中RF和CF分别表示行频率和列频率：

■

图像的对比度C定义为：

C=(I-IB)/IB=IH/IB

b. 高频域图像融合规则

采用选取最大小波系数的规则进行融合，具体算法如下：对于图像A，定义小波系数的特征向量S为：■；K=(m,n)为小波系数的空间位置，Q为以K为中心的一小方块，通常为3*3的小区域，同样定义图像B的小波系数特征变量sjc(B,K)。融合时，选择特征变量S较大的小波系数为融合图像对应位置的小波系数，并且选择小波系数时，实现一个子区域内采用相同的选择方案。

4 结束语

学术界在图像融合领域已取得了很大的成绩,图像融合规则也各种各样。但是，总的来说图像融合技术的研究还刚刚开始,有许多问题急需解决. 首先,图像融合技术缺乏理论指导。虽然关于图像融合技术的公开报道很多,但每篇文章都是针对一个具体的应用问题,对图像融合技术还没有一个统一的理论框架。建立图像融合的理论框架是目前的一个发展方向。由于图像的特殊性,在设计图像融合算法时一定要考虑到计算速度和所需的存贮量,如何得到实时、可靠、稳定、实用的融合算法和硬件电路是目前研究的一个热点。另外,建立客观的图像融合技术评价标准也是急需解决的问题。

参考文献：

[1] 黄淑君，阙大顺.一种基于提升小波的图像融合方法[J].武汉理工大学学报，2006,28(11):11-15.

[2] 王秀碧,刘永春,黄晓莉.基于提升小波的图像融合[J].信息技术,2007(9):124-125.

[3] 许开宇,李双一.基于小波变换的图像融合算法的实现[J].红外技术,2007,29(8):24-27.

[4] 赵有星,李京.基于小波变换的图像融合方法综述[J].计算机与信息技术,2007(29):109.