基于图像抠图技术的多聚焦图像融合方法

摘要：针对多聚焦图像融合容易出现信息丢失、块效应明显等问题，提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先，通过聚焦检测获得源图像的聚焦信息，并根据所有源图像的聚焦信息生成融合图像的三分图，即前景、背景和未知区域；然后，利用图像抠图技术，根据三分图获得每一幅源图像的精确聚焦区域；最后，将这些聚焦区域结合起来构成融合图像的前景和背景，并根据抠图算法得到的确定前景、背景对未知区域进行最优融合，增强融合图像前景、背景与未知区域相邻像素之间的联系，实现图像融合。实验结果表明，与传统算法相比，所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度，在主观评价方面能有效抑制块明显效应，得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域，以期得到更优的融合效果。

关键词：

多聚焦图像；聚焦信息；三分图；图像抠图；图像融合

中图分类号： TP391.413 文献标志码：A

0引言

摄像机单一传感器不能聚焦所有的目标，因此，在对同一场景中不同物体成像时，摄像机无法获得场景中所有物体都清晰的图像。多聚焦图像融合技术能将多幅图像融合成为一幅图像，并提供更完整、更精确和可靠的信息，以便于人的观察或机器的后续处理。多图像融合算法在遥感图像处理、机器视觉等领域中获得了越来越多的应用[1-2]。

目前，针对多聚焦图像融合算法的研究，主要分为变换域融合和空间域融合两大类。现有的变换域融合算法大多基于多尺度变换，包括以下3个步骤：首先，将源图像经过变换得到相应的变换系数；然后，根据给定的融合规则合并变换系数；最后，对融合系数进行逆变换构造，得到融合图像。常用的变换域方法包括拉普拉斯金字塔（Laplacian Pyramid， LP）变换[3]、离散小波变换（Discrete Wavelet Transform， DWT）[4]、双树复小波变换（DualTree Complex WT， DTCWT）[5]、曲线波变换（Curvelet Transform）[6]、非下采样轮廓波变换（NonsubSampled Contourlet Transform， NSCT）[7]、剪切波变换（Shearlet Transform）[8]和稀疏表示（Sparse Representation， SR）[9]等。因为变换域存在不同程度的分解，所以在融合过程中会因为融合系数的不同而存在信息丢失，导致融合图像表达信息的不完整。而基于空间域的融合方法，是利用一定的方法找到源图像各自的聚焦像素或区域，然后直接选取这些不同的像素或区域构成融合图像。常用的基于空间域的方法加权平均法（Average）、主成分分析法（Principal Component Analysis， PCA）、图像形态学（Morphology， M）、清晰度评价函数等[10]，但是，在不同场景中，由于相机运动或物体运动，可能造成同一场景包含不同的内容，致使不能准确判断一个像素或区域是否模糊。此外，源图像变得复杂时，传统的基于像素或区域的方法不能得到非常准确的融合结果。

抠图技术因电影工业的需求而产生，其目的是将前景从背景中分离出来，以便将分离出来的前景注入到新的背景中，生成期望的图像或视频，达到完美的视觉效果。从早期简单的光学抠图到如今利用计算机技术的数字抠图，抠图技术获得了巨大发展和进步。目前，抠图技术日趋成熟，可以从任何图像或视频中提取出任意形状的前景对象[11]。

针对变换域融合存在信息丢失和空间域融合不能得到复杂图像的准确融合结果的缺点，本文提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先，通过聚焦检测获得源图像的聚焦信息；然后，根据聚焦信息，利用抠图技术获得对应源图像的聚焦区域，增强了图像的聚焦区域和相邻像素之间的联系，有效解决相同场景中包含不同内容的多聚焦图像融合问题；最后，将所有的聚焦区域进行融合，构成融合图像。此外，在图像内容变得复杂时，传统的融合方法达不到性能最优，而抠图技术能够准确地找到源图像的前景轮廓，得到非常精确的融合结果。理论分析和实验结果表明，与传统的方法相比，本文算法的融合结果在融合图像的细节、轮廓处更令人满意。

1图像抠图

根据用户需求，图像抠图技术把一幅图像准确区分为前景部分和背景部分。在图像抠图模型中，观察到的图像I（x，y）可以被看作是前景F和背景B的组合：

C=αF+（1-α）B（1）

其中：α为不透明度，α为0或1时即为简单的前景和背景的图像分割[12]。抠图技术的关键在于找到准确的α值，以将前景从背景中分离出来。由式（1）知，得到准确的融合图像需要确定的前景和背景，因此，大多情况下，除了源图像外，还需要用户提供一个三分图（trimap）。图1为一幅图像及其对应的trimap，图1（b）中原图被分成3个区域：前景、背景和未知区域，其中：“树”为前景F，灰色线条部分是未知区域，其余是背景B。

目前，常用的抠图方法有基于采样的贝叶斯抠图（Bayes Matting）、基于传播的泊松抠图（Poisson Matting）和基于采样传播相结合鲁棒抠图（Robust Matting）[13]。贝叶斯抠图是根据输入的trimap，从前景边界和背景边界逐渐向未知区域进行颜色采样，当前景样本对和背景样本对达到足够量时，利用贝叶斯原理估计出未知区域中每一个像素点的前景颜色值、背景颜色值和透明度α值，最终完成抠图；泊松抠图是假设图像的未知区域是平滑的，从边界开始将未知区域的像素点划分到前景区域和背景区域中，然后通过公式C=αF+（1-α）B进行梯度运算构造偏微分方程求α值，之后迭代计算直至未知区域划分完成；鲁棒抠图是根据输入的trimap，稀疏采样确定前景区域和背景区域的边界样本点，然后定义距离比率进行样本估计，得到样本对的初始α值，最后优化α值完成抠图。由基于采样方法和基于传播方法的原理可知，基于传播的方法在梯度和连通性上要优于基于采样的方法，但在非平滑图像上效果不佳。基于采样和传播相结合的方法克服了基于采样和基于传播的缺点，因此，无论是对于一般自然图像还是复杂的前景图像，鲁棒抠图的综合性能都较为优越，稳定性更好[11]，所以，本文将通过鲁棒抠图算法计算融合图像的α值。首先，在采样阶段，根据给定trimap对每一对的前景和背景进行采样预估；然后通过选择采样预估系数判断一对前景和背景能否作为样本，并通过式（1）粗略估计初始的α值；最后，构造最小化能量函数[14]求最优解，相应公式如下：

多聚焦图像融合可看成是多幅图像聚焦区域的组合，而抠图技术即是根据给定的trimap提取图像前景（聚焦区域）并将其融入到新的背景中。由于同一场景的多聚焦图像的聚焦区域不同，如果将多聚焦图像进行图像区域分割成聚焦区域和散焦区域，那么所有源图像的区域分割图（以两幅图为例）可组成联合区域分割图，即包含不同图像的聚焦区域以及聚焦区域之间的过渡区域，这样就实现了trimap的自动生成，进而实现了抠图技术在多聚焦融合的应用。

2基于图像抠图的图像融合

图2所示为本文算法的图像融合过程。首先，由聚焦检测估计出每个源图像的聚焦信息；然后，将所有图像的聚焦信息组合得到相应源图像的trimap，即融合图像的前景F、背景B和未知区域；最后，根据trimap，通过图像抠图技术，获得相应的源图像精确聚焦区域，并将这些聚焦区域组合在一起形成融合图像。

2.1聚焦检测

2.2图像区域分割

图像区域分割即根据聚焦检测获得的聚焦信息构建源图像的trimap。具体步骤是：首先根据所有图像的聚焦区域的灰度图进行相似性检测和聚焦比较；然后将灰度图中的聚焦区域经过处理，获得确定的聚焦区域和散焦区域；最终将聚焦区域和散焦区域分别定义为源图像的前景F和背景B，聚焦区域和散焦区域之间的过渡区域定义为未知区域，共同构成源图像的trimap。图3为图像分割过程的示意图。

由以上的图像区域分割过程可知，对于任何一幅多聚焦图像，其图像的trimap与另一幅图像的trimap的前景和背景是相反的。以两幅图像为例，则T1的前景是T2的背景，T2的前景是T1的背景，但在实际抠图过程中，因抠图算法对trimap的定义不变（灰度亮区域代表前景，暗区域代表背景，灰色区域代表未知区域），所以在处理过程中不同源图像需要与其对应的trimap，而实际上融合图像的trimap与源图像的trimap相同，都是由聚焦区域及聚焦区域之间的过渡区域组成。

2.3图像抠图和融合

图像融合技术的最后阶段是结合所有源图像的聚焦区域来构建融合图像。为了获得每个源图像的聚焦区域，取图像区域分割阶段获得的trimap Tn作为输入，用鲁棒抠图算法获得源图像的In融合参数α值。首先，对于未知区域的每个像素点，鲁棒抠图算法从确定聚焦区域和确定散焦区域的边界处挑选出少量采样点；然后，基于未知像素和确定区域与非确定区域采样点之间的颜色相似性，估计未知像素的初始α值；最后，根据最小能量公式（式（2））计算出准确的α值。图4为图像抠图和融合过程。

如图4所示，α=0或1时，源图像的点（x，y）是聚焦点或散焦点。如果α在（0，1）内，则这些像素点是聚焦点和散焦点的混合点（如图4（a）中的灰色区域所示）。因为混合像素的数量少，它们通常位于聚焦和散焦之间的过渡区域，所以不会降低融合图像的全局性能。两张源图像中，源图像I2的聚焦区域可以计算为1-α，因此，融合图像可以计算为：

3实验结果与分析

为了验证本文算法的性能，进行了多组仿真实验，并且从客观测试指标数据和主观视觉效果上与主成分分析法（PCA）、图像形态学（M）、双树复小波变换（DTCWT）、非下采样轮廓波变换（NSCT）进行对比。本文选用tree、book、clock三组分别聚焦前景和背景的图进行多聚焦图像的融合。

3.1客观评价

对于各个方法的客观评价，本文选取互信息量（Mutual Information， MI）[17]、边缘保持度QXY/F[18]和空间结构相似度（Structural Similarity Index Measurement， SSIM）[19]来评价实验结果。MI可以衡量融合图像包含源图像的像素信息量；QXY/F可以衡量融合图像包含源图像的边缘信息量；SSIM可衡量两幅图像结构相似度的指标。3个指标值越大说明融合图像越清晰，该方法融合性能越好。

由表1可以看出，由于直接提取了源图像中清晰区域的像素点，保留了源图像中较多的边缘、轮廓等结构化信息，本文算法的互信息MI和空间结构相似度信息QXY/F都是所测算法中最高的。因为SSIM的测试结果与选取的参考图像相关，所以本文算法存在部分性能偏差，但与对比算法中最大值相比，本文算法的值是可接受的。

3.2主观评价

图5为本文算法最终效果同其他算法主观效果的对比。

由图5可以看出，由于相机运动或存在运动目标而导致相同场景存在不同内容的测试源图像（tree），PCA算法、M算法、DTCWT算法、NSCT算法在教堂顶部和车辆部分存在重影和色彩偏淡情况，且M算法存在较严重模糊块，本文算法图像清晰，继承了所有重要信息；对于标准测试源的彩色图（book），M算法的边缘有较明显块的效应，PCA算法、DTCWT算法和NSCT算法都有不同程度的边缘模糊，本文算法边缘和轮廓清晰；对于标准测试源的灰度图（clock），PCA算法整体清晰度下降，M算法和DTCWT存在明显虚假边缘，NSCT算法整体清晰度偏暗，本文算法无虚假边缘，清晰度正常。

为了评估提出方法的时间效率，对测试图片在几种不同融合算法的耗时情况进行了分析比较。本文实验在Matlab R2012a平台上实现，计算机硬件参数是：core i32120、3.3GHz CPU+4GB RAM。几种测试方法所耗的平均时间列于表2。由表2可见，本文方法耗时相对较长。

由以上结果可知，由于存在部分信息丢失的问题，传统变换域融合和空间域融合得到的图像与原图像清晰度有较大的差异。本文算法利用抠图技术，增强了相邻像素之间的相关性，使得融合后的图像的轮廓和边缘都很清晰，主观效果最佳。综合评价来看，相比传统算法，本文算法在主观客观指标和视觉效果上，都能获得更优的融合结果。

4结语

本文提出了一种新的基于图像抠图技术的多聚焦图像融合方法。不同于以前的基于变换域和空间域融合方法，本文算法使用聚焦检测将需要融合的聚焦区域通过图像抠图技术提取出来，然后结合所有的聚焦区域构建融合图像。由于能够充分利用相邻像素之间的相关性，与传统的融合方法相比，本文算法能够得到边缘和轮廓清晰的融合图像；同时客观指标也有所提升。

虽然本文取得了较好的结果，但算法融合结果的准确性直接依赖于聚焦信息检测的准确性，因此，性能更好、适用面更广的（如X成像、红外成像等）聚焦检测算法是进一步研究的方向。

参考文献：

[1]

张亚秋.多聚焦图像融合算法研究[D].重庆：重庆大学，2014：8-9.（ZHANG Y Q. Research on multifocus image fusion [D]. Chongqing： Chongqing University， 2014： 8-9）

[2]

欧阳宁，邹宁，张彤，等.基于非下采样Shearlet变换与聚焦区域检测的多聚焦图像融合算法[J].计算机应用，2015，35（2）：490-494.（OUYANG N， ZOU N， ZHANG T， et al. Multifocus image fusion algorithm based on nonsubsampled Shearlet transform and focused regions detection [J]. Journal of Computer Applications， 2015， 35（2）： 490-494.）

[3]

WANG W， CHANG F. A multifocus image fusion method based on Laplacian pyramid [J]. Journal of Computers， 2011， 6（12）： 2559-2566.

[4]

PAJARES G， DE LA CRUZ J M. A waveletbased image fusion tutorial [J]. Pattern Recognition， 2004， 37（9）： 1855-1872.

[5]

范艳玲，杨明.基于双树复小波变换的多聚焦图像融合[J].核电子学与探测技术，2014，34（2）：204-207.（FAN Y L， YANG M. Multifocus image fusion based on dualtree complex wavelet transform [J]. Nuclear Electronics and Detection Technology， 2014， 34（2）： 204-207.）

[6]

马苗，万仁远，尹义龙.基于相似性灰关联的Curvelet域多聚焦图像融合[J].电子学报，2012，40（10）：1984-1988.（MA M， WAN R Y， YIN Y L. Multifocus image fusion based on grey relation of similarity in curvelet domain [J]. Acta Electronica Sinica， 2012， 40（10）： 1984-1988.）

[7]

LI H， CHAI Y， LI Z. Multifocus image fusion based on nonsubsampled contourlet transform and focused regions detection [J]. Optik―International Journal for Light and Electron Optics， 2013， 124（1）： 40-51.

[8]

石智，张卓，岳彦刚.基于Shearlet变换的自适应图像融合算法[J].光子学报，2013，42（1）：115-120.（SHI Z， ZHANG Z， YUE Y G. Adaptive image fusion algorithm based on Sheartlet transform [J]. Acta Photonica Sinica， 2013， 42（1）： 115-120）

[9]

彭真明，景亮，何艳敏，等.基于多尺度稀疏字典的多聚焦图像超分辨融合[J].光学精密工程，2014，22（1）：169-176.（PENG Z M， JING L， HE Y M， et al. Superresolution fusion multifocus image based on multiscale sparse dictionary [J]. Optics and Precision Engineering， 2014， 22（1）： 169-176.）

[10]

逄浩辰，朱明，郭立强.彩色图像融合客观评价指标[D].北京：中国科学院大学，2014：14-23.（PANG H C， ZHU M， GUO L Q. Objective color image fusion performance index [D]. Beijing： University of Chinese Academy of Sciences， 2014： 14-23.）

[11]

李卓婷.三种典型数字图像抠图方法的比较[D].广州：华南理工大学，2013：49-51.（LI Z T. Applications of quaternion in skeleton skin technology [D]. Guangzhou： South China University of Technology， 2013： 49-51）