基于张量总变分的模糊图像盲复原

摘 要：现有模糊图像盲复原算法通常仅利用彩色图像的灰度信息估计模糊核，彩色图像转换成灰度图像的操作会造成信息丢失，在处理尺寸过小或显著边缘过少的图像时，模糊核的估计通常会失效，导致最后复原图像的质量不理想。针对上述问题，在新的张量框架下，把彩色模糊图像作为一个三阶张量，提出了一种基于张量总变分的模糊图像盲复原算法。首先通过调整张量总变分模型中的正则化参数获取彩色图像不同尺度的边缘信息，从而估计出模糊核；再利用张量总变分算法对模糊图像解模糊，复原出清晰图像。实验结果表明，所提算法得到的复原图像在峰值信噪比（PSNR）和主观视觉上均得到明显改善。

关键词：模糊图像；盲复原；模糊核；张量；张量总变分

中图分类号：TP391.4

文献标志码：A

文章编号：1001-9081（2016）11-3207-05

0 引言

受大气湍流、聚焦不准确以及相机与被拍摄场景之间存在相对位移等因素的影响，导致采集的图像出现模糊退化，如果假设这种退化是线性空不变的，则可用退化模型G=HF+N来描述该退化过程，其中：G是模糊图像，H是模糊核，也称为点扩散函数（Point Spread Function， PSF），Y表示二维卷积，F是清晰图像，N是加性噪声。模糊图像复原是根据采集到的模糊图像G估计清晰图像F。根据模糊核H是否已知，可将模糊图像复原分为非盲复原和盲复原两种类型。如果复原时模糊核H已知，则称为模糊图像非盲复原（解模糊）技术；如果模糊核H未知，则称为模糊图像盲复原技术。即使模糊核已知，由于存在噪声影响，模糊图像非盲复原仍然属于病态逆问题。非盲复原的经典算法包括维纳滤波[1]、Richardson-Lucy迭代算法[2-3]以及能较好地保持图像边缘的总变分（Total Variation， TV）复原算法[4]等。对于盲复原技术，因模糊核未知而更加具有挑战性。

一般的模糊图像盲复原算法可分为模糊核估计和解模糊两个步骤。早期的模糊核估计算法研究中，通常假设PSF符合某个简单的参数模型，例如圆盘模糊、直线运动模糊、大气湍流模糊等，这种利用参数模型和估计模型参数以达到模糊核估计目的的方法，称为参数模型法。例如，Cannon[5]利用运动模糊图像的频谱特点，从运动模糊图像中估计出运动模糊长度和运动模糊方向。Yitzhaky等[6]提出利用旋转差分法检测运动模糊方向。Oliveira等[7]利用改进的Radon变换估计散焦模糊及直线运动模糊参数。在一定条件下利用参数模型法能得到比较准确的参数估计，但此类方法对噪声比较敏感，且在模糊比较严重时参数估计的准确度会相应降低。实际拍摄中由于相机抖动或者被拍摄目标相对于相机的运动所带来的模糊远比前面所假设的这些退化模型复杂，仅仅用几个简单的参数模型远不能描述实际的退化过程。

2006年，Fergus等[8]利用自然图像梯度的重尾分布特性，并用混合高斯模型对其拟合，而PSF采用指数混合模型进行拟合，最后采用变分贝叶斯方法求解，估计出任意形状的非规则运动模糊核。2008年，Shan等[9]利用稀疏先验，对图像梯度采用分段函数进行拟合，从而估计出模糊核和清晰图像。Cho等[10]首先通过Shock滤波器来预测运动模糊图像的显著边缘，再利用增强后的边缘梯度信息估计出模糊核，此方法的在计算效率上较之前面的方法有明显提高。Xu等[11]提出两步模糊核估计算法，最后利用TV l1模型估计清晰图像，该方法能估计出较大尺寸的模糊核。Krishnan等[12]利用归一化稀疏先验测度估计出模糊核，并利用超拉普拉斯先验模型复原出清晰图像。

以上这些算法都是利用图像中的显著边缘信息估计模糊核，通常均能达到理想的复原效果，但当图像尺寸太小或图像中显著边缘信息过少时，则无法有效地估计出模糊核，从而导致最终复原出的图像质量不理想。另外，现有的模糊图像盲复原算法的处理流程一般都是先将彩色模糊图像转换成灰度图像，再利用图像的灰度信息估计出模糊核，最后根据估计到的模糊核对模糊图像的三个通道分别解模糊，复原出清晰图像。在彩色（三通道R、G、B）图像转换成灰度（单通道）图像时，很显然存在信息的丢失。针对上述问题，本文在张量框架下，将彩色模糊图像作为一个三阶张量，直接利用该三阶张量来估计模糊核（而不是将其转换成灰度图像后，利用灰度信息来估计模糊核），探讨了一种基于张量总变分的模糊图像盲复原算法。

利用向量框架下的总变分模型处理彩色图像时，一般是将彩色图像分成三个单独的通道（R、G、B）独立完成，而张量总变分模型将彩色图像作为三阶张量，同时利用彩色图像三个通道的总变分对复原图像施加约束，从而复原出清晰图像。基于张量总变分模型图像解模糊算法与文献[18]中基于张量共轭梯度算法解模糊相比，复原图像的边缘更为清晰，振铃较少[19]。

2 基于张量总变分的盲复原算法

一般的模糊图像盲复原算法可分两步完成：模糊核估计和图像解模糊。为了保证算法的有效性和高效性，可在一个coarse-to-fine（图像分辨率从低到高）的多尺度框架下，通过交替迭代估计得到模糊核。在此多尺度框架下，通过改变图像分辨率的方式，在不同尺度下估计模糊核。在最粗糙的级别上，模糊核的大小一般是3×3大小，将模糊图像B下采样作为估计的初始值，交替迭代求解出清晰图像X，并利用双线性插值将其上采后作为下一级的清晰图像的初始估计。估计到原始图像分辨率上的模糊核后，再用基于t-TV的解模糊算法来复原出清晰图像。基于张量总变分的图像盲复原算法的流程如图1所示。

2.1 显著边缘信息提取

一幅图像可看成是由结构信息和纹理信息来构成。一般来说，结构信息对应图像中较大的目标，而纹理部分则对应图像中的细节信息，Aujol利用总变分模型来抽取图像中的结构信息[20]，

通过调节参数μ可以得到图像在不同尺度上的结构信息。受此思想的启发，本文在张量框架下利用张量总变分抽取彩色图像中不同尺度下的主要结构信息（包含了显著边缘），利用此部分信息来估计模糊核。张量框架下的显著边缘提取的目标函数为：

其中Xs∈Rm×3×n，X∈Rm×3×n。图2中给出了不同尺度上的结构信息图像。得到包含显著边缘的图像后，再利用Shock滤波器[21]对边缘进行增强。

3 实验分析

实验分为仿真模糊图像实验和真实模糊图像实验两部分。为验证算法的有效性，实验中选择文献[8]和文献[11]的算法进行对比，这两种算法是模糊图像盲复原算法中具有代表性的和复原效果较好的两种算法，作者均给出了算法的源代码或可执行程序，从而保证了算法对比的公正性。实验中显著边缘提取时μ可从0.005递增，从而得到不同尺度的边缘。模糊核估计中γ设为2。在最后图像解模糊时，μ的值为2500。

3.1 仿真实验

实验中选择6张彩色清晰原图[23]和4个模糊核[24]，如图3（从左至右，从上至下，第2张图为255×255大小，其余为401×401大小）和图4所示，生成24张模糊图像。

文献[8]、文献[11]及本文算法的复原图像在平均峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）上的对比结果，如表1所示。从平均PSNR可以看出本文算法总体上优于其他两种算法（仅对#4模糊核生成的模糊图像，文献[8]、文献[11]与本文算法的复原图像平均PSNR值相近）。

图5给出文献[8]、文献[11]及本文算法复原图像在主观视觉上的一个对比，可以看出本文算法复原出的图像振铃较少。图中右上角分别是真实模糊核、对比算法及本文算法分别估计出的模糊核。

3.2 真实模糊实验

在真实模糊实验中，选择Khler等[25]提供的真实模糊图像基准数据库中的图像编号为I1～I4，模糊核编号为K1～K7的28张真实模糊图像。基准数据库中的原图如图6所示。需要指出的是，如利用基准数据库中模糊图像的全图（800×800大小）来进行模糊图像盲复原，文献[25]中所测试的几种盲复原算法均能得到较好的复原效果。表2中给出了文献[8]和[11]与本文算法的PSNR对比结果，从中可以看出在800×800大小时，文献[8]复原图像的PSNR稍低，而文献[11]和本文算法复原图像的PSNR相近。

但前面提到，目前大部分的模糊图像盲复原算法均是利用图像中的显著边缘信息估计模糊核，如果图像中显著边缘过少或图像的尺寸太小，则模糊核的估计往往会失效。实验中我们裁剪出模糊图像中的部分区域（201×201大小）来进行实验，28幅裁剪后的模糊图像如图7所示。

表3中给出的是本文算法与对比算法复原图像在平均PSNR上的对比结果，可以看出本文算法在平均PSNR上与这两种算法相比有明显的改善。文献[8]和文献[11]在部分模糊核条件下其模糊图像复原结果的PSNR值低于模糊图像自身的PSNR值，其原因是对这些图像的模糊核估计失效。对于模糊核编号为K3所对应的模糊图像，因模糊比较轻微（模糊图像自身的PSNR值较高），所以本文算法在PSNR值上改善并不太明显。

图8（a）是图像编号为I3，模糊核编号为K5的模糊图像，图8（b）～（d）分别是文献[8]、文献[11]及本文算法的复原结果。图中右上角所示是三种算法估计的模糊核，显然文献[8]和文献[11]估计到的模糊核是失效的，从而导致其复原的图像出现很强的振铃，复原效果较差。

4 结语

本文在张量框架下，提出一种基于张量总变分的模糊图像盲复原算法，该算法利用新张量框架中的t-product积，将彩色图像作为一个三阶张量，有效地利用彩色图像中三个通道的边缘信息来估计模糊核，最后再利用张量总变分复原出清晰图像。实验结果表明了本文算法的有效性，特别是在处理尺寸较小的模糊图像时，本文算法复原出的图像优于其他的算法。但是，需要指出的是：因本文算法主要是解决传统模糊图像复原算法在处理显著边缘过少或图像尺寸较小图像时，模糊核估计失效的问题，因此本文并没有讨论模糊核尺寸较大的情况（如数据库中的模糊核编号为K8～K11的模糊图像），而文献[11]的算法则能较好地估计出模糊核尺寸较大的模糊核，并能复原出较为满意的清晰图像。下一步的工作可以针对张量框架下的模糊核尺寸较大情形的模糊图像复原算法展开研究。

参考文献：

[1] WIENER N. Extrapolation， Interpolation， and Smoothing of Stationary Time Series， with Engineering Applications[M]. Cambridge： MIT Press， 1950： 86-88.

[2] RICHARDSON W H. Bayesian-based iterative method of image restoration[J]. Journal of the Optical Society of America， 1972， 62（1）： 55-59.

[3] LUCY L B. An iterative technique for the rectification of observed distributions[J]. The Astronomical Journal， 1974， 79（6）： 745-754.

[4] RUDIN L I， OSHER S. Total variation based image restoration with free local constraints[C]// Proceedings of the 1994 IEEE International Conference Image Processing. Piscataway， NJ： IEEE， 1994， 1： 31-35.

[5] CANNON M. Blind deconvolution of spatially invariant image blurs with phase[J]. IEEE Transactions on Acoustics Speech & Signal Processing， 1976， 24（1）： 58-63.

[6] YITZHAKY Y， KOPEIKA N S. Identification of blur parameters from motion blurred images[J]. CVGIP： Graphical Models and Image Processing， 1997， 59（5）： 310-320.

[7] OLIVEIRA J P， FIGUEIREDO M A， BIOUCASDIAS J M. Parametric blur estimation for blind restoration of natural images： linear motion and out-of-focus[J]. IEEE Transactions on Image Processing， 2014， 23（1）： 466-477.

[8] FERGUS R， SINGH B， HERTZMANN A， et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics， 2006， 25（3）： 787-794.

[9] SHAN Q， JIA J， AGARWALA A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics， 2008， 27（3）： 1-10.

[10] CHO S， LEE S. Fast motion deblurring[J]. ACM Transactions on Graphics， 2009， 28（5）： 89-97.

[11] XU L， JIA J. Two-phase kernel estimation for robust motion deblurring[C]// Proceedings of the 11th European Conference on Computer Vision. Berlin： Springer， 2010： 157-170.

[12] KRISHNAN D， TAY T， FERGUS R. Blind deconvolution using a normalized sparsity measure[C]// Proceedings of the 2011 IEEE Conference on Computer Vision & Pattern Recognition. Piscataway， NJ： IEEE， 2011： 233-240.

[13] HITCHCOCK F L. The expression of a tensor or a polyadic as a sum of products[J]. Journal of Mathematics & Physics， 1927， 6（1）： 164-189.

[14] KOLDA T G， BADER B W. Tensor decompositions and applications[J]. SIAM Review， 2009， 51（3）： 455-500.

[15] KILMER M E， MARTIN C D， PERRONE L. A third-order generalization of the matrix svd as a product of third-order tensors， Report TR-2008-4[R]. Medford， Boston： Tufts University， computer science department， 2008.

[16] BRAMAN K. Third-order tensors as linear operators on a space of matrices[J]. Linear Algebra and its Applications， 2010， 433（7）： 1241-1253.

[17] KILMER M E， MARTIN C D. Factorization strategies for third-order tensors[J]. Linear Algebra and its Applications， 2011， 435（3）： 641-658.

[18] KILMER M E， BRAMAN K， HAO N， et al. Third-order tensors as operators on matrices： a theoretical and computational framework with applications in imaging[J]. SIAM Journal on Matrix Analysis and Applications， 2013， 34（1）： 148-172.

[19] LIU H， LIU B Y. Total variation deblurring algorithm extension in third-order tensor space[C]// Proceedings of the 2015 IEEE Advanced Information Technology， Electronic and Automation Control Conference. Piscataway， NJ： IEEE， 2015： 221-224.

[20] AUJOL J F， GILBOA G， CHAN T， et al. Structure-texture image decomposition ― modeling， algorithms， and parameter selection[J]. International Journal of Computer Vision， 2006， 67（1）： 111-136.

[21] OSHER S， RUDIN L. Feature-oriented image enhancement using shock filters[J]. SIAM Journal on Numerical Analysis， 1990， 27（4）： 919-940.

[22] WANG Y， YANG J， YIN W， et al. A new alternating minimization algorithm for total variation image reconstruction[J]. SIAM Journal on Imaging Sciences， 2008， 1（3）： 248-272.

[23] GOLDSTEIN A， FATTAL R. Blur-kernel estimation from spectral irregularities[C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： Springer， 2012： 622-635.

[24] LEVIN A， WEISS Y， DURAND F， et al. Understanding and evaluating blind deconvolution algorithms[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2009： 1964-1971.

[25] KHLER R， HIRSCH M， MOHLER B， et al. Recording and playback of camera shake： benchmarking blind deconvolution with a real-world database[C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： Springer， 2012： 27-40.