多阶导数自适应视频超分辨率重建

摘要：

传统视频超分辨率重建算法在去除噪声的同时，很难有效保持图像边缘细节信息。针对该问题，构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上，该算法对数据项进行改进，引入能更好描述噪声统计特性的噪声多阶导数，并利用去噪效果较好的全变分（TV）和非局部均值（NLM）正则化项对视频超分辨率重建过程进行约束。此外，为了更好地保持图像细节信息，采用区域空间自适应曲率差分算法提取结构信息，从而对正则化系数进行自适应加权。实验结果表明：在噪声方差为3时，与核回归算法和聚类算法相比，该算法重建视频主观效果边缘更加锐化，局部结构更加正确、清晰；重建视频的均方误差（MSE）平均下降幅度分别为25.75%和22.50%；峰值信噪比（PSNR）分别平均提升了1.35dB和1.14dB。所提算法能够在去除噪声的同时有效保持图像的细节特征。

关键词：视频超分辨率；正则化；区域空间自适应；多阶导数；图像重建

中图分类号：TP391.41 文献标志码：A

0引言

视频超分辨率重建技术是近年来图像处理与计算机视觉的研究热点之一，很多学者对其进行了相关研究。目前现有的视频超分辨率重建算法对于不含噪声的视频有较好的效果，但对于含有噪声的视频，重建效果往往不理想，在大噪声情况下，这种影响尤为明显。对此，需要通过图像的先验信息构造正则化项约束重建，以实现对噪声的抑制作用。Tikhonov正则化[1]实现较为简单，但是会造成边缘细节信息的模糊；基于全变分（Total Variation， TV）[2]和双边全变分[3]的正则化约束是较为普遍的实现去噪的图像先验模型，但当噪声较大时，同样会在一定程度上影响重建效果。针对全变分对平坦区域处理效果不佳、容易产生伪边缘的问题，Yuan等[4]提出了一种基于空间信息滤波和聚类的全变分超分辨率重建算法；Zeng等[5]在双边全变分的基础上提出一种基于差错范数的自适应数据项和正则化项重建算法，充分利用了不同范数在去噪和保边方面的优势。此外，Maiseli等[6]为了去除块效应和伪影，提出一种基于扩散的正则化的超分辨率重建算法。现有的大多数超分辨率重建算法主要在于设置不同的正则化约束项，但对于数据项的研究相对较少。在去噪方面，非局部均值（NonLocal Mean， NLM）[7]在去噪的同时能有效保持纹理细节。对此，本文提出一种多阶导数自适应视频超分辨率重建算法。将噪声多阶导数的最小均方引入数据项，同时利用去噪效果较好的TV和NLM正则化项对重建进行约束，较好地去除了噪声。此外，为了更好地保持图像细节信息，先利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，用该系数对正则化项进行自适应调整。

5实验结果及分析

利用本文算法结合滑动窗思想[13]，对模拟视频进行了实验，并将本文算法与双三次插值、软件算法[14]、核回归算法[15]和聚类算法[4]进行对比。实验数据从标准测试视频akiyo、grandma、miss和suzie中选取3～28帧作为高分辨率图像帧。其中： akiyo每帧的尺寸为352×288，其余测试视频为176×144。降质模型中，模糊函数的大小为5×5，方差为1，采样倍数为2，添加方差为0、3、5的零均值高斯噪声。重建时选用对噪声具有鲁棒性的基于小波变换的块匹配算法[16]对视频帧进行配准。

5.1主观评价

为了对比各种算法的主观效果，选取噪声方差为3的情况，给出了如图2所示的重建结果图。图2（a）～（d）分别为akiyo（第12帧）、grandma（第6帧）、miss（第14帧）和suzie（第21帧）噪声方差为3时用不同算法重建的结果。从实验结果可看出，双三次插值算法的结果较平滑，在边缘处有锯齿效应，而且不能有效地抑制噪声；软件算法[14]的结果虽然细节信息比双三次插值算法的好，但是重建图像整体比较模糊； 核回归算法[15]有一定的抑制噪声的作用，但图像部分会出现失真；聚类算法[4]有较好的抑制噪声能力，但是从重建结果看，它们对保持边缘细节信息的能力不理想；本文算法重建的图像比较清晰，可以有效去除噪声，同时图像的细节信息较为明显。

5.2客观评价

采用图像的均方误差值（Mean Squared Error， MSE）和峰值信噪比（Peak SignaltoNoise Ratio， PSNR）作为客观评价标准来评价算法的重建效果，同时统计了运行时间。MSE是比较实际值与预测之间的差异，值越小越好；而PSNR值越大，重建图像质量越好。

表1～3为不同噪声方差视频帧akiyo、grandma、miss和suzie用不同算法重建的MSE和PSNR。从表1～3可看出：双三次插值和软件算法[14]重建图像的PSNR值最差，这也和主观效果相吻合。与核回归算法[15]和聚类算法[4]相比，噪声方差为0时，本文算法重建结果的MSE平均下降幅度分别为40.25%和27.75%，PSNR分别平均提升了2.37dB和2.11dB；噪声方差为3时，MSE平均下降幅度分别为25.75%和22.50%，PSNR分别平均提升了1.35dB和1.14dB；噪声方差为5时，MSE下降幅度分别为16.50%和17.75%，PSNR分别平均提升值了1.13dB和1.11dB。由此可看出在噪声视频重建时，本文算法能够获得更高的PSNR和较小的MSE，说明该算法在去噪和保持细节信息方面有着较好的效果。

用Matlab编程实现该算法，用平均运行时间来评估算法的计算复杂度。实验所用微机的配置为：64位Windows 7的操作系统，Intel Corei54590 CPU 3.30GHz的处理器，4GB内存。表4给出了每帧重建所需的平均时间，可看出：本文算法时间与核回归算法[15]、聚类算法[4]相当，比双三次插值、软件算法[14]相对要慢，主要原因是搜索相似块、自适应聚类等操作比较耗时。

6结语

针对含有高斯噪声视频的超分辨率重建，本文在正则化模型的基础上对数据项和正则化系数进行研究和改善，构建了一种多阶导数自适应重建算法。实验结果表明，该重建算法对视频进行超分辨率重建时，边缘更加清晰，局部结构更加完整、准确，对噪声表现出了较好的鲁棒性。但本文仍然存在一些不足，如对于大尺寸的视频程序耗时较多，因此，加快算法运算速度、提高算法效率将是今后的研究重点。

参考文献：

[1]

ZHANG X， LAM E， WU E， et al. Application of Tikhonov regularization to superresolution reconstruction of brain MRI images[M]// GAO X， MLLER H， LOOMES M J， et al. Medical Imaging and Informatics， LNCS 4987. Berlin： Springer， 2008：51-56.

[2]

XU M， SUN Q， HUANG C， et al. Superresolution imaging based on generalized total variation regularization[J]. Sensor Letters， 2014， 12（2）： 345-351.

[3]

FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution[J]. IEEE Transactions on Image Processing， 2004， 13（10）： 1327-1344.

[4]

YUAN Q， ZHANG L， SHENG H. Regional spatially adaptive total variation superresolution with spatial information filtering and clustering[J]. IEEE Transactions on Image Processing， 2013， 22（6）：2327-2342.

[5]

ZENG X， YANG L. A robust multiframe superresolution algorithm based on halfquadratic estimation with modified BTV regularization[J]. Digital Signal Processing， 2013， 23（1）：98-109.

[6]

MAISELI B J， ALLY N， GAO H. A noisesuppressing and edgepreserving multiframe superresolution image reconstruction method[J]. Signal Processing： Image Communication， 2015， 34（1）：1-13.

[7]

LI Z， YU L， JOSHUA D， et al. Adaptive nonlocal means filtering based on local noise level for CT denoising[J]. Medical Physics， 2014， 41（1）：011908.

[8]

SHAN Q， JIA J， AGARWALA A. Highquality motion deblurring from a single image[C]// Proceedings of the SIGGRAPH 2008. New York： ACM， 2008： 73-83.

[9]

SIMON M K. Probability Distributions Involving Gaussian Random Variables： a Handbook for Engineers and Scientists[M]. Berlin： Springer， 2007：61-66.

[10]

张良培， 沈焕锋， 张洪艳， 等. 图像超分辨率重建[M]. 北京： 科学出版社， 2012：103-104.（ZHANG L P， SHEN H F， ZHANG H Y， et al. Image Superresolution Technologies[M]. Beijing： Science Press， 2012：103-104.）

[11]

CHEN Q， MTESIONSONS P， SUN Q， et al. Adaptive total variation denoising based on difference curvature[J]. Image and Vision Computing， 2010， 28（3）： 298-306.

[12]

CHATTERJEE P， MILANFAR P. Patchbased nearoptimal image denoising[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1635-1649.

[13]

覃凤清.视频超分辨率重建技术研究[D].成都：四川大学， 2009：18-29.（QIN F Q. Research on video superresolution reconstruction technology[D]. Chengdu： Sichuan University， 2009：18-29.）

[14]

Infognition video enhancer[EB/OL]. [20140501]. http：///videoenhancer/.

[15]

TAKEDA H， MILANFAR P， PROTTER M， et al. Superresolution without explicit subpixel motion estimation[J]. IEEE Transactions on Image Processing， 2009， 18（9）： 1958-1975.

[16]

孙琰h， 何小海， 宋海英， 等. 一种用于视频超分辨率重建的块匹配图像配准方法[J]. 自动化学报， 2011， 37（1）： 37-43.（SUN Y Y， HE X H， SONG H Y， et al. A blockmatching image registration algorithm for video superresolution reconstruction[J]. Acta Automatica Sinica， 2011， 37（1）： 37-43.）

Background

This work is partially supported by the National Natural Science Foundation of China （61471248）， the Graduate Education Reform and Innovation Project of Sichuan Provincial Education Department （2014J034）.

JI Xiaohong， born in 1989， M. S. candidate. Her research interests include superresolution image reconstruction.

XIONG Shuhua， born in 1969， Ph. D.， associate professor. Her research interests include multimedia communication.

HE Xiaohai， born in 1967， Ph. D.， professor. His research interests include image processing.

CHEN Honggang， born in 1991， M. S. candidate. His research interests include superresolution image reconstruction.