时间：2022-09-22 12:35:25
摘 要：针对小波域超分辨率方法中重建图像存在的模糊效应，提出一种结合离散小波变换（DWT）、平稳小波变换（SWT）和非局部平均（NLM）的单帧图像重建方法DSNLM。算法首先对低分辨率图像同时进行DWT和SWT，得到四个子带图像；然后结合对应高频子带图像，直接将原始低频图像作为低频子带，各子带利用NLM滤波处理，得到待重建高分辨率图像的各子带图像；最后，通过离散小波逆变换（IDWT）得到最终的重建高分辨率图像。实验结果和重建视觉效果表明，所提方法与已有的超分辨率方法相比更优，在峰值信噪比（PSNR）、均方差（MSE）和结构相似性度量（SSIM）的评价指标上有显著的提高，对图像去噪、去模糊有效。
关键词：超分辨率；图像重建；非局部平均；离散小波变换；平稳小波变换
0 引言
图像超分辨率（Super Resolution，SR）重建技术是对单帧或多帧的低分辨率图像进行处理以获得分辨率相对较高的图像，可以处理已有的低分辨率图像，在军事、医学影像、遥感遥测、高清晰度电视等领域有巨大应用价值[1]。空间分辨率提升的主要难题是如何获取低分辨率图像缺失的高频信息[2]。1984年，Tsai等[3]首次提出利用同一场景的低分辨率图像序列的互补信息实现图像分辨率提升的思想，而单帧图像超分辨率算法往往是多帧图像超分辨率重建的基础，且在很多实际特定的条件下仅能获取单幅低分辨率图像，因此单帧图像超分辨率更具有使用价值。
图像超分辨率技术方法按照实现的途径具体可以分为空域方法和频域方法。频域方法是从频域上消除存在的频谱混叠效应，从而改善空间的分辨率效果；空间域法则是在图像的像素尺度上，通过对图像各像素点的变换来改善图像质量的方法[4]。单帧图像超分辨率算法中较常用的是插值方法，有近邻插值、双线性插值、双三次插值等，其算法简单但重构图像边缘比较模糊，存在明显的锯齿效应[5]。而Sen等[6]提出压缩感知理论框架下利用贪婪匹配追踪算法重建高分辨率图像的方法，也可获得很好的重构质量。1987年，MALLAT算法将计算机视觉方向的多分辨率思路引入了小波分析的概念，提出了多分辨率分析的理论。基于小波理论的超分辨率重建应用广泛，利用小波理论和其性质进行图像的超分辨率重建的方法，是在重建过程中利用了图像的全部信息，并且引入了小波分析在边缘、细节信息处理上的优势，使得重建后的图像细节信息丰富，包含信息量更多。但有实验表明，基于小波的超分辨率重建后图像会出现块效应，这是由于对小波系数的估计是按照块估计。
平稳小波变换（Stationary Wavelet Transform，SWT）是在离散小波变换（Discrete Wavelet Transform，DWT）基础上变换而来的。与传统经典的DWT相比，SWT具有冗余性与平稳不变性的优势，所以能够比DWT给出与原始图像更加近似的图像估计结构[7]。
在图像处理中，经过SWT处理过后各个子带图像尺度大小不变，该平稳不变性能够很好地对各尺度下的小波系数进行再处理，对尺度之间的相关分析也更加方便。
本文提出了一种新的图像超分辨率重构算法DSNLM，将非局部平均（NonLocal Means，NLM）的概念融入超分辨率技术中，并且结合了DWT和SWT。该算法利用SWT来补偿在DWT过程中丢失的下采样信息，使更多高频细节信息得以保存；将NLM算法运用到对小波分解子带平滑高频成分中，以实现对各子带图像的滤波去噪。
3 DSNLM超分辨率重建算法
基于小波超分辨率算法由于DWT时转变方差会产生伪影，而本文提出的结合DWT、SWT及NLM的DSNLM超分辨率算法在抑制噪声同时不影响具有重要图像信息的小波系数。首先将低分辨率图像通过DWT和SWT，分别得到低频子带（LL）和垂直（LH）、水平（HL）以及对角子带（HH）三个高频子带；把通过DWT得到的四个子带图像信息分别用因子α=2进行双线性插值，这些通过插值得到的三个高频子带信息分别对应与SWT得到的高频子带信息进行叠加形成复合的LH、HL、HH子带信息；然后将三个复合高频子带信息与输入的低分辨率图像I0一起通过NLM滤波；最后再将这些滤波得到的LL、LH、HL、HH子带图像通过离散小波逆变换（IDWT）得到高分辨率图像。本文提出的DSNLM超分辨率重构算法的整体实现框架如图3所示。
5 结语
图像超分辨率重建已经引起了国内外专家学者的高度关注[16]。本文的主要研究工作是针对目前小波域图像超分辨率算法的不足，提出了一种将DWT和SWT相结合并融入NLM滤波的超分辨率图像重建算法DSNLM。利用CDF97小波实现了DSNLM算法与DWT、 SWT、DWTSWT以及WZPCS几种超分辨率图像重建算法的比较，从仿真数据结果可以看出本文提出的DSNLM算法在PSNR和SSIM评价指标上有显著的提高。
参考文献：
[1]WU Y，CHEN F，CHEN G， et al. Applicable conditions and improving spatial resolution upper limits of image restoration and superresolution reconstruction[J]. Journal of Infrared and Millimeter Waves， 2010，29（5）：351-356.（吴艳，陈凡胜，陈桂林，等.图像复原与超分辨率重构基本适用条件及提高空间分辨率上限的研究[J].红外与毫米波学报，2010，29（5）：351-356.）
[2]LI M. Study on superresolution reconstruction and image inpainting based on sparse representation[D]. Chengdu： University of Electronic Science and Technology of China，2011.（李民.基于稀疏表示的超分辨率重建和图像修复研究[D].成都：电子科技大学，2011.）
[3]TSAIR Y，HUANG T S. Multiframe image restorationand registration[C]// Advances in Computer Vision and Image Processing. Greenwich，CT： JAI Press，1984：317-339.
[4]WU W，YANG X，CHEN M，et al. Novel method of face hallucination[J]. Optics and Precision Engineering，2008， 16（5）：815-821.（吴炜，杨晓敏，陈默，等.一种新颖的人脸图像超分辨率技术[J].光学精密工程，2008，16（5）：815-821.）
[5]GUO C. Image interpolation algorithm based on wavelet transform and HMT model[J]. Acta Scientiarum Naturalium Universitatis Sunyatseni， 2012，51（3）：55-59.（郭昌.小波变换与HMT模型的图像插值算法[J].中山大学学报：自然科学版，2012，51（3）：55-59.）
[6]SEN P，DARABI S. Compressive image superresolution[C]// Proceedings of the 43rd Asilomar Conference on Signals， Systems and Computers. Piscataway： IEEE，2009：1235-1242.
[7]HASAN D，GHOLAMREZA A. Image resolution enhancement by using discrete and stationary wavelet decomposition[J].Image Processing， 2011，20（5）：1458-1460.
[8]LIU Y， WANG J，CHEN X， et al. A robust and fast nonlocal means algorithm for image denoising[J]. Journal of Computer Science & Technology，2008，23（2）：270-279
[9]WANG K，XING S，LI Z， et al. Image inpainting based on nonlocal means algorithm and fast marching method[J]. Application Research of Computers，2008，25（10）： 3042-3044.（王坤成，邢顺来，李志斌，等.基于非局部平均滤波和快速行进法图像修补算法[J].计算机应用研究，2008，25（10）： 3042-3046.）
[10]FENG X， HAO B， ZHU J， et al. Improved iterative nonlocal means filter for image denoising [J]. Journal of Xidian University： Natural Science， 2010， 37（4）： 722-725， 736. （冯象初，郝彬彬，朱见广，等.图像去噪的改进迭代非局部平均滤波方法[J].西安电子科技大学学报：自然科学版，2010，37（4）：722-725，736.）
[11]FAN B，YANG X，HU X， Superresolution image reconstruction algorithms based on compressive sensing[J]. Journal of Computer Applications，2013，33（2）：480-483.（樊博，杨晓梅，胡学姝.基于压缩感知的超分辨图像重建[J].计算机应用，2013，33（2）：480-483.）
[12]ELKHAMY S E， HADHOUD M M， DESSOUKY M I， et al. A new superresolution image reconstruction algorithm based on wavelet fusion[C]// Proceedings of the 22nd National Radio Science Conference.Piscataway： IEEE， 2005：195-204.
[13]ZADEH P B， AKBARI A S. Image resolution enhancement using multiwavelet and cyclespinning[C]// Proceedings of the 2012 UKACC International Conference on Control. Piscataway： IEEE， 2012：789-792.
[14]YANG A，WANG C，HE K. Simple and effective method of image interpolation enlargement in wavelet domain[J]. Computer Engineering and Applications， 2009，45（4）： 9-10，15.（杨爱萍，王成优，何凯.简单有效的小波域图像插值放大算法[J].计算机工程与应用，2009，45（4）： 9-10，15.）
[15]SKODRAS A， CHRISTOPOULOS C. The JPEG2000 still image compression standard[J]. IEEE Signal Processing Magazine，2001， 12（2）：36-58.
[16]HAN Y， WU L. Super resolution reconstruction of video sequence based on adaptive filter[J]. Chinese Journal of Computers，2006， 29（4）：642-647.（韩玉兵，吴乐南.基于自适应滤波的视频序列超分辨率重建[J].计算机学报，2006， 29（4）：642-647.）