基于结构张量的视频超分辨率算法

摘要：针对传统正则化超分辨率（SR）重建模型中，正则化参数选择过大会使重建结果模糊，导致边缘和纹理等细节丢失，选择过小

>> 基于Beltrami模型和SURE算法的彩超分辨率重建 基于改进量化约束集的压缩视频超分辨率重建算法 基于GPU加速的实时视频超分辨率重建 基于视频模式识别的快速超分辨率重建 一种改进的基于序列的超分辨率图像重建算法 一种基于支持向量回归的超分辨率图像复原算法 基于POCS算法的超分辨率图像重建技术 基于改进稀疏编码的图像超分辨率算法 基于正则化参数动态更新的图像超分辨率重建算法 基于残差联合约束的迭影单帧超分辨率算法 基于非局部算法的序列图像超分辨率重构 一种基于学习的非线性人脸图像超分辨率算法 多阶导数自适应视频超分辨率重建 图像超分辨率重构算法研究进展 图像超分辨率重建算法综述 超分辨率图像恢复算法综述 面向视频监控的人脸超分辨率重建系统 结合位置先验与稀疏表示的单帧人脸图像超分辨率算法 摄像中的超分辨率图像重建算法研究 遥感图像超分辨率复原算法的仿真实现 常见问题解答 当前所在位置：l）的text视频（大小为57×49，共30帧）和武汉大学无线传感器网络实验室的监控视频集成平台（http：///）的一段监控视频（时间为20150929，大小为1920×1080，帧率为25frame/s，共50帧）。设置最大迭代次数为30次，式（12）中的收敛条件ε设为10-6。在仿真实验中选用常用的峰值信噪比（Peak SignaltoNoise Ratio，PSNR）[14]、结构相似性指数（Structural Similarity Index，SSIM）[15]和特征相似性指数（Feature Similarity Index，FSIM）[16]用于评价指标，PSNR越大表示重建的图像与原始HR图像越接近。SSIM和FSIM在（0，1）区间，用于衡量两幅图像的相似度，越大表示两幅图像越相似。实际视频帧序列的评价主要依据视觉效果和细节信息。

3.1仿真实验

按照第1章中的视频帧序列观测模型，对已知的高分辨率Lena图和cameraman图进行降质处理。对其进行不同参数的平移、模糊（使用5×5高斯模糊，方差为1，模拟点扩散函数），在水平和垂直方向降采样，降采样因子为2，得到四个LR序列，再加上一系列零均值的高斯白噪声，噪声标准差分别为8，11.4，14，16和18。

对于Lena图和cameraman图，Tikhonov正则化、TV正则化、BTV、SWTV和本文算法得到的PSNR、SSIM和FSIM曲线分别如图3～53、图6～84所示。由图3～53和图6～84可知，在同一噪声水平下，本文算法相比其他4种算法具有更高的PSNR、SSIM和FSIM，与文献[6]的SWTV相比，本文算法的PSNR提高了约0.033～0.11dB。虽然随着噪声标准差的加大，各种算法重建后的HR图像的3种指标都下降，但是本文算法的3种指标依然比其他4种算法高。与SWTV算法利用单一的全局正则化参数相比，本文利用结构张量对图像进行结构分析，对平滑区域和边缘采用两个不同的正则化参数，一个较大的参数控制平滑区域，主要用于去噪；一个较小的参数控制边缘部分的正则化项，主要用于细节保持，更能平衡抑制噪声和保留细节信息。噪声标准差为18（归一化方差为0.005）时，Lena图和cameraman图的各种SR算法的重建效果如图9～105～6所示，从图95和图106也可以看出本文算法在视觉上比其他4种算法效果要好。

3.2实际视频帧序列

在实际视频的实验中，由于摄像设备的点扩散函数未知，假设摄像头的点扩散函数为模板大小5×5、方差为1的高斯模糊核。由图117的text视频重建结果可知：虽然图117（c）BTV看起来较亮，细节信息保留较多，但字母周围明显仍然存在较大噪声，去噪能力不足；而图117（f）中字母清晰可见，字母周围较为平滑，在保留细节的同时，抑制了大部分噪声，且比图117（e）更清晰。综合来看，本文算法较好地平衡了抑制噪声和保留细节。

由于图128中三个感兴趣目标在第5帧中所处位置和距离摄像头（摄像头距地面约8m，目标3距离摄像头最远，水平距离约35m）的距离不同，所以3个目标的重建结果，视觉效果上并不一致。由图139和图1410可知，本文算法对目标1和目标2的重建结果较为清晰，车牌和车标细节信息保留较多。虽然图1511中本文算法和其他4种算法重建结果都不能清晰地辨别车牌，原因是与摄像头的距离甚远，车牌部分像素较少，但从车牌前两个字母“W”和“F”上看，本文算法视觉效果依然较好，因为本文较好地利用了图像的结构信息，且采用两个大小不同的正则化参数，在重建的过程中对图像不同区域起到了不同的作用，较好地统一了去噪和保留细节。因为全变分、结构张量描述的是图像的一阶梯度信息，差异曲率描述的是图像的二阶梯度信息，所以本文算法在每次迭代求解过程中先利用结构张量进行图像检测，再利用差异曲率对全变分进行加权，使得耗时相对于传统的基于全变分（TV）的正则化超分辨率算法有所增加。

4结语

在分析全变分模型的基础上，利用结构张量对图像进行结构分离，提取平滑和边缘区域，本文提出一种双正则化参数的视频超分辨率重建算法。一个较大的正则化参数控制平滑区域的正则化项，主要用于去噪；一个较小的正则化参数控制边缘部分的正则化项，主要用于保留细节信息。同时利用差异曲率对全变分进行先验信息加权，进一步地平衡了去噪和保留细节的问题。实验结果表明，本文算法比Tikhonov、TV、BTV和SWTV重建效果好。引入结构张量和差异曲率使得本文算法的耗时相对于传统的基于全变分（TV）的正则化超分辨率算法有所增加，如何提高计算效率以及自适应选取参数，将是下一步的研究重点。

参考文献：

[1]

PARK S C， PARK M K， KANG M G. Superresolution image reconstruction： a technical overview [J]. IEEE Signal Processing Magazine， 2003， 20（4）： 21-36.

[2]

BLOMGREN P， CHAN T F， MULET P， et al. Total variation image restoration： numerical methods and extensions [C]// Proceedings of IEEE 1997 International Conference on Image Processing. Piscataway， NJ： IEEE， 1997， 3： 384-387.

[3]

ELAD M， FEUER A. Restoration of a single superresolution image from several blurred， noisy， and undersampled measured images [J]. IEEE Transactions on Image Processing， 1997， 6（12）： 1646-1658.

[4]

CHAN T F， OSHER S， SHEN J. The digital TV filter and nonlinear denoising [J]. IEEE Transactions on Image Processing， 2001， 10（2）： 231-241.

[5]

FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution [J]. IEEE Transactions on Image Processing， 2004， 13（10）： 1327-1344.

[6]

YUAN Q， ZHANG L， SHEN H. Multiframe superresolution employing a spatially weighted total variation model [J]. IEEE Transactions on Circuits & Systems for Video Technology， 2012， 22（3）： 379-392.

[7]

SONG H， QING L， WU Y， et al. Adaptive regularizationbased spacetime superresolution reconstruction [J]. Signal Processing： Image Communication， 2013， 28（7）： 763-778.

[8]

BERTACCINI D， CHAN R H， MORIGI S， et al. An adaptive norm algorithm for image restoration [C]// SSVM’11： Proceedings of the Third International Conference on Scale Space and Variational Methods in Computer Vision， LNCS 6667. Berlin： Springer， 2011： 194-205.

[9]

ZHANG X， XIONG R， MA S， et al. Video superresolution with registrationreliability regulation and adaptive total variation [J]. Journal of Visual Communication and Image Representation， 2015， 30： 181-190.（无期号）

[10]

LI X， HU Y， GAO X， et al. A multiframe image superresolution method [J]. Signal Processing， 2010， 90（2）： 405-414.

[11]

QIANG C， MONTESINOS P， QUAN S S， et al. Adaptive total variation denoising based on difference curvature [J]. Image & Vision Computing， 2010， 28（3）： 298-306.

[12]

BROX T， WEICKERT J， BURGETH B， et al. Nonlinear structure tensors [J]. Image & Vision Computing， 2006， 24（1）： 41-55.

[13]

BOUGUET J Y. Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm [EB/OL]. [20151210]. http：//robots.stanford.edu/cs223b04/algo_tracking.pdf.

[14]

HUYNHTHU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment [J]. Electronics Letters， 2008， 44（13）： 800-801.

[15]

WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[16]

LIN Z， LEI Z， XUANQIN M， et al. FSIM： a feature similarity index for image quality assessment [J]. IEEE Transactions on Image Processing， 2011， 20（8）： 2378-2386.