基于图像类推的遥感图像超分辨率技术

摘 要:由于卫星上相机距离拍摄景物较远,所以遥感图像分辨率一般较低。为了获得较高分辨率的图像。提出将图像类推技术(IA)与立方卷积插值法相结合的方法;并在学习样本集合建立过程中引入一种新的思路,直接对高分辨率图像的高频细节信息进行学习。实验结果表明,该方法不仅提高了放大图像的清晰程度,而且较一般的图像类推算法,能产生更为合理的细节以增强图像,使放大后的遥感图像更为逼真。

关键词:图像类推; 超分辨率; 遥感图像; 立方卷积插值

中图分类号: TP751

文献标志码:A

Imageanalogies based super resolution for remote sensing images

YU Jiye1, WU Wei1,2 , TENG Qizhi1, SHI Yixin1

1.College of Electronics and Information Engineering, Sichuan University, Chengdu Sichuan 610064,China

2.Jiangxi Province Key Laboratory for Digital Land, Fuzhou Jiangxi 344000,China

)

Abstract: Due to the long distance between satellite camera and the site, the resolution of remote sensing image is low. In order to get high resolution image, Image Analogies (IA) technology and cubic convolution interpolation algorithm were combined, and a new idea that studied the highfrequency details of the high resolution image directly in the learning set was proposed. The experimental results show that this method can not only amplify images much more sharply, but also generate more reasonable details to enhance the image than general image analogies method. Thus, the amplified remote sensing image becomes more vivid.

Key words: Image Analogies (IA); super resolution; remote sensing image; cubic convolution interpolation

0 引言

遥感卫星的飞行高度一般在600km到4B000km之间。由于CCD相机距离景物较远,所以图像分辨率较低。为了提高图像的分辨率,最常见的方法是插值法。包括最近邻插值、双线性插值和立方卷积插值等。这些算法实现简单,运行速度快,且能适用于任何图像。但从信息的角度来看,并没有增加任何细节,且会导致放大后的图像轮廓模糊,高频信息受损。因而此类方法获得高分辨率图像的效果不是很好。

近年来,通过使用超分辨率技术[1-2]获取高分辨率图像已成为图像复原的热门研究方向之一。超分辨率技术是指通过一定的技术手段,由低分辨率图像生成高分辨率图像的技术。目前的超分辨率技术主要分为两类:一类是基于重构的;另一类是基于学习的。基于重构的方法是指利用来自相同场景的多帧低分辨率图像来重建一幅更高分辨率的图像[3]。最常用的方法是最大后验概率估计法[4]和凸集投影法[5],基于重够的方法不依赖于其他外界信息,简单,易用。但由于所需信息只能从输入图像序列获得,而需要增加的信息本质上是无法预测的,随着分辨率放大系数的增加,所需信息更多,无论增加多少输入图像,都无法再改善重建效果。而基于学习的超分辨率技术是指通过一个训练集合来作为学习样本,用一种搜索匹配方式将样本的细节信息添加到待处理图像中,用一幅低分辨率图像来复原高分辨图像。基于学习的超分辨率技术最早是由卡耐基―梅隆实验室的Baker等人[6-7]提出的。随后有Freeman等人 [8-9] 提出的基于例子的方法和Sun等人[10]提出的基于图像本质轮廓的算法等。基于学习的超分辨率方法为了获得更准确的细节信息,训练集合中的样本数量往往很大,导致算法运行速度较慢。

图像类推是由纽约大学的Herzmann等人[11]提出的,图像类推的方法受到人类推理过程的启发,其基本思想来自纹理合成技术。图像类推技术能应用的领域比较多,最主要用于从数字艺术渲染中学习“艺术滤镜”,来实现图像的风格化。图像类推也可实现超分辨率,但是高频图像的灰度值变化范围比较大,会导致类推过程产生较大的误差。国内的古元亭和吴恩华[12]提出基于图像类推的超分辨率技术,用一种自我类推的方法来提高图像的清晰程度。该方法能产生较为合理的细节以增强图像,但此方法因为学习样本只有自身,能获取供学习的信息量较低,使获取的超分辨率图像效果不是很理想,会产生一定的人工痕迹和视觉上过硬的边缘。

本文综合考虑遥感图像的特点和以上各方法的优缺点,提出了基于图像类推算法和立方卷积插值法相结合的方法来实现遥感图像的超分辨率,本文将高分辨图像与其退化图像相减获得高频细节信息,再与退化图像构成训练集合,从两者中学习如何由模糊产生细节的生成方式。用学习到的这种生成方式来获得待处理图像的高频细节,然后利用立方卷积插值法将待处理图像放大,将放大后的图像与类推法获得的图像的高频细节相加,就获得所要的高分辨率图像,从而实现超分辨率。由于在图像类推学习过程中只对高频细节进行学习,而高频细节信息的灰度值变化范围很小,所以在学习过程中产生的误差大为减少。本文方法融合图像类推法和立方卷积法的优点,弥补了图像类推法误差大而立方卷积法无法获得高频细节的不足。实验结果表明此方法不仅提高了图像的清晰程度,能产生更大的梯度值,且在放大图像的同时,能产生更为合理的细节以增强图像。使获得的图像更逼真。

1 图像类推基本理论

本文首先介绍图像类推的基本理论[11] ,后面将对其进行改进并与立方卷积插值法结合来实现本文的算法。

1.1 图像类推问题的描述

б阎一组图像A和A′,其中A为未经滤波的源图像,A′为滤波后的源图像和一幅未经滤波的目标图像B。通过这三幅

图像按照规定的合成规则,生成一幅滤波后的目标图像B′。

分区

图片

图1 图像类推原理示意图

A:A′B:B′

通过学习A与A′的关系,利用这种关系来作

用在目标图像B上,从而类推出B′,使B与B′的关系近似的满足A与A′的关系,从而在视觉上看起来B到B′转变类似于A到A′的转变。オ

1.2 图像类推算法

3.2 合成阶段

图像类推和立方卷积结合实现超分辨率的合成阶段示意图如图 4 所示。

图片

图4 图像类推实现超分辨率的训练阶段示意图

合成阶段的具体步骤为:1)将用于待提高分辨率的图像b经过立方卷积插值放大后得到图像B;2)将图像B和在学习阶段得到的图像A, A′,经过图像类图算法得到图像B′;3)将图像B′和图像B相加,然后每个像素都减一个128后,就得到待提高分辨率的图像b的超分辨率图像R。オ

3.3 算法实现方框图

至此,将本文的基于图像类推实现超分辨率的算法流程用框图表示如图5所示。

4 实验结果与分析

应用上述基于图像类推和立方卷积结合的超分辨率算法。本文对遥感图像进行了实验,其中的遥感图像来源于网站/data/landsat/的Landsat卫星拍摄的遥感图像,实验用的遥感图像的空间分辨率为30m。并分别与Hertzmann的图像类推算法、双线性插值和立方卷积插值的实验结果进行了比较。

图片

图5 图像类推实现超分辨率的算法流程框图

图片

图6 本文方法与Hertzmann的IA算法比较

图6显示的是本文方法和Hertzmann的IA算法的比较,原始的待处理图像(a)是2幅256×256像素的遥感图像。分别使用Hertzmann的IA算法和本文方法进行4倍放大后为1B024×1B024像素的超分辨率图像。由于图像幅度较大,在此选取了两个局部进行对比演示。图(b)显示的Hertzmann的IA算法的结果。图(c)显示的是本文算法的结果。

从图(b)和图(c)两两对比的结果可以看出: Hertzmann的IA算法在放大图像时,在细节处理上过于粗糙,有明显的人工痕迹,在放大图像的同时也丢掉了部分图像的细节信息,造成一定程度的误差。从对比中可以看出本文方法放大后的图像效果比Hertzmann的IA算法有明显的改进。图像变清晰的同时人工痕迹也有一定程度的减少,更重要的是图像的信息损失明显降低。

图片

图7 本文方法与双线性和立方卷积插值法的比较

图7 显示了双线性插值法、立方卷积插值法和本文算法的效果比较。其中图7(a)是一幅128×128像素的待处理遥感图像,图7(b)、(c)、(d)分别用线性、立方卷积和本文算法进行了200%的放大。从实验结果对比图中可以看出,本文使用的基于图像类推的超分辨率算法减轻了图像的模糊程度,增加了更多的细节信息,比前两种方法都要好。

为了更准确地评价本文算法,下面用平均梯度值来对上面三种方法的清晰程度和纹理变化特征来做对比。图像的平均梯度计算公式为:

=1MN∑Mi=1∑Nj=1Δxf(x,y)2+Δyf(x,y)22(6)

式中: M、N分别为图像的高度和宽度:オ

ИΔxf(x,y)=f(x+1,y)-f(x,y)

Δyf(x,y)=f(x,y+1)-f(x,y)(7)

表1中的数据是对10幅128×128像素的待处理遥感图像,分别运用双线性插值、立方卷积插值和本文方法进行了200%的放大,并对放大后的图像分别求取其平均梯度值,且在最后一行分别统计了10幅图的三种方法的平均梯度值的均值。

表格(有表名)

表1 不同方法的平均梯度值

图像双线性插值立方卷积插值本文方法

18.427B19.613B112.139B5

28.468B59.739B913.254B8

37.698B68.788B111.738B5

48.341B09.629B512.980B1

57.308B88.399B1 11.206B7

67.724B38.849B6 11.908B2

75.393B36.233B89.050B2

85.114B75.936B88.784B7

95.514B26.395B99.355B0

107.727B28.998B3 12.121B2

均值7.171B88.258B411.253B9

从图7和表1中数据可以看出,本文基于图像类推和立方卷积结合的算法实现的放大图像平均梯度值最大,它的清晰度也最高,其次是立方卷积插值的放大图像,最差的是双线性插值实现的放大图像,图像也最模糊。

5 结语

本文采用基于图像类推和立方卷积相结合的算法实现超分辨率,在遥感图像上得到了良好的效果。因为只对图像的高频细节信息进行学习,降低了类推算法得到图像产生的误差,并弥补了立方卷积插值法不会产生高频信息的不足。本文方法能得到更高清晰度图像的同时,更能产生较为合理的图像细节以增强图像,使获得的图像更逼真,为进一步遥感图像目标的识别打下了基础。

参考文献:[1] van OVWERKERK J D. Image superresolution survey[J]. Image and Vision Computing,2006,24(10):1039-1052.

[2] CHEOLPARK S, PARK M K, KANG M G. Superresolution image reconstruction: A technical overview[J].IEEE Signal Processing Magazine, 2003,20(3):21-36.

[3] ELAD M,FEULER A. Restoration of a single superresolution image from several blurred, noisy,and under sampled measured images[J]. IEEE Transactions on Image Processing,1977,6(12):1646-1658.

[4] SCHULTZ R,STEVENSON R. Extraction of highresolution frames from video sequences[J]. IEEE Transactions on Image Processing,1996,5(6):996-1011.

[5] PATTI A,SEZAN M,TEKALP A. Superresolution video reconstruction with arbitrary sampling lattices and nonzero aperure time[J].IEEE Transactions on Image Processing,1997,6(8):1064-1076.

[6] BAKER S,KANADE T. Limits on superresolution and how to break them[J]. Computer Vision and Pattern Recongnition,2000,9(2):372-379.

[7] BAKER S,KANADE T. Hallucinating faces[C]// IEEE International Conference on Automatic Face and Gesture Recognition(ICAFGR).New York:IEEE,2000:83-88.

[8] FREEMAN W T,PASZTOR E C, CARMICHAE O T. Learning lowlevel visio[J]. International Journal on Compter Vision, 2000, 40(1):25-47.

[9] FREEMAN W T,JONES T R,PASZTOR E C. Examplebased superresolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2):56-65.

[10] SUN JIAN, ZHENG NANNING. Image hallucination with primal sketch priors[C]// Proceedings of 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE, 2003: 729-736.

[11] HERTZMANN A,JACOBS C E,OLIVER N,et al.Image analogies[C]// Proceedings of the 28th Annual Conference on Computer Graplics and Interactive Techniques.New York: ACM Press, 2001:327-340.

[12] 古元亭,吴恩华.基于图像类推的超分辨率技术[J].软件学报,2008,19(4):851-860.

[13] 谢凤英,赵丹培.Visual C++ 数字图像处理[M].北京:电子工业出版社,2008.