一种基于联合双边滤波的全景图像预处理方法

摘要：提出了一种基于联合双边滤波的全景图像预处理方法。相比较中值滤波和高斯滤波而言，联合双边滤波既平滑了图像，又保持了边缘信息。通过模拟实验取得了较好的效果，同时表明了结合采样技术和联合双边滤波进行计算优化的思路是可行的。

关键词：全景图像；联合双边滤波；图像平滑；预处理

0引言

三维全景是一种基于图像的虚拟现实技术，它用拍摄到的真实照片经加工处理让用户产生三维真实的感觉，目前广泛应用于数字三维校园、医疗、航空、房地产、旅游等领域。由于图像在拍摄过程中受到成像设备和周围环境的影响，会使拍摄到的图像中含有噪声，例如图像在数字化过程中的量化噪声等。为了使图像更逼真，需要对图像进行去噪。常用的中值滤波能够很好地去除二值噪声同时保持图像的边缘，但对高斯噪声却无能为力。高斯滤波对高斯噪声非常有效，但会使图像边缘模糊掉。双边滤波器在进行图像平滑时，不仅考虑像素点在空间上的相邻性，还考虑到临近像素点的强度值差异，这使得双边滤波器能够在有效的进行图像平滑、去除噪声的同时，还能保证边缘的锐利程度，从而保留了更多图像细节信息。进一步，为了适用于输入图像无法提供准确边缘信息的情况和提高一些耗时算法的速度，本文采用联合双边滤波技术。

1预处理方法

通常全景D像生成需要四个步骤：图像预处理、图像匹配、坐标转换和图像融合；前期预处理关系到后期图像匹配和融合的质量[1]。本文图像预处理主要进行图像平滑。

1.1双边滤波器

双边滤波器是使图像平滑的非线性滤波器，由C.Tomasi和R.Manduchi在1998年提出[2]。双边滤波由两项计算因子组成，其中一项是基于空间几何分布的因子，距离计算点越近的点，获得的权重越大，距离较远的像素值对待求点的影响较小，保证了图像像素点在合适的范围内进行模糊运算；另一项是基于值域差值的因子，像素点差值越小的点，与待求点的相似度较大，因而获得的权重较高，差值较大的点，与待求点的差异性较大，赋予它的权重较小[3][4]。

图像滤波可用式（1）表示：

g（i，j）=∑klf（k，l）w（i，j，k，l）∑k，lw（i，j，k，l）（1）

其中g（i，j）表示输出图像，f（k，l）表示输入图像，w（i，j，k，l）表示权重因子。

空间域核d（i，j，k，l），如式（2）所示：

d（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d）（2）

值域核r（i，j，k，l），如式（3）所示：

r（i，j，k，l）=exp（-f（i，j）-f（k，l）22σ2r）（3）

权重因子w由空间域核d 和值域核r共同组成，如式（4）所示：

w（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d

-（f（i，j）-f（k，l））22σ2r）（4）

其中σd，σr和都是高斯函数标准差。

当待求点处于景物边缘时，同一侧边缘的点与待求点强度值较为接近，赋予其的权重较大，而对于边缘另一侧的点，其强度值与待求点相差较大，赋予的权重值较小，因此处理结果中边缘信息得以保留，不会因为边缘两侧的像素点的相互干扰而导致边缘模糊。

1.2联合双边滤波器

在双边滤波器的理论基础上，Petschnigg和G.Agrawala等人提出了联合双边滤波（Joint Bilateral Filter）理论

[5]。与双边滤波不同的是，联合双边滤波器的参考图像不是基于原始输入图像而是基于导向图像进行计算的[6]。这种方法适用于输入图像无法提供准确边缘信息的情况，例如闪光、无闪光去噪、图像上采样、图像去卷积等。

设导向图像为d（i，j），则值域核r将重写为：

r（i，j，k，l）=exp（-d（i，j）-d（k，l）22σ2r）（5）

相应的权重因子w为：

w（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d

-d（i，j）-d（k，l）22σ2r）

（6）

1.3计算优化

上述滤波器的核函数直接使用了高斯函数，如果有大小是M×N的图像，滤波器半径为r的话，其算法复杂度为

O（（M×N×r）2），当图像尺寸和滤波窗口很大时其计算时间是不能接受的[7]。以索尼A7R微单为例，一张拼接前的全景素材从相机里面取出时的RAW格式有三十兆左右，压缩成JPG格式后也有七八兆大小，因此本文尝试利用联合双边滤波结合下采样技术提高处理速度。具体步骤如下：

（1） 对原图像I进行s倍下采样，得到图像Is；

（2） 对图像图像Is进行中值滤波，得到图像Il；

（3） 将图像Il按照邻近插值方式放大到原图像尺寸，得到图像Ii；

（4） 将Ii和I进行联合双边滤波处理，得到预处理图像Io。

2实验结果

本实验用matlab工具对一张人物图片进行预处理模拟。实验环境为：Thinkpade531，Intel（R）Core（TM）i5-3230M CPU@2.60GHz，RAM 8G，MatlabR2014a。以下是中值滤波、高斯滤波、双边滤波和联合双边滤波结果。

从实验结果可以看出，相比较中值和高斯滤波而言，双边和联合双边滤波既平滑了图像，又保持了边缘信息，取得了不错的

效果，但是使用的时间却远高于前者。图（f）使用了s=4的下采

样，中值滤波后线性插值为原图尺寸，再与原图像进行双边联合

滤波，耗时最长。上述实验结果表明，如果对于大尺寸图像，下采样后做非常耗时的算法处理，本文提出的优化方法是可行的。

3结束语

本文提出了使用联合双边滤波技术对全景图像进行预处理

的方法，通过模拟实验取得了较好的效果。我们尝试结合采样技术和联合双边滤波进行计算的优化，实验结果虽不理想但却表明了我们思路是可行的，这也将成为我们接下来的研究方向。

[参考文献]

[1]赵新跃. 快速拼接算法在智能手机全景图的应用研究[D].天津：河北工业大学，2013：16-17

[2]Tomasi C，Manduchi R.Bilateral filtering for gray and color images[C].Computer Vision，1998.Sixth International Conference on.IEEE，1 998：839-846.

[3]Weiss B，Fast median and bilateral fltering.ACM Transactions on Graphics（TOG），ACM，vol 25，PP，519―526.

[4]Yang Q，Tan K，Ahuja N.Real-time o（1）bilateral fltering.CVPR 2009，IEEE，PP.557・564.

[5]Petschnigg G，Szeliski R，Agrawala M，et a1.Digital photography with flash and no-flashimage pairs[C]，ACM transactions on graphics（TOG）.ACM，2004，23（3）：664-672.

[6]Kopf J，Cohen M，Lischinski D，Uyttendaele M，Joint bilateral upsampling.ACM Transactions on Graphics.

[7]李知菲，源.基于联合双边滤波器的Kinect深度图像滤波算法[J].计算机应用，2014，34（8）：2231-2234，2242

项目名称：2016年国家级大学生创新创业训练计划项目（201610616045）

（作者单位：1 成都理工大学信息科学与技术学院，四川 成都 610059；2 成都理工大学核技术与自动化工程学院，四川

成都 610059）