基于Retinex模型的雾天图像清晰化算法

摘 要：黄山风景区全年雨雾天气近200天，常规的视频监控系统在这种天气下，很难发挥作用。为了解决这个问题，黄山针对雾天图像对比度降低的退化现象，提出了一种快速的对比度增强算法。通过简单变换后发现，大气散射模型的数学表达式符合Retinex模型，因此采用Retinex算法来提高图像的对比度。同时提出了一种新的平滑保边滤波， 用来快速估计Retinex算法中的照度。它的每次迭代仅需要三次均值滤波，时间复杂度低。对于彩色图像，通过非线性指数增强图像的饱和度。实验结果表明，提出的清晰化算法能有效增强雾天图像的对比度（特别是降质严重的低对比度区域），改善彩色图像的色彩，同时较好的保持图像的边缘。

关键词：雾；Retinex；对比度；保边滤波；饱和度

1、引言

黄山，素以奇伟绝俗、灵秀多姿著称于世。其全年雨雾天气近200天，弥漫在空中的雾气模糊了人们的视线，使得景物的能见度大幅降低，图像中蕴含的许多特征都被覆盖或模糊。并且图像退化程度跟图像景物到摄像头的距离相关，距离越远，距离越远，退化越严重。因此，这种退化在空间上是不均匀的。

图像去雾算法主要经历了3个研究阶段：

传统图像增强方法，比如直方图处理[1][2]、小波方法[3]和retinex[4]等。由于雾天退化图像的空间不均匀，这类方法效果有限。

基于物理模型的多图像（或多数据源）复原方法。由于退化模型与成像距离密切相关，而基于单幅图像很难获得准确的深度信息。因此，这类方法通过多图像（或多数据源）得到图像深度信息后利用物理模型达到复原的目的。Narasimhna等人提出了多种提取场景深度信息的方法，有些需要用到不同天气状态下相同景物的图像[5]，有些利用偏振光的方法[6]。基于大气散射模型的方法能够在雾天图像增强上达到较好的效果，但要求多图像（或多数据源）， 因此在实际应用上具有一定的局限性。

基于物理模型的单幅图像复原方法。由于考虑了雾天成像的物理模型和仅使用单幅图像，这类方法是近年来研究的热点和难点，取得了很大的进展。与多图像（或多数据源）复原方法利用不同，这类方法根据假设条件从单幅图像中估计深度信息。相对于雾天图像，Tan[7]发现无雾图像的对比度更高，因此他提出了基于局部对比度最大化的单幅图像去雾算法；Fattal[8]假设光照传输和物体阴影是不相关进而估计场景的反射率；He[9]通过大量实验发现“暗通道先验”，提出一种简单有效的算法，获得很好的效果。但是，这些方法存在两个问题：首先，一些退化严重的区域得不到增强；其次，由于处理过程中使用空间滤波方法，结果往往存在边缘效应。

针对以上问题，本文将提出一种快速保边的单幅图像对比度增强算法。通过简单的变换发现，雾天降质模型的数学表达式和retinex模型具有相同的乘性形式。因此采用Retinex算法来提高图像的对比度。为了保持图像的边缘，提出了一种快速的平滑滤波，用来估计Retinex算法中的照度。最后，对饱和度分量进行非线性指数调整，改善图像的色彩。

本文其余部分组织如下：第二部分介绍本方法使用的大气散射模型和Retinex模型；第三部分提出我们的方法，并在一些重要细节上给予具体讲述；第四部分是实验及分析比较；最后，第五部分作为全文的总结。

2、相关研究简介

2.1大气散射模型

在计算机视觉和图像处理领域广泛用于描述雾天图像形成的大气散射模型[5-11]如图1所示，具体数学表达式如下：

其中，P表示空间位置，E表示场景点的反射率，即：场景点在良好天气条件下的亮度。t是传输系数，与目标到摄像机的距离和雾的浓度相关。A表示天空环境光，认为是一个常量。

公式（1）中，方程未知数多于方程数，方程没有唯一解。为了解决该病态问题，需要通过其它信息先获得t，有以下几种方法：一是通过雷达等直接取得场景点的深度；二是通过获取多幅同一位置不同天气状况下的图像[5]；三是利用偏振光的方法[6]。

近年来，基于单幅图像的方法取得了很大的进展。这类方法都是根据假设先估计出t，再反解公式（1）。比如，Fattal假设光照传输和物体阴影是不相关进而估计场景的反射率；He提出“暗通道先验”，都获得很好的效果。

但这些方法一般采用滤波方法估计t，会造成边缘效应；另外，这些方法设置平衡系数，防止当t接近于零时结果图像失真，但这也使得某些退化严重的区域得不到足够的增强。

2.2Retinex模型

Retinex理论[4，12]是一种重要的图像增强技术，适用于处理光照不均问题，并且能有效的增强图像对比度和压缩动态范围。该理论有以下四个基本假设：

（1）每个色彩通道分别由独自的亮度值确定；

（2）中心像素与周围像素的亮度比被认为具有照度不变性；

（3）每个通道的照度值由大范围内局部比值综合确定；

（4）每个通道中亮度值最大的像素被认为具有该通道内100%的反射率。

基于上面四点假设，Retinex理论的基本概念就是将一副输入亮度图像I分解成两幅不同图像：反射图像R（场景内物体的内在属性，其取值范围为 ，和照度图像L（从光源投射在物体上的光线强度）。数学表达式为：

去除不同光照的影响后，算法就能获得所需要的反射图像R。

从单幅输入图像中估计出照度图像是Retienx算法的关键。一般认为，照度图像是平滑变化的。因此许多算法通过平滑输入图像获得照度图像的估计，如高斯滤波[13，14]，双边滤波[15]等。但高斯滤波由于只考虑空间上位置关系，会模糊图像的边缘信息；双边滤波能较好的保持图像边缘，但算法的时间复杂度较高，难以应用到实时处理。

3、基于Retinex模型的雾天图像对比度增强算法

3.1算法描述

首先将降质模型的公式（1）变形为：

改写上式为：

其中：

为了简化计算，本文取最大亮度值作为天空环境光A，从而就可以计算出B。这样，雾天图像清晰化问题转换成如何将一幅已知图像分解成两幅图像t和D，最后对D取反即可获得增强后的图像。

注意到，上式与Retinex的照度反射模型具有相同的形式。大气散射系数t仅跟雾的浓度和物体距离相关。一般假设雾的浓度在单幅图像中基本固定，即在同一物体上空间平滑变化的，和照度图像的假设条件相吻合。因此本节引入Retinex理论，估计照度图像后恢复反射图像，从而达到图像去雾的目的。

照度图像估计中，现有的平滑滤波如高斯滤波和双边滤波等不能在边缘保持和执行速度上获得很好的平衡。因此，提出一种快速的保边滤波，其输出是中心像素亮度值和邻域内亮度值均值的加权平均。另外，该滤波也能应用到反射图像恢复中，用来抑制噪声。

对于彩色图像，将其先转换到亮度空间，处理后再恢复出彩色信息，提高算法的运算速度。为了增强图像的色彩，算法对饱和度分量进行非线性指数调整。

图2给出了整个算法的具体流程图。首先将输入彩色图像转换成亮度图像。用估计的大气天空光A对亮度图像取反后，采用快速Retinex算法计算结果；最后，对结果取反，利用输入图像恢复出彩色信息，获得最后的清晰化结果。

3.2快速保边滤波

边缘保持是图像平滑算法的研究重点和难点，也是近二十年来该领域的研究热点。这类算法的优点在于平滑图像噪声（或细节）的同时，能够很好的保持边缘信息。各向异性扩散算法[16]和双边滤波[17]是其中两种最流行的技术。近年来，研究者又相继提出了多种新的保边平滑算法，如加权最小二乘法优化框架[18]、基于极值的插值方法[19]、保边小波[20]、最小L0梯度[21]以及域转换方法[22]等。然而，这些方法计算复杂度高，难以应用到实时处理。

Lee滤波[23]是一种基于局部统计的平滑算法，其输出是输入图像和其均值滤波的加权平均：

其中，I是输入图像， 表示给I定窗口大小的均值滤波结果。K由下式计算：

其中，Q和N分别表示无噪图像和噪声的方差。平滑系数是滤波的一个关键参数，它控制着滤波的平滑强度。在一个局部窗口内，信噪比越低，噪声N的方差越大，使得系数K的值越小，从而结果J就越接近于该窗口的均值；相反，图像质量较好的区域具有较高的信噪比，噪声的方差N相对较小，使得系数K的值接近于1，从而结果就越接近于输入图像。

然而，变量Q和N通常情况下是未知的，需要提前给定或者根据其它算法估计。此外，均值滤波的窗口大小也不好确定。窗口太小时，滤波不能有效的抑制噪声；而窗口过大时，算法又会模糊图像的细节和边缘信息。这两个问题也限制了该滤波的应用。

为此，将介绍一种改进的快速保边滤波。为了平滑图像的同时保持边缘信息，提出的算法对Lee滤波有两处主要的改进。首先，该算法引入了本地绝对梯度均值，与图像方差一起计算权重系数。其次，采用了多次分解的方法平滑边缘周围像素。接下来将介绍提出算法的具体细节。

A平滑系数

图像滤波的目标是平滑其中的噪声，而保持边缘。因此需要先明确边缘和噪声的定义。在之前大多数算法中，边缘被定义为相邻像素大的亮度差，而噪声和细节则是相对较小的对比度变化。然而实际中，比如在噪声（或细节）很强的图像中，相邻像素由于随机噪声的影响，也可能有很大的亮度差，并且大亮度差会重复出现。因此，本文定义噪声（或细节）为亮度值局部极值间的重复跳跃，而边缘是单一的大亮度差。

根据本文的定义，边缘仅仅包含一个大的亮度差，而噪声（或细节）可能有多个。在两者亮度差相差不大的情况下，两者的局部绝对梯度均值有较大的区别。当两者的亮度差相差较大时，边缘的局部方差要比噪声（或细节）的大。因此，使用局部方差和绝对梯度均值作为两个特征变量，通过以下公式计算平滑系数：

其中， 表示局部方差均值， 是空间位置处P的梯度。 表示一个很小的正数常量，确保式子中的除数不为零。实验中， 的值设置恒为10-6。函数f0是一个非负的单调递增函数，使得局部方差和绝对梯度均值两者具有可比性。在本文中，f（）定义为如下一个简单的两次函数：

其中， 表示以空间位置P处梯度的Euclidean距离。而a是一个非负常数，用来调整局部方差和绝对梯度均值两者相对关系。

B多次分解

用新的平滑系数对输入图像I完成一次公式（6）的操作后，可以得到一个平滑图像J1。然而当窗口半径w较小时，整幅图像的平滑效果有限；而w太大时，边缘附近像素的平滑系数接近于1，其结果也不能得到足够的平滑。针对该问题，本文提出一种多次分解的方法，该方法多次迭代的从上一次结果中提取其平滑层。窗口范围随迭代次数增加而增大。经过n次平滑操作后，根据上一次结果 Jn-1获得的平滑图像为：

其中， 表示Jn-1的局部均值，kn表示第n次迭代的平滑系数。

接下来考虑窗口的增长方式。考虑到离边缘距离小于半径的像素平滑强度会不够，第一次迭代时，本文选择最小的窗口半径w1=1。当递增的窗口大于给定的窗口后，迭代停止。当增长过慢时，算法的迭代次数增加，增加算法运算时间。经过多次迭代后，本文选择第n次窗口半径wn的大小和上一次窗口半径wn-1的关系为：

每一次迭代都需要进行一次平滑操作，而每次平滑操作又包含了一个参数a。因此，整个算法需要设置多个参数a的值。而实验发现，算法受这多个值最大值影响最大，受其它值影响很小。因此，本文在每一次迭代中都采用同一个参数值。

C时间复杂度分析

除了保持边缘外，本章提出的滤波的另一个优点是它的计算复杂度低。图3给出了滤波的具体实现步骤。除了一些点运算外，每一次迭代（平滑操作）仅仅需要完成三个均值滤波。而不论窗口半径多大，快速的均值滤波算法处理每一个像素仅仅需要4个加法运算和1个乘法运算。因此，整个算法的时间复杂度是O（N），其中N表示输入图像的像素个数。另外，通过查找表减少根号运算等的时间消耗。

3.4图像饱和度增强

对于彩色图像，由于雾较浓或场景点很远，会造成图像饱和度很低，需要增强色彩。为了保证增强后的图像色彩更加分明， 本文将彩色图像转换至HSV空间，对饱和度分量进行非线性指数调整，改善图像的色彩。指数拉伸的数学模型为

其 中为拉伸因子，决定饱和度分量的增强程度。

4、实验结果

本文中，实验使用的参数为：W=7，a=0.1。由于整个算法仅仅使用了快速滤波和一些简单的点运算，算法的时间复杂度和快速滤波一样也是O（N），其中表示输入图像的像素个数。

为了评估算法的性能，论文对FRIDA[24]数据库的仿真图像进行了测试；并基于该数据库提供的标准图像，采用文献[25]中的标准差 ，有效比P，以及低对比度有效比V作为评判标准。其中，标准差描述清晰化处理结果和标准图像的吻合度，而有效比和低对比度有效比分别评估算法对全局和低对比度区域的增强性能。实验结果如表1所示。结果表明，提出算法在三个评判标准上的性能都要优于MSR算法[14]和He算法[9]，特别是对于图像降质严重的低对比度像素。Retinex算法在恢复反射图像时，对比度的提高和亮度值成反比。而雾天图像具有较大的亮度值，因而通过取反操作降低亮度值，从而提高对比度。这是提出算法在对比度增强特别是低对比度增强方面优于MSR算法的主要原因。图4给出了其中一幅降质图像的处理结果。从图中可以看出，提出算法能够有效地提高雾天图像的对比度，特别是在降质严重的低对比度区域，同时较好的保持图像的边缘。

图5是实际应用中的一幅真实图像处理结果。

5、结论

针对雾天图像的退化现象，提出了一种基于Retinex理论的图像对比度增强算法。为了达到实时处理的要求，提出了一种快速的保边滤波估计照度图像。该滤波的输出为输入图像和其均值的加权平均，权重由局部方差和绝对梯度均值决定。整个算法的时间复杂度是，其中表示输入图像的像素个数。对于彩色图像，通过非线性指数增强图像的饱和度。实验结果表明，该算法能有效增强雾天图像的对比度（特别是降质严重的低对比度区域），改善彩色图像的色彩，同时较好的保持图像的边缘。

但是，算法也存在一定的问题。比如，算法对噪声敏感，特别是在接近天空、退化严重区域的噪声。作者今后将对这些问题继续进行研究。

参考文献：

[1]J. A. Stark. Adaptive Image Contrast Enhancement Using Generalizations of Histogram Equalization[J]. IEEE Transactions on Image Processing， 2000， 9（5）：889-896.

[2]J. A. Stark， W. J. Fitzgeralid. An Alternative Algorithm for Adaptive Histogram Equalization[J]. Graphical Models and Image Processing， 1996， 58（2）：180-185.

[3]F. Russo. An Image Enhancement Technique Combining Sharpening and Noise Reduction[J]. IEEE Transactions on Instrumentation and Measurement， 2002， 51（4）：824-828.

[4]E. H. Land. The retinex theory of color vision[J]. Scientific American， 1977， 237（6）：108-128.

[5]S. G. Narasimhan， S. K. Nayar. Chromatic Framework for Vision in Bad Weather[C]. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2000， 1：598-605.

[6]Y. Y. Schechner， S. G. Narasimhan， Shree K.Nayar. Polarization-based vision through haze[J]. APPLIED OPTICS， 2003， 42（3）：511-525.

[7]R. T. Tan. Visibility in bad weather from a single image[C]. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2008， pp. 1-8.

[8]R. Fattal. Single image dehazing[J]. ACM Transactions on Graphics， 2008， 27（3）， Article 72.

[9]K. He， J. Sun， X. Tang. Single image haze removal using dark channel prior[C]. IEEE Conference on Computer Vision and Pattern Recognition （CVPR’09）， 2009， pp. 1956-1963.

[10]H. Koschmieder. Theorie der horizontalen Sichtweite[J] . Beitr. Phys. Freien Atm.， 1926， 12， 33-53， 171-181.

[11]S. K. Nayar， S. G. Narasimhan. Vision in Bad Weather[C].IEEE International Conference on Computer Vision （ICCV）， 1999，2：820-827.

[12]E. Land， J. McCann. Lightness and retinex theory[J]. J. Opt. Soc. Amer.， 1971， 61（1）：1–11.

[13]D. J. Jobson， Z. Rahman， G. A. Woodel1. Properties and Performance of a Center/Surround Retinex[J]. IEEE Transactions on Image Processing， 1997， 6（3）：451-462.

[14]D. J. Jobson， Z. Rahman， G. A. Woodel1. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing， 1997， 6（7）：965-976.

[15]M. Elad. Retinex by Two Bilateral Filters[J]. Scale-Space Lecture Notes in Comput. Sci.，2005， 3459：217-229.

[16]P. Perona， J. Mallik. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Learning， 1990， 12（7）：629-639.

[17]C. Tomasi， R. Manduchi. Bilateral filtering for gray and color images[C]. International Conference on Computer Vision（ICCV）， 1998， 839-846.

[18]Z. Farbman， R. Fattal， D. Lischinski， R. Szeliski. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics， 2008， 27（3）， Article 67.

[19]K. Subr， C. Soler， F. Durand. Edge-preserving Multiscale Image Decomposition based on Local Extrema[J]. ACM Transactions on Graphics， 2009， 28（5）， Article 147.

[20]R. Fattal. Edge-avoiding wavelets and their applications[J]. ACM Transactions on Graphics， 2009， 28（3）， Article 22.

[21]L. Xu， C. Lu， Y. Xu， J. Jia. Image Smoothing via L0 Gradient Minimization[J]. ACM Transactions on Graphics， 2011， 30（6）， Article 174.

[22]E. S. L. Gastal， M. M. Oliveira. Domain Transform for Edge-Aware Image and Video Processing[J]. ACM Transactions on Graphics， 2011， 30（4）， Article 69.

[23]J. S. Lee. Digital image enhancement and noise filtering by use of local statistics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1980， 2（2）： 165-168.

[24]J. -P. Tarel， N. Hautiere， A. Cord， D. Gruyer， H. Halmaoui. Improved Visibility of Road Scene Images under Heterogeneous Fog[C]. Proceedings of IEEE Intelligent Vehicles Symposium （IV'10）， San Diego， CA， USA， June 2010， 21-24.

[25]W. Li， B. Gu， J. Huang， S. W， M. Wang. Single Image Visibility Enhancement in Gradient Domain， IET Image Processing， 2012， 6（5）： 589-595.