一种基于曝光补偿与颜色信息融合的背景减除法

以高斯模型为基础，提出了抑制噪声影响的模型更新参数设置条件。结合摄像系统的工作原理，提出了针对摄像系统曝光波动以及环境光照变化的亮度补偿办法。通过对RGB三个颜色通道的分割结果进行逻辑运算，将颜色信息融合使用于前景图像的分割。从实验情况看，本文提出的办法收到了一定的改善效果。

【关键词】背景减除法 噪声 颜色融合 曝光补偿

背景减除法是一种常用的运动目标检测方法，分两个步骤：一是背景建模，二是当前帧与背景差分，设置合适的容差阈值，获得运动目标的前景二值图。这种方法原理简单，在一些场合使用取得了不错的检出效果，但当运动目标的灰度与背景较为接近时，常因前景与背景的像素值差异未超过阈值而检出不足，前景图像丢失较多。然而通过降低阈值来提高检出度，却受到了容差效果的制约。这是由于当前帧图像和背景模型均与实际情况存在误差，为防止当前帧中的背景部分被误检出，阈值往往需要大于当前帧中的背景部分与背景模型对应部分的最大可能差异，也就是大于双方误差幅度之和，这就限制了阈值的下调空间。为改善背景减除法的效果，多年来人们开展了很多研究。从传统的滑动窗口平均法、设置学习速度的强制更新法、排除前景影响的异步更新法等整体性的建模和更新方法，到各种逐像素的建模与更新方法，对模型的描述细度已达到像素级，模型精度在逐步提高。比如Stauffer和Grimson提出的混合高斯模型（Mixture of Gaussian），在单高斯模型的基础上，使用多个高斯峰来表征背景的微小变化，在对噪声进行适当容错的同时，较好地适应了环境中树叶摇动等类的微小波动，效果较为突出；Tuzel等采用递归贝叶斯学习方法估计每个高斯峰的均值和方差分布，使得各像素所需高斯峰的数量分配趋于合理；Kim H等使用广义高斯函数对混合高斯模型进行改进，也收到了一定的效果。此外，使用核密度模型估计背景模式的分量、使用运动模型估计像素的变化等方法，均在某些方面取得了一定的效果。但所有这些方法对像素的考察往往使用单特征，比如亮度等。这就使得前景与背景在像素值差异较小时难以区别。近年来，多特征的研究逐步进入人们视野，比如LBP，像素梯度，纹理等局部结构特征，但这些特征极易受噪声的影响，相对脆弱。于是颜色信息作为一种鲁棒性较强的图像特征越来越得到人们的重视。比如，强振平等使用颜色和纹理信息构建背景模型，通过双层判断来检测运动目标；邓宇等使用颜色信息，结合梯度特征，构造能量函数，用图切割区别前景与背景，收到了较好的效果。

视频图像的精度是运动目标检测的重要基础，而摄像系统则是视频图像的精度保证。实际上摄像系统对图像精度的影响不仅表现在我们最关注的图像噪声上，还表现在其内参数的频繁波动上，比如，Aptina公司图像传感器的增益级别普遍多达128级，这使其在环境变化或拍摄对象变化的过程中常处于波动之中。正是由于摄像系统内参数的经常性波动，才使得背景模型与当前帧之间产生脱节，形成误差。

基于以上考虑，本文提出一种基于亮度补偿与颜色信息融合的背景减除法。

1 背景模型的建立与更新

上面我们通过模型更新参数的控制有效地消除了噪声对模型像素值精度的影响，较高精度地获得了背景模型自身的期望值B0（=B）。但是从组成上看，B0=aib0i并不完全等同于当前帧中背景像素的期望值f0（不被遮拦时），只有在整个有效窗口期K内以及当前帧的曝光水平和光照水平稳定不变，使得b0i=b0j=f0（i，j=1，2，…k）时，才有 B0=aib0i=f0。而实际情况中，由于摄像系统自动增益反馈，自动白平衡反馈，自动曝光的频繁动作以及光照变化的存在，条件b0i=b0j=f0（i，j=1，2，…k）往往不能成立，这种情况下，即使克服了噪声的影响高精度地获得了B0（=B），仍无法消除背景模型值B与当前帧中背景像素的期望值f0之间的差异，从而在使用背景减除法时不得不设置更大的容差阈值来容纳这种差异，这对前景目标的分割是不利的，尤其是在前景与背景像素直接近时。另外，在存在前景遮拦的时候，被遮拦点的背景模型的有效窗口位置也不同，其模型值没有反映该点后续可能存在的由光照变化及曝光波动等引起的变化，因此，相对于该点如果不被遮拦，也会产生额外的差异。下面我们根据摄像系统的工作原理，具体分析上述差异的产生，并提出相应的补偿修正方法。

3 曝光水平波动及光照变化条件下背景模型更新方式的修正

摄像系统的曝光水平波动来源于自动增益反馈，自动白平衡反馈和自动曝光的频繁动作。考虑摄像头中像素值f与像素受到光照强度E的关系。

摄像系统工作时，由于自动增益和自动白平衡反馈的作用，增益系数G会随光照变化和前景目标的出现或运动频繁调整，形成曝光水平波动。由于白平衡的调整会使RGB三色的分量增益变化比例不同，导致不同颜色的像素亮度增益水平变化比例不同，为避免问题复杂化，同时也为了下一步融合使用颜色信息，我们将彩信号按照RGB分量分别单独考察，这样一来，G是全局严格一致的，避开了白平衡的问题。

环境光照变化分两种情况，一种是结构性变化，比如侧射光的出现，这显然可理解为背景发生的客观变化；另一种是整体性变化，即各点处的变化幅度基本上是等比例的，比如室外自然光照的变化，照明光源的波动等等，这种情况最常出现和普遍，本文主要考虑这种光照变化的影响。

摄像系统自动曝光功能主要之一是应对照明光源的波动。目前绝大多数照明光源均有亮度波动，有些甚至波动深度很大，比如铁芯普通荧光灯波动深度就达55%。为消除光源波动的影响，摄像系统的自动曝光功能会根据光源频率自动调节帧频，使曝光时间成为光源波动周期的整数倍。但是由于光源波动本身的不稳定，照度波动在一定程度上依然存在。然而这种照度波动的影响是全局等比例的，因此我们将其归为环境光照的整体变化一并考虑。

由式（11）可见，变化之后的G与E共同作用决定了像素值的变化。因此我们将GE乘积作为整体加以考虑，称其为有效光照强度。

6 实验与分析

本文选择与行人穿着较为接近的背景拍摄视频。首先拍摄一段时间的背景，然后行人进入，行人出画面后，再拍摄一段背景。为便于检验本文算法的效果，后段背景的拍摄中，人为地调整摄像头的光圈，使画面亮度发生明显变化，模拟环境光照变化，触发摄像机的自动增益反馈动作。然后使用前期稳定的背景视频和后期不稳定的背景视频分别建模。背景建模使用两种方法对比，一种是使用灰度图按传统方法，如公式（1）；另一种是本文方法，按RGB三通道分别建模，如公式（20）。在使用本文方法进行前景图像分割时，做如下对比实验：一种是按式（21）进行有效光照变化的补偿，另一种不补偿。

为提高模型精度，本文设置模型更新的学习系数为0.03，据实测，视频中除个别点外，均方差均小于3，这样，由于图像噪声影响使模型值偏离其期望值1个灰度级的概率就小于1%。

为使实验效果具有可比性，上述对比实验的参数设置均相同，包括建模时间，模型更新的学习系数，二值化阈值等。下面是实验结果：

6.1 颜色信息融合使用的分割效果

使用稳定背景视频建立的的背景模型，分割效果如图1所示。

可以看到，使用灰度图进行分割，人的下部丢失较多，因为裤子与背景灰度接近。使用RGB通道分别进行分割，则各有检出和丢失，但部位有所不同，这样在使用RGB各自的结果进行逻辑运算时，检出部分就互补了，从RGB融合分割结果看，分割效果有了较明显的提高。

6.2 对有效光照波动变化的补偿效果

使用不稳定背景视频建立的背景模型，以R通道为例考察对背景进行补偿与不补偿的分割效果，并与灰度图的分割效果做比较，如图2所示。

可以看到，在不补偿的情况下，R通道与灰度图的分割效果均不理想，这是因为在模型的有效窗口期内平均的有效光照水平与当前帧有较大差别，一些部位已超出了容差阈值，从而形成较多噪点和黏连。而经过对模型进行光照变化的补偿，其分割效果得到了明显的改善，说明本文提出的补偿方法是有必要的，也有一定效果。下面表1是使用稳定视频与不稳定视频分别建立的两种背景模型的像素值（R通道）变化均匀性的采样统计表，采样窗口共9个，均匀分布于图上，每个窗口约包含2000个像素。

从表1中可以看出，对于单通道来说，摄像机内部增益波动以及环境光变化引起的像素值变化比例是基本相等的。

7 结束语

本文通过高斯模型分析了噪声对背景模型的影响，并量化地提出了抑制噪声影响的模型更新参数设置条件。通过对模型误差的进一步分析，结合摄像系统的工作原理，提出了针对摄像系统内参数波动以及环境光照变化的模型更新办法和相应补偿办法。通过分色建立背景模型，将颜色信息融合使用于前景图像的分割，对使用多种线索综合进行前景判断进行了有益的尝试。从实验情况看，本文提出的办法有一定的改善效果。本文对于摄像系统工作机制的分析偏于理论，而现在大量的摄像头进行Gamma校正时都是使用的分段近似，与理论是有差别的。此外，本文方法没有考虑像素之间的关系，也没有使用图像的微观结构信息，这些都是下一步需要深入研究和改进的地方。

参考文献

[1]王亮，胡卫明，谭铁牛.人运动的视觉分析综述[J].计算机学报，2002，25（3）：225-237.

[2]Koller D，Weber J，Huang T，et al. Towards robust automatic traffic scene analysis in real-time[C]// The 12th International Computer Vision and Image Processing Conference，1994：126-131.

[3]Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking.In：Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins，USA：IEEE，1999：23-25.

[4]Wren C，Azarbayejani A，Darrell T，et al.Pfinder：realtime tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：780-785.

[5]Tuzel O，Porikli F，Meer P.A Bayesian approach to background modeling.In：Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE，2005：58-65.

[6]Kim H，Sakamoto R，Kitahara I，Toriyama T，Kogure K.Background subtraction using generalised Gaussian family model.IEEE Electronics Letters， 2008，44（3）：189-190.

[7]Elgammal A，Duraisewami R， Harwood D， Davis L S.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance. Proceedings of IEEE， 2002，90（7）：1151-1163.

[8]Elgammal A，Harwood D， Davis L S. nonparametric model for background subtracting[C].Proceedings of 6th European Conference on Computer Vision， Dublin，2000，751-767.

[9]Monnet A，Mittal A，Paragios N， Visvanathan R.Background modeling and subtraction of dynamic scenes.In：Proceedings of the 9th International Conference on Computer Vision.Washington D.C.，USA：IEEE，2003，1305-1312.

[10]Heikkila M，Pietikainen M.A texture-based method for modeling the background and detecting moving objects.IEEE Transactions on Pattern Analysis and Machine Intelligence.2006，28（4）：657-662.

[11]徐剑，丁晓青，王生进等.一种融合局部纹理和颜色信息的背景减除法[J].自动化学报，2009，35（9）：1145-1150.

[12]强振平，陈旭，刘鑫.基于颜色和纹理特征背景模型的多层差分运动目标检测算法[J].计算机应用，2009，29（6）：227-230.

[13]邓宇，李振波，李华.图切割支持的融合颜色和梯度特征的实时背景减除法[J].计算机辅助设计与图形学学报 ，2006，18（11）：1741-1747.

[14]张旗，梁德群，樊鑫等.基于小波域的图像噪声类型识别与估计[J].红外与毫米波学报，2004，23（4）：281-285.

作者简介

张小骏（1964-），男，西安电子科技大学计算机学院博士研究生。主要研究方向为视频智能监控。

作者单位

西安电子科技大学计算机学院 陕西省西安市 710071