基于LBP纹理分析的视频车辆检测研究

摘要：视频交通事件检测与处理技术在智能交通领域中的应用研究已在学术界和工业界引起了广泛关注。作为视频交通事件检测技术的基础，车辆检测也已成为研究热点。该文主要研究在车辆检测过程中出现的车辆检测不完整，特征信息提取不完全等情况，研究利用LBP算子进行区域生长方法，使得不完整的车辆区域按照LBP纹理方向扩展，从而获得较完整的车辆目标。实验结果表明该算法能够有效进行区域生长，检测车辆的完整度有较大提高。

关键词：LBP；视频车辆检测；区域生长

中图分类号：TP18文献标识码：A文章编号：1009-3044(2011)19-4644-03

Video Detection Based on LBP Texture Analysis

MA Xiao-Fen, ZHU Jian, ZHANG Wei

(School of Computer Science and Telecommunication Engineering, Jiangsu University, Zhenjiang 212013, China)

Abstract: Video traffic incident detection and processing has attracted wide attention in both academic and industry in the field of intelligent transportation. As the base technology of video detection and processing, vehicle detection has become the research focus. Commonly the vehicles are detected incompletely and thus the features are not extracted exactly. The LBP texture operator is used here to achieve the vehicle region growing to make the incomplete vehicle region expand to the direction of regions with similar LBP texture. Experimental results show that the algorithm can fulfill the vehicle region growing effectively and the integrity of vehicles has improved greatly.

Key words: LBP; video vehicle detection; region growing

随着经济快速的发展，城市交通拥堵日益严重、事故频发。为提高道路的通行能力，合理调节公路网的交通流分配，减少交通事故的发生以及其带来的损失，必须准确、快速地对交通异常和交通事件进行检测。近年来，随着数字图像处理、模式识别等计算机技术的飞速发展，应用视频进行交通事件检测逐渐成为研究热点[1]。视频交通事件检测系统的基本工作流程是通过道路上监控摄像机将道路交通运行状况的视频图像捕捉下来,再将图像实时送入计算机进行处理和分析，得到交通状况等信息,通过对交通状况的分析检测出是否有交通异常事件。其中，运动车辆的自动检测是视频交通事件检测系统的基础，这是因为只有准确地从视频或图像中提取运动目标，才能为后续检测交通拥堵，违章等异常事件提供帮助。

目前可以采用帧差法、背景差分法、光流法等多种方法提取车辆目标。所谓背景差法[2]是对视频背景建立模型，选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像和背景图像相减，进行背景消除。通过设定阈值来判定监视场景中是否有运动物体，从而得到运动目标。而帧差法[2]是利用视频前后两帧相减，得到两帧图像亮度差的绝对值，判断图像序列中有无运动的目标；光流法[3-5]是采用运动目标随时间变化的光流特征来检测运动对象，光流不仅包含了被观察物体的运动信息，而且携带着有关景物三维结构的信息，使用光流法检测独立运动的对象，不需要预先知道场景的任何信息，并且可用于摄像机运动的情况。

使用以上方法存在以下问题：1)车辆在尺度、位置、方向上的变化。例如进入视野的车辆具有不同的速度，在形状、大小、颜色等方面都会产生变化。2)车辆的外观受车辆的观察角度和邻近物体的影响。同时，车辆之间的遮挡、光照条件的改变也会对车辆的外观造成一定影响。3)道路两边的场景在持续变化，环境光照随时间和天气改变。

这些问题使运动车辆的自动检测不够准确，存在同一车辆被分成若干区域的问题，因此需要使用一些区域生长方法将提取的区域发展成更大更完整的区域。区域生长是指根据同一物体区域内像素的相似性质来聚集像素点的方法，从初始区域（如小邻域或甚至于每个像素）开始，将相邻的具有同样性质的像素或其它区域归并到目前的区域中从而逐步增长区域，直至没有可以归并的像素点或其它小区域为止。该文在以上分析的基础上，采用基于LBP(Local Binary Pattern，局部二值模式)[6]纹理分析的方法检测视频车辆，首先粗略的检测出运动车辆的部分区域，然后经过LBP纹理分析得出这部分区域的LBP直方图，再根据车辆的运动方向逐步扩展，进行车辆目标的区域生长，进而得到比较完整的车辆目标。实验证明，该方法可以有效解决运动车辆检测不够准确的问题，提高车辆检测的效率。

1 基于LBP纹理分析的视频车辆检测

LBP最早由Ojala[7]等人提出来的，它从一种纹理局部邻近区域定义中衍生出来，是一种灰度范围内有效的纹理描述算子，可以对灰度图像中局部近邻的纹理信息进行提取和度量。近几年LBP算子已经广泛运用到运动目标检测和纹理分类等诸多领域。在视频车辆领域中引入LBP纹理分析，可以大幅度提高运动车辆检测的准确性和车辆检测的效率。

基于LBP纹理分析的视频车辆检测系统过程如下：先在视频内截取若干帧图像；选择一定间隔的视频帧，做差分处理，初步得到运动车辆区域；接着对种子区域做微量的扩张，得出新的区域，对新的区域用LBP算子计算，获得其LBP直方图，并保存作为匹配的种子特征使用，然后分析车辆的运动方向，确定生长的模式，对种子区域做微量的扩张，再次做LBP计算，得出结果，如果匹配就输出新的区域；不匹配则继续生长，直至匹配或者直接放弃该次生长，重新选定生长的模式再次实验，如果多次多种方式生长均不成功，则放弃该区域的操作。

基于LBP纹理分析的视频车辆检测大致分为初步车辆检测，LBP纹理分析，区域生长三个模块。各个模块的详细介绍如下：

1.1 初步车辆检测

初步车辆检测的目的是尽可能的从视频帧中经过一系列的图像处理提取运动车辆，其中最关键的一个步骤是利用帧差法，得到两帧图像像素差的绝对值，初步提取运动车辆区域。

帧差法是视频中检测移动目标最简单直观的方法，其在视频片段中固定间隔的两帧之间计算像素绝对差，该差值大于一定阈限的像素就认为是运动物体可能存在的区域：

其公式应用如下：

(1)

(2)

式中：Gi,i-1(x,y)为像素点(x,y)处相邻帧的像素差值；Ii(x,y)和Ii-1(x,y)分别为第i帧和第i-l帧在像素点(x,y)处像素值；i表示帧数(i=l,2,…,N)；N为序列总帧数；th为阈值，值为0。

这种简单直观的方法有时十分有效，但在更复杂的应用环境下并不能获得期望的效果。这主要是由于视频中各帧之间的差异不仅来源于运动的物体，还可能来源于很多别的因素，所以在该文中还使用LBP纹理分析，进行进一步处理以获得更好的效果。

1.2 LBP纹理分析

经过初步的运动车辆检测，已经获得了运动车辆的大体区域，为了车辆检测系统更好的完成车辆检测，就需要使用区域生长算法。该文使用LBP进行区域生长。LBP是一种优秀的纹理特征描述算子，它将一幅图像中各个像素周围的像素与中心像素做差，并将差值表示为一个二进制数列。

计算LBP的具体步骤[8]如下：

1）在原始图像上逐个取以c为中心的n×n（在该文中n的值取3）像素窗口，设gc是中心像素，gp是其周边像素（如果窗口为3×3像素则p=0,1,…,7）；

2）比较gp与gc，并用Sp表示比较结果，如果gp＜gc,则Sp=0，否则Sp=1，如式3：

(3)

3）对c的周边像素依次取权重为2p，

4）计算：

(4)

5）再计算式5，得到此像素窗口的LBP值

(5)

重复步骤1～4，计算出原始图像上所有窗口的LBP值，最终得到了一块运动车辆区域的LBP图像，此图像描述了LBP纹理的空间特征，其像素值的分布范围为0～255。

图1 LBP计算过程示例

如图1所示，(a)为按照LBP计算步骤1取出的一块以像素值6的像素点为中心取得的的3*3的像素窗口；(b)中各个格子显示的值为(a)中的像素窗口进行LBP计算步骤2后得出的对应的sp；(c)中显示的是按照LBP计算步骤3得出的每个格子对应的二进制权重2p；(d)中显示(a)中对应格子计算得出的权重2p和标识sp的乘积，即g'p，如LBP计算步骤的4；进行以上操作后可以计算LBP值，BP=1+8+32+128=169， 如LBP计算步骤的5。

在得到运动车辆的LBP分析结果后，统计LBP图像的像素值分布，可以得到这一块车辆区域的二维直方图，这个直方图不仅描述了这一块区域的纹理的空间分布，而且描述了纹理的反差，在纹理描述上有很强的实用性，在做了以上工作后可以对区域进行区域生长操作。

1.3 区域生长

对初步提取的运动车辆进行区域生长就是一个迭代的过程，不断使用LBP直方图进行匹配判断，区域扩展，这一步的具体过程如图2所示，首先对原有的检测出的区域做基于LBP的特征直方图分析，得出原有区域的LBP特征值，设定扩张次数，为简单起见本实验设为三次，其次在原有的检测出的区域内，随机取出一点生长起始点像素。计算扩张区域的LBP特征值，得扩张区域的LBP特征值，比较原有区域和扩张区域的LBP特征值，特征值匹配度绝对值为1则完全匹配，本次试验取0.85。如果特征值匹配度大于0.85则认为匹配并退出区域生长，不匹配继续扩张。在本实验中最多按照不同幅度扩张三次，三次不匹配就放弃区域的区域生长，并认为原区域和扩张区域不相关。

2 实验结果

本实验在Windows xp 下，使用Matlab2009b进行编码与测试，在原始图中选取了长为30秒（共720帧）的片段截取视频帧进行测试，测试结果如图3所示。

其中，(a)为原视频中的灰度图片；(b)为差分后的二值图像，(c)为初步处理后截取出来的车辆，(d)为进过LBP纹理分析之后截取的车辆。红色框代表初步检测得到的车辆区域，黄色框代表经过基于LBP纹理分析的区域生长后得到的车辆区域，由上面对比图可知，基于LBP的区域扩展可以较好地做到实现检测车辆的准确性。

3 总结

该文采用基于LBP纹理分析的视频车辆检测，首先利用帧差法初步得到运动车辆区域，然后利用LBP描绘图像纹理信息，并根据LBP纹理分析得出的直方图进行整体匹配，进而得到比较完整的运动车辆区域。通过实验证明，该方法能够有效解决运动车辆区域检测不完整的问题，为视频交通事件检测提供了有效的数据基础，具有较大的实用价值。

参考文献：

[1] 陆化普,史其信.智能交通系统发展趋势与我国的发展战略[C]. 97'北京智能交通发展趋势国际学术研讨会论文集,北京:人民交通出版社,1997.

[2] 张瑞娟.基于视频图像的运动目标检测与跟踪算法研究[D].大连理工大学,2008.

[3] 赵世.基于序列图像的运动目标检测和跟踪算法研究[D].北京:北方工业大学,2006．

[4] SMITH S M,BRADY J M.ASSET-2:real-time motion segmentation and shapetracking[J].IEEE Trans on Pattern Analysis and MachineIntelligence,1995,17(8): 814-820.

[5] ALVARZE L,WEICKERT J .Reliable estimation of dense optical flow fields with large displacements[J].Computer Vision,2000,39(1):41-56.

[6] Ojala T,Pietik?inen M,Topi M?enp?? .A Generalized Local Binary Pattern Operator for Multiresolution Gray Scale and Rotation Invariant Texture Classification.Machine Vision and Media Processing Unit Infotech Oulu,University of OuluP.O.Box 4500, FIN - 90014 University of Oulu,Finland.

[7] Ojala T,Pietikainen M D Harwood.A comparative study of texture measure with classification based on feature distribution[J].Pattern Recognition,1996,29(1):51-59.

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文