基于粒子群优化的复杂交通监控车辆检测与跟踪

摘 要： 城市交通监控视频的背景与前景变化均极为剧烈，导致交通监控对车辆的检测与统计准确率较低，对此，提出一种基于车辆空间移动特点与粒子像素聚类的车辆检测与跟踪方案。首先，基于高斯混合模型将权重与标准偏差比例较高的部分选为背景，由此实现前景区域的提取，同时，使用二值遮挡技术对提取的前景边缘进行优化处理；然后，提取前景区域的部分粒子，对粒子进行聚类处理，结合粒子的空间位置与移动向量来提高粒子的聚类准确率；最终，由于同一粒子簇可能为两个运动形式接近的多辆车组成，针对粒子簇的轴线等参数设置了限制条件，从而判断是否为同一车辆。对车辆的追踪则基于连续帧之间相同粒子簇的相似率比较实现。对比试验结果表明，该算法在剧烈变换的背景条件下具有较高的车辆检测准确率，错误率较低，优于其他同类型算法。

关键词： 城市道路交通； 高斯混合模型； 前景遮挡； 聚类； 车辆追踪

中图分类号： TN820.4?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2016）14?0106?06

PSO?based vehicle detection and tracking in complex traffic monitoring

WANG Qingfen， SUN Xiuting， FAN Wei

（Department of Electrical Engineering， Shijiazhuang Tiedao University Sifang College， Shijiazhuang 051132， China）

Abstract： Since the traffic monitoring to vehicle detection and statistics has low accuracy due to the violent background and foreground variation of city traffic monitoring video， a vehicle detection and tracking scheme based on vehicle spatial displacement characteristic and particle pixel clustering is proposed. The sections with high proportion of weight to standard deviation are selected as the background on the basis of Gaussian mixture model to extract the foreground region， at the same time， the binary occlusion technology is used to optimize the foreground edge. And then， the part particles of the foreground region are extracted for clustering processing， and the clustering accuracy rate is improved in combination with the spatial position and motion vector of the particles. Since a particle cluster could be composed of vehicles with two similar motion modes， the limiting condition is set according to the particle cluster axis and other parameters to judge whether the particle cluster refers to the same vehicle. The vehicle was tracked based on the similar rate comparison of the same particle cluster between the continuous frames. The contrast test results prove that the proposed algorithm has high vehicle detection accuracy and low error rate in violent transform background situation， and is better than other same algorithms.

Keywords： city road traffic； Gaussian mixture model； foreground occlusion； clustering； vehicle tracking

0 引 言

城市交通监控系统具有监控道路安全、车辆追踪以及优化交通拥堵等重要作用。而车辆识别是交通监控的关键技术，尤其，城市交通监控的背景变化剧烈，普通车辆识别技术对于城市车辆识别性能较为一般。目前已有一些针对城市或高速交通视频监控的研究[1?6]，其利用前景遮挡等方案来降低变化剧烈的背景对识别性能的影响。其中文献[1?3]利用稀疏编码与片段采样的方案获得了较好的车辆检测效果，文献[4?6]使用纹理分析等方案对车辆进行了分类处理，获得了较好的效果。

本文针对城市变化剧烈的道路交通视频监控系统，提出了复杂背景的车辆检测与追踪算法，首先基于高斯混合模型将权重与标准偏差比例较高的部分选为背景，由此实现了前景区域的提取，同时，使用二值遮挡技术对提取的前景边缘进行优化处理。然后提取前景区域的部分粒子，对粒子进行聚类处理，结合粒子的空间位置与移动向量来提高粒子的聚类准确率。最终，由于同一粒子簇可能为两个运动形式接近的多辆车组成，针对粒子簇的轴线等参数设置了限制条件，从而判断是否为同一车辆。对车辆的追踪则基于连续帧之间和相同粒子簇的相似率比较获得。对比试验可看出，本算法对城市交通剧烈变换背景下的车辆识别正确率较高，优于已有的一些同类型算法，同时本算法由于仅选取目标的部分粒子进行计算处理，因此计算效率也较高。

1 本文算法

1.1 本算法总体流程

如图1所示为本算法的流程框图。

1.2 监控视频的前景分割

为帧像素建立高斯混合模型（GMM），假设前景代表移动目标，且前景与背景区域的颜色不同。GMM自适应地更新并处理非静态背景的光照与位置变化。

将帧的像素颜色表示为一个依赖时间的向量[Xi，t={Ri，t，Gi，t，Bi，t}]，时间[t]时，将像素[i（x0，y0）]的颜色概率建模为k个独立的混合高斯分布，则时间间隔[1，t-1]中，像素颜色出现概率可表示为：[Xi，1，Xi，2，…，Xi，t-1=I（x0，y0，j）：1≤j≤t-1]，其中[I]表示视频序列。在时间t时，像素i出现给定颜色的概率为：

式中，[ωi，t，k]，[μi，t，k]，[∑i，t，k]分别表示第k个混合高斯分布各分量的权重、均值向量与协方差矩阵，即：

若将协方差矩阵简化为[∑i，t，k=σ2I]，则协方差可表示为[∑i，t，k=diagσ2Ri，t，kσ2Gi，t，kσ2Bi，t，k]，其中，[σ2Ri，t，k]，[σ2Gi，t，k]，[σ2Bi，t，k]分别表示时间t时、第k个GMM的RGB三色方差。

背景建模：将GMM分量按其权重与标准偏差的比例进行降序排列：[ωi，t，kordσi，t，kord]。因此，按照式（2），将排名最前的[ktop]个GMM分量选为背景模型。

将像素与上述[ktop]个CMM分量进行颜色匹配，选择“匹配”的像素作为背景。“匹配”则定义为：对于像素三个颜色分量，其与GMM分量均值[μi，t，k]的标准偏差小于阈值[τRGB][（τRGB=2.5）]。若像素的三色与[ktop]个CMM分量不匹配，则将其分为前景像素[7]，如下：

式中，[Tbackground]表示从[ktop]个CMM分量中选择少量分量代表背景的阈值[8]。

若像素的RGB三色与k个分量匹配，则匹配分量的权重、均值与方差按如下两步进行更新：

（1） 时间t-1时的匹配分量权重[ωi，t-1，k]更新如下：

式中，[α]表示学习速度，其均值向量与方差矩阵更新方法如下：

式中，参数[ρ]表示学习速度，定义为：

（2） 保留未匹配分布的参数，因此[μi，t，k=μi，t-1，k]，[∑i，t，k=∑i，t-1，k]，其权重更新如下：

若k个分量中无一分量与当前像素RGB三色匹配，则用[Xi，t]颜色分量的均值代替可能性最低的GMM分量的均值，并为其设置起始高方差与低权重值。

本文采用二值移动能量图像（MEI）产生前景的时间信息。MEI通过前景像素的开关来实现像素的二值遮挡，该MEI二值遮挡有助于描述移动目标的形状与轨迹。设[Ig（x，y，t）]表示一个灰度帧序列，[D（x，y，t）]表示前景区域的二值帧序列，表示为：

式中：x与y表示时间t与t+1时帧中像素坐标；Tb表示阈值（本文设为[Tb=35]）。二值MEI遮挡[Eτ（x，y，t）]则定义为在时间间隔[[t，t+τ]]中的二值[D（x，y，t）]序列联合体：

式中，[τ]表示二值MEI遮挡[Eτ（x，y，t）]的序列长度。

如图2（a）、图2（b）所示为使用GMM像素分类与二值MEI算法所得结果图，同时使用形态学操作对[FM（x，y，t）]遮挡的区域进行优化处理，如图2（c）所示，可看出图2（c）比图2（a）的检测更准确。

上述前景遮挡方法具有一个重要优点，其产生的粒子的计算效率较高，计算复杂度较低。本文使用最小特征方法检测出的粒子结果图如图3所示。

对每个粒子区域，计算帧[I（x，y，t）]与[I（x，y，t+1）]之间的移动向量。将以粒子[u（x，y，t）]为中心的窗口与以粒子[u（x，y，t+1）]为中心的窗口进行比较，该移动向量表示了像素在x与y方向的移动距离。在最小化成本函数下，获得每个粒子的移动向量：

式中：[p，q=-N，-N+1，…，N-1]，N表示当前方块C的偏移（N×N）；R表示帧[I（x，y，t+1）]中的搜索方块；[x]，[y]表示方块C的像素坐标。矩阵E包含平均绝对差，将p与q的平均绝对差最小化，从而计算方块C与R之间的移动向量。

1.3 粒子分簇与车辆识别

1.3.1 粒子簇聚类

本文使用K?means算法对粒子集进行分簇，同时考虑粒子的空间位置与移动向量来提高其分类准确率。

设[Nmin]为与前景区域（车辆）相关的粒子集最小个数，本文对于320×240大小的视频帧，将其设为[Nmin]=8。

将视频帧中检测粒子的总数量设为[Nparticles]，该帧的最大分簇数量定义为[clustermax=NparticlesNmin]。然后，使用K?means算法迭代地更新分簇数量（1～[clustermax）]获得粒子的分簇，每轮迭代中，计算每个粒子与其对应质心距离的总和，若两次迭代“粒子?质心”距离的总和差异小于阈值[TDiff]（本文设[TDiff]=0.1），则结束迭代过程。因为本文试验中，使用余弦度量获得了最准确的粒子集分类结果，所以本文使用余弦度量来测量“粒子?质心”距离：

式中，[u]代表粒子，粒子包含4个分量：其空间位置（x与y）、移动向量（[Δx，Δy]），移动向量表示粒子沿x，y轴方向移动的像素数量；[c]表示粒子集的质心。每轮迭代的距离之和计算如下：

式中：[clusterk]表示每轮迭代的簇数量；n表示簇[Qi]中粒子数量。两轮连续迭代的总距离差值定义为：

[Diff=SDclusterk-1-SDclusterk]

使用轮廓法来检查每个粒子分簇的合理性：

式中：[Silh（u）]表示粒子[u]的剪影值；[a（u）]表示粒子[u]与其他同簇粒子的平均距离；[b（u）]表示从[u]至其最近邻簇的最小距离。若[Silh（u）

1.3.2 粒子簇分割

由于同簇的粒子并非一定为同一车辆，可能是两辆位置与速度均接近的车辆，因此，需考虑两种情况：

（1） 使用前景遮挡（FM）来判断两个不同的粒子簇[Qi]与[Qj]是否同一车辆；

（2） 粒子簇[Qi]基于前景遮挡信息是否可分割为两个车辆。如图4所示为粒子簇分割过程实例图。

离子簇分割过程解释为：对于粒子簇[Qi={ui1，ui2，…，uin}]，若[Qi]应该被分割，则[i={1，2，…，nc}]，其中{[ui1，ui2，…，uin]}代表簇[Qi]的粒子，nc表示簇的总数量。设粒子簇[Qi]的凸包为[Chull=convex_hull（Qi）]，背景区域为[BA=Chull-（Chull?FM）]且[BA?Chull]，并且前景遮挡（FM）中不含该凸包[Chull]。若[#{BA}#{Chull}]>[Tsplit]（本文设[Tsplit]=0.15），则[Qt+1j=（Qti）′]，[Qt+1j+1=Qti-（Qti）′=（Qti）″]，j={1，2，…，[nc′]}，其中[nc′]>nc，[#{BA}]与[#{Chull}]分别是BA与[Chull]中的像素数量。对[Qti]中粒子进行K?means聚类将其分为[（Qti）′]与[（Qti）″]两部分。因此，若[Chull]中大于15%的区域未被检测为FM中的前景目标，则使用K?means聚类将簇[Qi]分割为两部分（如图4（b）所示）。

1.3.3 粒子簇修改

粒子簇修改与粒子簇分割过程相似，如图5所示为粒子簇修改过程实例。

对簇[Qi]与[Qj]进行成对测试来判断是否需对其进行修改，其中[i={1，2，…，nc-1}]，[j={i+1，2，…，nc}]，[i≠j]。首先，检查[Qti]与[Qtj]质心的欧氏距离是否小于其粒子与本簇质心距离的最大值，有：

式中：[DE（Qti，Qtj）]表示两个质心的欧式距离；[ci]表示质心；[maxdistance（ui，ci）]表示粒子[ui]与其质心[ci]的最大距离，[maxdistance（uj，cj）]与其同理；[u=u1，u2，…，un]表示簇Q中的粒子集。

若[Qti]与[Qtj]满足式（14），则需第二个条件来判断簇是否需修改。设[Chull=convex_hull（Qti?Qtj）]为包含所有粒子[Qti?Qtj]的最低凸包，如图5（b）中灰色部分，且[FA=Chull?FM，FA?Chull]为前景遮挡（FM）的前景目标（如图5（c）中白色部分，中间的灰色部分为背景）。

若[#{FA}#{Chull}>Tmerge]（本文设[Tmerge]=0.85），则[Qt+1max（i，j）=Qti?Qtj]且[Qt+1min（i，j）=?]，其中[max（i，j）]与[min（i，j）]分别表示i与j之间的最大与最小序号。[#{FA}]表示前景区域像素的数量，[#{Chull}]表示[Chull]区域像素数量。上述内容解释为：若FA占[Chull]区域85%，则将[Qti]，[Qtj]修改为单簇（如图5（d）所示）。

1.4 车辆检测

设粒子簇为[Qi]，[i={1，2，…，nc}]，nc为粒子簇总数量，为了判断簇[Qi]是否为一辆车，进行如下检查：设[Chull=convex_hull（Qi）]表示包含所有[Qi]粒子的最小凸包，如图6（b）所示，[Cdilated=NEIG（uij）B]表示粒子集[uij]（j={1，2，…，n}）的邻居，将簇[Qi]扩展为圆形结构元素B（本文将B的半径设为5，如图7（e）所示，[Amajor=major_axis（Chull）]与[Aminor=minor_axis（Chull）]分别为[Chull]区域的最大与最小轴线长度（如图7（f）所示）。[FAint=Chull?FM]表示[Chull]与[FM]的交叉区域，如图7（c）所示。[FAext=FM-Chull]表示[Chull]区域外部的前景部分，如图7（d）所示。对上述条件检查结果进行计分统计：若满足其中一个条件，则将分数加1；若不满足，则减1。将判断粒子集是否为一个车辆的条件总结如下：

最终，若条件判断的总积分高于0，则[Qi]表示车辆，并将[Qi]表示为[Vi]。

1.5 车辆跟踪

上文已成功识别车辆（[Vi]），以每个粒子为中心建立大小（9×9）的窗口，并为该窗口像素计算其颜色直方图，然后比较该粒子时间t与t-1两个直方图的相似性。本文将静止车辆与移动车辆区别处理：

静止车辆跟踪：通过分析[Vi]的粒子移动向量判断其是否静止，若为静止车辆，则直接将当前帧的前景区域复制至下一帧，从而无需再次检查静止车辆的前景部分，提高了计算效率。移动车辆跟踪：设[Vt-1i={ut-1i，1，ut-1i，2，…，ut-1i，npp}]是与[Vi]对应的上一帧（时间t-1）粒子集，[Vti={uti，1，uti，2]，…，[uti，npc]表示当前帧（时间t）的粒子集，式中i={1，2，…，nv}，其中nv为检测车辆的数量，npp与npc分别表示[Vt-1i]与[Vti]的粒子个数。获得时间t-1帧的9×9窗口，表示为：[Wi，p=window（ut-1i，p）]，时间t的窗口表示为：[Wi，c=window（uti，c）]，其中p={1，2，…，npp}且c={1，2，…，npc}。

将上述图像窗口的8 b RGB三色分量重新量化为3 b三色分量，共可组成512种颜色。然后可获得上一帧中每个窗口的归一化颜色直方图，表示为：[Hi，p=hist（Wi，p）]，当前帧的对应窗口则表示为[Hi，c=hist（Wi，c）]。然后将[Hi，p]与[Hi，c]使用巴氏系数[9]进行比较，如式（17）所示：

式中：[Hi，p]与[Hi，c]分别表示上一帧与当前帧图像窗口的直方图；L表示直方图中bin的数量。本文定义若相似度高于0.8，则认为两帧的粒子保持不变。

本文将相似度[shist（Hi，p，Hi，c）

式中[uk]代表重叠区域的粒子；[μu]是粒子集T中所有粒子的算术平均值；S是粒子集T的协方差矩阵。

2 实验结果与分析

本文目标是对城市监控中的车辆进行计数与跟踪，同类型的研究包括文献[1，5，10，11]。使用智行南京软件公司提供的6段城市不同路段的监控视频，视频帧大小均为320×240，25 f/s。如图8所示为车辆跟踪过程实例。

使用上述几个方案对相同的监控视频进行计数处理，文献[10]算法结合背景消除、粒子跟踪以及聚类算法实现了车辆检测，与本文方案接近；文献[1，3，5，11]算法与本算法相差较大，但均获得了较好的检测准确率。上述算法与本算法的目标一致，且均为近期提出，因此，将其与本算法进行比较。使用上述不同算法分别对6个城市交通监控视频进行处理，对视频中经过的车辆进行跟踪与计数，统计结果如表1所示。将检测的车辆数量按照经过视频监控中总车辆形式进行结果统计。将未被成功检测的车辆数量用FN表示，将被重复计数的车辆用FP表示（表示了一个车辆被识别为多个目标，对每个目标均进行计数）。

本算法的FN+FP数量为95，实际经过车辆个数为1 081辆，而其他算法的技术结果FN+FP值明显大于本算法。可看出文献[5]的FN与FP数量接近，说明其性能比较均衡，但同时其两种错误数量均高于其他算法。文献[1]的FP数量略低于本算法，但其FN则为本算法的两倍以上，其总错误为151，高于本算法。而其他几种算法的错误均高出本算法较多，从中可看出，本算法的优势。

3 结 语

本文针对城市变化剧烈的道路交通视频监控系统提出了车辆识别正确率较高的算法，并获得了较好的车辆追踪效果。使用二值遮挡技术对提取的前景边缘进行优化处理。提取前景区域的部分粒子，对粒子进行聚类处理，结合粒子的空间位置与移动向量来提高粒子的聚类准确率。同时由于仅计算前景部分的部分粒子，因此计算效率较高。

参考文献

[1] NIETO M， UNZUETA L， BARANDIARAN J， et al. Vehicle tracking and classification in challenging scenarios via slice sampling [J]. EURASIP journal on advances in signal processing， 2011（1）： 1?17.

[2] 李明之，马志强，单勇，等.交通监控中运动目标轨迹的距离计算和聚类[J].计算机工程与设计，2012，33（6）：2417?2422.

[3] MEI X， LING H B. Robust visual tracking and vehicle classification via sparse representation [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（11）： 2259?2272.

[4] LEONE A， DISTANTE C. Shadow detection for moving objects based on texture analysis [J]. Pattern recognition， 2007， 40（4）： 1222?1233.

[5] CHEN Z， ELLIS T， VELASTIN S A. Vehicle detection， tracking and classification in urban traffic [C]// 2012 15th IEEE International Conference on Intelligent Transportation Systems. Anchorage： IEEE， 2012： 951?956.

[6] JAZAYERI A， CAI H， ZHENG J Y， et al. Vehicle detection and tracking in car video based on motion model [J]. IEEE transactions on intelligent transportation systems， 2011， 12（2）： 583?595.

[7] KAEWTRAKULPONG P， BOWDEN R. An improved adaptive background mixture model for real?time tracking with shadow detection [M]// Anon. Video?based surveillance systems. US： Springer， 2002： 135?144.

[8] STAUFFER C， GRIMSON W E L. Adaptive background mixture models for real?time tracking [C]// Proceedings of 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado： IEEE， 1999： 2246?2250.

[9] COMANICIU D， RAMESH V， MEER P. Real?time tracking of non?rigid objects using mean shift [C]// Proceedings of 2000 IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island： IEEE， 2000： 142?149.

[10] BOUVIE C， SCHARCANSKI J， BARCELLOS P， et al. Tracking and counting vehicles in traffic video sequences using particle filtering [C]// Proceedings of 2013 IEEE International Conference on Instrumentation and Measurement Technology. Minneapolis： IEEE， 2013： 812?815.

[11] SANCHEZ A， SUAREZ P D， CONCI A， et al. Video?based distance traffic analysis： application to vehicle tracking and counting [J]. Computing in science & engineering， 2011， 13（3）： 38?45.