基于视频的人数识别方法综述

摘要：基于计算机视觉的人群行为分析是一个非常活跃的研究领域，视频人数统计是人群行为分析的一个重要内容。本文对视频人数识别近年来的发展作了比较详细的论述，从基于特征点跟踪、基于区域的跟踪和基于模板匹配的跟踪三个方面分析近些年人数识别进展情况。文章通过对各种不同识别算法思想的研究，对当前该研究方向上亟待解决的问题做了比较详细的分析，并对未来人数识别的指出了一些改进方法。

关键词：计算机视觉；跟踪算法；综述；人数统计

中图分类号：TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2013.03.003

0 引言

计算机视觉作为一门多学科的交叉领域，涉及图像处理、计算机图形学、模式识别、人工智能、人工神经网络、计算机、数学、心理学、生理学和物理学等。本文是对视频人数统计技术的综述，属于智能视频监控范畴。

由于智能视屏监控的挑战性以及其巨大的应用价值，越来越多的学校、研究所以及公司的研究人员投入到该领域中来。麻省理工学院、卡内基梅隆大学以及其他国外著名大学成立了专门的计算机视觉及多媒体方向的实验室；Nice和Object video等公司已经针对飞机场、国界线等应用场合开发了一些相应的智能监控系统。国际上的高级视频和录像（Advanced Videoand Signal-Based Surveillance）论坛每年都会举办PETS（Performance Evaluation of Tracking Systems）会议专门针对于人群行为分析，包括群体人数统计，人流密度估计；对单个人员以及群体中个体进行跟踪；特殊群体和特殊事件检测等。本文主要针对视频人数识别这个研究方向，从基于特征点、颜色与形状信息、模板匹配三种不同类型识别跟踪方式分析了近些年来国内外的研究工作及最新进展，通过对各种不同识别方法比较，对当前亟需解决的问题做了详细的分析。

1 人数识别研究现状

人数统计算法融合了运动物体检测、行人检测与分割、形状分析、特征提取和目标跟踪等多个领域的技术。从采用的手段来讲可以分为直接法和间接法：直接法（或称基于检测的），即首先在场景中检测出每个行人，再计数。第二种称为间接法（也称为基于映射或基于度量的），一般是建立场景特征与行人数量的函数关系来测算人数。在行人高度密集的场景中，间接法比直接法更加可靠，主要因为直接法无法有效分割每个行人，特别是在行人高度密集的场景中，从20世纪90年代起到目前为止这近20年里，出现了众多的视觉跟踪算法，1988年，Aggarwal和Nanadhakumar对运动图像分析算法进行了总结，将算法分为两类，一类是基于光流法的分析，另一类是基于特征点的分析，此后在视觉跟踪领域中，又出现了许多新的方法，目前，视频中人数的跟踪方法大致分为三类，分别是基于区域的跟踪、基于特征点的跟踪、基于模板和模型的跟踪，这种分类方法概括了目前大多数视觉跟踪算法，因此下面用这种分类方法对视觉跟踪算法进行介绍。

1.1 基于特征的人数识别

基于特征的人数跟踪算法选取目标的某个或某些局部特征作为相关时的对象，这种算法的优点在于即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务，另外，这种方法与卡尔曼滤波器联合使用，也具有很好的跟踪效果。这种算法的难点是：对某个运动目标，如何确定它的唯一特征集？这也是一个模式识别问题，若采用特征过多，系统效率将降低，且容易产生错误，文献对这一问题进行了讨论，在特征提取时，一般采用Canny算子获得目标的边缘特征，而采用SUSAN算子获得目标的角点信息。有关基于特征的跟踪算法还可参见文献。在2009年，Albiol使用角点个数作为场景特征来估测人数，首先通过Harris角检测器检测出图像角点，然后进行角点匹配以区分人身上的角点和背景角点，Albiol认为每帧总人数与人身上角点的个数成正比例关系，以此估测人数，算法虽然简单，但在PETS 2010“人数统计与密度估计”竞赛中取得优胜。2010年，Conte等“”基于Albiol的方法提出改进。采用的SURF（Speed up Ro.bust Feature）特征点以代替角点，同时，Conte等不仅考虑到特征点个数对人数估测的影响，还考虑到透视投影（拍摄距离d）密度人群遮掩（特征点密度p）对于估测的影响，同时对所有SURF点进行分组回归以提高精度，在这个基础上张茂军等相比Conte等的研究成果在处理远距离人群上精度提高，主要因为使用“非最大抑制聚类”——对不同拍摄距离的人群采取不同的聚类标准，有效解决远距离人群的类过大问题，提取人身上特征点的方法是在掩模上直接检测特征点，使得特征点个数更加稳定，有利于SVM预测。

1.2 基于区域的人数识别

基于区域的跟踪算法基本思想是：首先得包含目标的模板（Template），该模板通过图像分割获得或是预先人为确定，模板通常为略大于目标的矩形，也可为不规则形状；然后在序列图像中，运用相关算法跟踪目标，对灰度图像可以采用基于纹理和特征的相关，对彩色图像还可利用基于颜色的相关。

McKenna等首先利用色彩和梯度信息建立自适应的背景模型，并且利用背景减除方法提取运动区域，有效地消除了影子的影响；然后，跟踪过程在区域、人、人群三个抽象级别上执行，区域可以合并和分离，而人是由许多身体部分区域在满足几何约束的条件下组成的，同时人群又是由单个的人组成的，因此利用区域跟踪器并结合人的表面颜色模型，在遮挡情况下也能够较好地完成多人的跟踪。Marana等认为低密度人群在图像上体现出粗糙纹理特征，而高密度人群则体现出精细纹理特征。文献分别采用自组织理论和Minkowsld不规则维度理论从图像纹理特征预测人群密度。Lin等则结合Harr小波变换（HWT）和支持向量机（SVM）进行行人头部轮廓检测，从而达到人数统计的目的。文献利用颜色和形状信息实现人头的检测，包含两个步骤：黑色区域提取和形状分析。通过对HSV空间V通道的像素设置阈值这种方法有效地检测出黑色区域，同时可以少受光照变化和阴影的影响。使用一种基于形状描述的快速弧形结构提取方法实现人头检测。姬红兵等提出了一种基于局部特征的目标跟踪算法，通过多尺度分析方法，根据颜色和空间上的相似性将目标分割为多个区域，每个区域由一个团块表示，团块包含了该区域所有像素的颜色均值、形状和位置，根据团块特征构造目标的外观模型，定义团块的匹配准则，通过团块匹配进行目标跟踪。

1.3 基于模板匹配的人数识别

采用模板匹配识别跟踪方法首先将图像序列转换为一组静态形状模式然后在识别过程中和预先存储的行为标本相比较，

部分学者在运动前景提取的基础上使用了轮廓匹配方法对目标进行定位，文献使用了半圆模型搜索前景中人头肩所在位置，然后使用Snake模型与卡尔曼滤波相结合对目标进行跟踪目标，但Snake模型比较适合单目标的跟踪，当行人发生重叠时，定位精度会有一定的下降；在此基础上文献提出使用含有人harr特征分类器（使用头肩部上半身样本），对行人重叠情况下的检测精度有一定的提升。文献提出使用垂直摄像头降低行人之间的遮挡程度，通过对基于AdaBoost的人头检测本方法，建立一个良好的人头检测分类器。然后根据运动人头的特征去除误检区域。最后配合过线跟踪实现出入口人数统计。

2 视频跟踪问题中的难点

从上面的阐述可以看出，各种方法都有自己的优点和不足，是在文献基础上分析得到的几种具体识别方法的比较结果，由于各种方法在设定理想情况下都有较好的准确率，所以不对各种方法的准确率做出比较，而是从各种算法的复杂度、鲁棒性、先验知识需求、高密度复杂人群适应性（有遮挡出现）等方面进行相对的比较分析，分析结果如表1。

2.1 视觉跟踪问题中的难点

从控制的观点来看，视觉跟踪问题所面临的主要难点可以归结为对视觉跟踪算法在三个方面的要求，即对算法的鲁棒性、准确性和快速性。

鲁棒性是指视觉跟踪算法能够在各种环境条件下实现对运动目标持续稳定的跟踪。影响人数跟踪系统鲁棒性的最主要原因在于目标处环境的光照变化以及部分遮挡引起的运动目标不规则变形和全部遮挡引起的目标的暂时消失。当运动目标所处环境的光照发生改变时，采用图像灰度信息或色彩信息作为跟踪基础的视觉跟踪算法一般都会失效，而基于图像特征的方法往往不受光照改变的影响，如利用运动目标的边缘信息能有效避免光照变化对运动目标的影响，但在复杂环境中要将运动目标的边缘和周围其它目标边缘区分开来是非常困难的，遮挡问题是视觉跟踪算法中又一难点问题，利用单摄像机解决遮挡问题也一直是视觉跟踪领域中的热点。而利用多摄像机可以在很大程度上解决这一问题，但正如前所述，多摄像机的应用又会引入新的难题。

在视觉跟踪研究中，准确性包括两个方面，一是指对运动目标检测的准确性，另一个是指对运动目标分割的准确性，对运动目标检测准确性的目的是尽量避免运动目标虚检和漏检，从而提高对真实运动目标的检测概率。由于实际复杂环境中存在大量噪声。至今已经出现了上千种各种类型的分割算法，但由于尚无通用的分割理论，目前并没有一种适合于所有图像的通用分割算法。

一个实用的视觉跟踪系统必须能够实现对运动目标的实时跟踪，这就要求视觉跟踪算法必须具有快速性但是，视觉跟踪算法处理的对象是包含巨大数据量的图像，这些算法往往需要大量的运算时间，很难达到实时处理的要求，通常，简单算法能够实现实时跟踪，但跟踪精度却很差；复杂算法具有很高的跟踪精度，实时性却很差，一种通用的减小视觉跟踪算法运算量的方法是利用金字塔分解或小波变换将图像分层处理。

3 展望与结束语

3.1 展望

实现一个具有鲁棒性、准确性和快速性的视觉跟踪系统是当前视觉跟踪技术努力的方向。但视觉跟踪技术在这几个方面中每前进一步都是非常困难的，因为该技术的发展与人的感知特性的研究紧密联系在一起，由于目前对人的感知特性没有一个主流的理论，其数学模型更是难以建立。同时，在计算机视觉中大多数问题是不确定的，这就更增加了视觉跟踪技术发展的难度。但是，近几十年来，数学理论方面取得了巨大的进步，因此合理的使用在数学理论方面的知识提高系统的性能能够很好的解决视觉跟踪问题。例如现在已经应用在诸多领域的模糊算法，神经网络等提高系统性能，简化计算复杂度。

3.2 结束语

视觉跟踪问题是当前计算机视觉领域中的热点问题，本文对这一问题进行了详细的介绍，详细阐述了该技术的研究现状，介绍了其中的一些常用方法，为了清楚地对这些方法进行说明，对具体的视觉跟踪方法分为三类进行了介绍，分别是基于区域的跟踪、基于特征的跟踪、基于模板的跟踪。最后，从控制论的角度给出视觉跟踪算法所面临的难点问题，即算法要满足鲁棒性、准确性和快速性要求时所遇到的困难，同时还简要的对视觉跟踪问题的研究前景进行了展望。

本文着重选取了近十年来国内外在视觉跟踪技术方面的研究成果，从上百篇参考文献中选出30多篇文献，由于期刊文献具有更好的理论完整性，因此，在文献选择上更多地关注了期刊论文，通过本文对视觉跟踪技术的介绍，希望能对相关领域的研究人员和工程技术人员提供有益帮助。