基于骨架特征的人数统计

摘 要：

针对视频监控中行人在运动中将出现部分或严重遮挡的问题，提出了一种基于人体骨架特征的人数统计算法。首先，利用形态学骨架提取算法提取初始人体骨架图；然后，剔除骨架孤立点和骨架伪分支，得到最优人体骨架特征；最后，通过分析骨架的人头区域特征，建立人头检测响应规则，检测行人人头个数实现人数统计。实验结果表明，该算法能够解决视频监控人物相互之间部分遮挡和严重遮挡问题，针对相对稀疏的场景该算法人数统计准确率为95%左右。

关键词：

人数统计；人头检测；骨架特征；前景检测；检测响应规则

中图分类号：

TP391.41

文献标志码：A

People counting based on skeleton feature

Abstract：

Concerning the problem that pedestrians would be partially or seriously shaded by each other in video monitoring， this paper proposed a people counting algorithm based on human body skeleton feature. At first， the initial human skeleton was extracted by morphological skeleton extraction algorithm. Then the optimal skeleton feature was obtained by eliminating outliers and pseudo branches. Finally， this paper established a head detection response rule through analyzing the characteristics of skeleton in head areas to detect the head of pedestrian， and completed people counting by counting the heads of pedestrians. The experimental results show that the algorithm can solve the problems of partial and serious shading in video monitoring. For relatively sparse scene， the overall people counting accuracy rate of the algorithm is about 95%.

Key words：

people counting； head detection； skeleton feature； foreground detection； detection response rule

0 引言

在许多商业和公共领域，行人的信息有各种潜在的应用价值。目前国内外已有许多学者提出多种算法估计图像序列或监控视频中的人数，使得人数统计系统得到广泛的研究。其中，Chan等[1]针对高密度人群遮挡严重问题提出一种通过动态纹理分割出不同流向的人群，然后对人群分割中提取的28种特征采用高斯过程回归模型估计人数。但是这种算法不能估计出输入图像中人体的位置，准确率低且不能达到实时。Antonini等[2]提出了一种通过跟踪算法得到轨迹来进行人数统计；该算法适用场合有限，缺乏通用性，对于实际过程的处理非常困难。文嘉俊等[3]使用AdaBoost算法学习训练人头检测分类器，然后通过过线跟踪的方法统计进出口人流量。牛胜石等[4]结合AdaBoost和支持向量机（Support Vector Machine， SVM）训练人头检测分类器；但是该算法的离线训练过程繁杂，且训练的分类器的检测准确率不高。Thome等[5]采用三角剖分方法提取人体骨架特征，通过计算相邻骨架点连线与垂直方向的夹角估计人头位置实现人数统计；但该算法对前景目标的提取要求过高，难以达到自适应统计人数。

针对目前人数统计主流算法中存在的计算复杂度高和人体相互遮挡导致的准确率低问题，提出一种基于骨架特征的人数统计算法。

1 算法描述

在前期人数统计算法研究基础上，提出一种基于骨架特征的人数统计算法。改进人体骨架提取算法，建立人头检测响应规则，检测行人人头，实现人数统计。算法的主要流程如图1所示。

输入图像序列，通过混合高斯自适应背景建模获取背景和手动获取背景，两次背景减除得到前景，再进行前景融合实现前景检测。改进已有的骨架提取算法，剔除骨架孤立点和骨架伪分支，根据人头区域骨架特征建立人头检测响应规则准确检测人头，从而实现人数统计。

1.1 前景检测

首先采用Grimson等提出的改进混合高斯算法[6]。假定不同高斯分布代表不同的颜色，混合模型的权值大小代表这些颜色在当前场景中的时间比例，通过假定背景有B个可能的最高色彩来决定背景组成部分。每一个新的像素值与现有模型顺序检查匹配度，最先匹配的模型将进行更新，如果没有与之匹配的高斯分布，将创建一个以该点为均值、最大方差矩阵和小的权值的新高斯分布，从而实现自适应背景模型的建立。

然后通过已知背景进行背景减除。自适应背景建模得到的背景由于含有当前帧大量信息，背景减除得到的前景存在大量空洞区域。由手动得到的背景进行背景减除得到的前景噪声较多。将两次背景减除得到的前景进行融合得到较完整的前景目标。

1.2 骨架提取

在最大圆盘形态学骨架提取算法[7]的基础上，提取初始人体骨架，分析骨架特征，剔除多余的骨架孤立点和骨架伪分支，最后得到最优的人体骨架，为后续人头检测的准确率打下基础。基于形态学的骨架提取流程如图2所示。

1.2.1 骨架提取

针对人体前景目标，采用最大圆盘形态学骨架提取算法提取人体骨架。设X为R2上的离散二值图像，并且非空有界，D为图像X中的一个内切圆盘，即至少有2点与图像边界相切，如果D不是图像X内部任何其他圆盘的子集，则称为最大圆盘。此时，骨架可定义为图像内部所有最大圆盘圆心的集合。则X的形态学骨架Skel（X）可表示为：

1.2.2 剔除孤立点和伪分支

在骨架提取过程中，部分由噪声或边缘细微变化引入的骨架点，称为孤立点。它们不含有目标的形状及拓扑信息，且会降低整体骨架对目标特征的描述能力。基于此，对孤立点及由孤立点引入的伪分支进行剔除处理，以进一步优化骨架结构是非常必要的。

经过对骨架特征的分析，要实现孤立点和伪分支的剔除，必须首先识别骨架中的端点和连接点。定义骨架点p的八邻域内像素沿逆时针方向由0到1和1到0变换的次数用XT（p）[8]表示，计算式如式（3）：

分析从上述骨架提取算法中得到的人体骨架二值图像数据，骨架图像是由单像素集组成，且骨架点分为端点、连接点和分支点。一般情况下，人体头部骨架点p包含在骨架端点中，因此，人头检测过程中只需关注骨架端点。人体头部骨架二值图像素7种分布如图4所示。

2.1 评价指标

实验结果用两个指标度量：平均绝对误差和均方差。假设当前帧i中人数真实数据为T（i），估计数据是E（i），其中： i=1，2，…，n（n为统计图像的帧数）。用式（13）～（14）分别表示平均绝对误差ErrT和均方差（Mean Square Error， MSE）[12]：

两个度量指标，总体评价人数统计结果的准确率。人数统计的准确率越高，平均绝对误差和均方差值均越小。

2.2 实验结果及分析

在PETS数据集上测试本文算法，针对数据集中单人、多人存在部分和严重遮挡的场景分别进行了实验。实验结果如图5所示。

单个人能分割得到完整的人体目标区域，通过人头检测实现人数统计的准确率为98%；多人存在部分遮挡场景，即两个或多个人在图像中存在部分重叠区域，但可以分割出部分区域，人数统计准确率为95%；严重遮挡情况下，即两个或多个人完成重叠为一个区域不可分割，如前后重叠或两个人在一条直线上时，人数统计准确率为93%。

对PETS中View_005整个数据集进行了测试，图6给出了200帧图像中实际人数和估计人数的实验对比图。

本文算法的ErrT值和MSE值最低，相比之下更能准确地统计行人人数，说明本文算法是有效的。

另外，本文算法不需要进行离线训练过程，直接提取特征然后进行人数统计，在时间开销上相对较低。从提取骨架特征到人头检测并统计整个过程的时间开销是0.313698秒/帧。基于神经网络回归算法针对100帧提取前景特征和纹理特征时间开销分别为110.295072s和2.208339s，然后通过特征进行统计回归的时间开销为0.362848s。所以在回归模型已经离线训练成功的基础上，基于神经网络回归算法的时间开销大约为1.128662秒/帧。基于AdaBoost人头检测算法的时间开销相对较低，大约在0.278427秒/帧。尽管这里时间开销比本文算法低，但是基于AdaBoost人头检测还需要时间进行前期的离线训练人头检测分类器。所以综合估计本文算法在时间开销上相对另两种算法较低。

从实验结果可看出：在人与人之间存在遮挡情况下，目标像素、边缘特征的统计率和人头可见度是相对较低的从而使得在回归计数和通过人头检测分类器计数的准确率较低。而本文算法通过前景目标提取单像素骨架特征，即使在人与人之间存在部分或严重遮挡的情况，人体头部只要没有被全部重叠遮挡，亦能提取出头部骨架分支，从而实现准确计数。实验证实该算法在相对稀疏场景中存在部分遮挡和严重遮挡的情况下人头检测准确率较高，鲁棒性较好。

3 结语

本文提出了一种新的基于骨架特征的人头检测人数统计的算法。该算法可用到监控、建筑管理、获取超市数据等。算法减小了多人相互遮挡对统计准确率的影响，经实验测试，该人数统计算法正确率达到95%左右。针对多人严重遮挡时的漏检情况，我们在以后的研究中，将考虑结合前景目标跟踪和人头识别来解决当前存在的问题。

参考文献：

[1]

CHAN A B， ZHANG-SHENG J L， VASCONCELOS N. Privacy preserving crowd monitoring： counting people without people models or tracking[C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press，2008：1-7.

[2]

ANTONINI G，THIRAN J P. Counting pedestrians in video sequences using trajectory clustering [J]. IEEE Transactions on Circuits and Systems for Video Technology，2006，16（8）：1008-1020.

[3]

WEN J， XU Y. People counting based on AdaBoost and inter-frame features [J]. Journal of Image and Graphics，2011，16（9）：1729-1735.（文嘉俊，徐勇.基于AdaBoost和帧间特征的人数统计[J].中国图象图形学报，2011，16（9）：1729-1735.）

[4]

NIU S， MAO X， HOU J， et al. Realtime head detection based on AdaBoost and SVM [J]. Microcomputer and Its Applications，2010（13）：33-36.（牛胜石，毛晓晖，侯建华，等.基于AdaBoost和SVM的人头实时检测[J].微型机与应用，2010（13）：33-36.）

[5]

MERAD D， KHEIR-EDDINE A， THOME N. Fast people counting using head detection from skeleton graph[C]// Proceedings of the 2010 Seventh IEEE International Conference on Advanced Video and Signal Based Surveillance. Piscataway： IEEE Press，2010：233-240.

[6]

STAUFFER C， GRIMSON W E L. Learning patterns of activity using real time tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：747-757.

[7]

ZHOU N， CUI Q. Skeleton and reconstruction of mathematical morphology [J]. Journal of Image and Graphics，1997，2（10）：712-716.（周南，崔屹.数学形态学骨架化及重建[J].中国图象图形学报，1997，2（10）：712-716.）

[8]

WANG H， WU F， WANG B， et al. Skeleton extraction using improved mathematical morphology algorithm [J]. Science of Surveying and Mapping，2006，31（1）：29-32.（王辉连，武芳，王宝山，等.利用数学形态学提取骨架线的改进算法[J].测绘科学，2006，31（1）：29-32.）

[9]

ZHOU L， HE L， SUN Y， et al. Algorithm of biased skeleton trim based on intersecting cortical model [J]. Journal of Computer Applications， 2012，32（9）：2553-2555，2627.（周理，何林远，孙毅，等.基于交叉视觉皮质模型的骨架伪分支剔除方法[J].计算机应用，2012，32（9）：2553-2555，2627.）

[10]

GONZALEZ R C， WOODS R E. Digital image processing [M]. 2nd ed. RUAN Q， RUAN Y， translated. Beijing： Publishing House of Electronics Industry，2007：442-443.（GONZALEZ R C， WOODS R E.数字图像处理[M].2版.阮秋琦，阮宇智，译.北京：电子工业出版社，2007：442-443.）

[11]

ARIF M， SAQIB M， BASALAMAH S， et al. Counting of moving people in the video using neural network system[J]. Life Science Journal，2012，9（3）：1384-1392.

[12]

LI H， ZHANG E， DUAN J. Crowd counting method based on PCA and multivariate statistical regression [J/OL].Computer Engineering and Applications. [2013-02-10].http：//.cn/Periodical_pre_ca130260-686e-4bfd-b90f-e503fe0e1fbf.aspx.（李虎，张二虎，段敬红.基于PCA和多元统计回归的人群人数统计方法[J/OL].计算机工程与应用.[2013-02-10].http：//.cn/Periodical_pre_ca130260-686e-4bfd-b90f-e503fe0e1fbf.aspx.）