双摄像机协同人脸鹰眼检测与定位方法

フ 要:现代视频监控系统需要获取大范围场景中感兴趣目标的清晰图像，这在目标距离较远并且不断移动时单纯采用摄像机调焦方式通常有一定的困难。为了获取宽范围监控场景中远距离行人的主要面部特征，采用广角静止―窄视场运动双摄像机协同工作方式可以同时获得远距离目标的全局和细节信息。首先采用改进的Codebook背景减法从广角摄像机中检测运动目标，然后指引运动摄像机近距离跟踪观察；若行人停止运动，则利用运动摄像机对其进行放大，然后从中检测人脸，并将人脸置于视野中心放大得到清晰图像。当行人再次运动时，广角相机将初始位置再次传递给运动摄像机，由其再对行人进行跟踪。通过实验室内和室外真实场景的实验表明，广角相机的检测算法具有一定的鲁棒性，运动相机能跟踪放大行人人脸图像，算法运行速度满足实时性要求。

ス丶词:码书；双摄像机协同；人脸检测；目标跟踪

ブ型挤掷嗪: TP391.41 文献标志码:A

Abstract: The major aim for modern video surveillance is to capture clear imagery of Region of Interest (ROI) in largescale and scene. However, it is hard to achieve the goal by zooming when the ROI is far from the surveillance system. A stationmotion camera system was designed to acquire the detailed and overall information of pedestrian at distance to obtain the facial feature. A stationary wide Field Of View (FOV) camera was used to monitor an environment for detecting pedestrians by improved Codebook background subtraction. Then a PanTiltZoom (PTZ) camera was steered to track a target detected in the stationary camera, and zoomed in it speedily when pedestrian stopped moving. Afterwards, a face detection procedure used the images received from PTZ camera to obtain pedestrian face. Once the face was detected, PTZ camera put it in the center of the FOV and zoomed to acquire highdefinition image. While the pedestrian continued moving, PTZ camera received the location of pedestrian from the station camera and tracked it continually. The experiments on real indoor and outdoor environments show that the proposed wide FOV camera pedestrian detection algorithm is robust to illumination variations, and the PTZ camera can track and zoom in the face of pedestrians. Besides, the speed of the method meets the realtime requirement.

Key words: Codebook; dualcamera cooperation; face detection; object tracking

0 引言

现代社会安全领域越来越受重视，视频监控广泛应用到公共场所，如地铁站、停车场等，视频监控的重要目的是获取感兴趣区域的清晰图像。随着监控区域的不断扩大，人们使用广角摄像机或安装多摄像机来满足需要。但是广角摄像机图像会发生畸变且物体分辨率较低，准确度有限；感兴趣目标距离摄像机较远时，多摄像机也不能得到目标的细节信息。为了既获取整体图像，同时得到远距离感兴趣目标的清晰图像，研究者们先后提出了静止―运动双摄像机系统［1-6］，这些系统的基本思想是：静止摄像机用广角监控大范围区域，运动摄像对准放大感兴趣目标获取细节信息。不同之处在于各系统采用了不同的双摄像机协同控制方式：Distant Human IDentification (DHID) 系统［1］利用广角摄像机检测出运动目标，并对目标进行简单分类，然后将行人位置转化为运动摄像机旋转角度，运动摄像机采用固定焦距方式跟踪行人获取图像。文献［2］中运动摄像机仅根据广角摄像机的检测结果对运动目标跟踪放大获取感兴趣区域信息，不对运动目标特征进行后续分析和识别。文献［3-4］假设已知目标在广角摄像机中的位置，通过分析双摄像机的自动标定，使运动摄像机旋转对准广角摄像机中的待观察目标。文献［5］利用全景摄像机作为广角视场，从广角中检测出场景中的人脸，驱动运动摄像机对准观察获得人脸图像。文献［6］从广角视场中检测出固定的交通标识符，运动摄像机对准观察得到图像并进行交通符号识别，但该方法中运动相机不进行缩放控制，影响了交通标志符号识别精度。

本文提出了一种广角摄像机和PTZ (PanTiltZoom)摄像机组成的协同鹰眼观测系统，该系统通过场景目标检测、运动相机缩放控制、人脸检测等步骤实现远距离人脸清晰定位。其主要思想是：利用改进的Codebook的背景减法检测运动目标，控制模块接收到目标的位置由查表法得到PTZ摄像机对准目标需要旋转的角度；根据目标的大小，控制PTZ摄像机缩放，确保目标处于PTZ摄像机的视野之中，当目标停止运动时，则对目标进行放大。若为行人，则用肤色模型和Adaboost算法检测人脸［11］，再调整位置和焦距使得人脸处于视野的中心位置并得到放大后的人脸图像。如果目标再次运动，则从广角摄像机再次传入运动目标位置和大小，通过双摄像机协同控制方式得到人脸的清晰图像。

1 改进的Codebook前景检测方法

背景减法是一种常用的固定场景中动目标检测方法，如高斯混合模型、ViBe、Codebook等。高斯混合模型方法计算量较大［7］；ViBe方法虽然运行速度快，但采用欧氏距离作为前景分割依据，对阴影的抑制效果欠佳。基于Codebook的背景减法为每一个像素建立Codebook，若像素和它的背景Codebook不匹配，则认为是前景，反之为背景［9］。Codebook是一种鲁棒的前景目标检测方法，能有效地去除阴影，本文在基本的Codebook上对其进行改进：修正误检测区域，在更新的过程引入8擦谟蛳袼亍＊

Codebook为图像的每个像素建立起Codebook模型Е={c1,c2,c3,…,cL}包含LЦCodeword ci,ciв善ヅ湎袼氐木值向量vi=(Ri,Gi,Bi)及一个6元组的变量auxi=(I┆mini,I┆maxi, fi,λi,pi,qi)组成，其中I┆mini,I┆maxi分别表示匹配像素的最小、最大亮度，fi,λi分别为匹配次数和最长未匹配时间，pi,qiП硎臼啄纹ヅ涫奔洹N了建立Codebook的初始模型，а癯【爸形窗含目标的N帧序列X={x1,x2,x3,…,xN}(N

初始化Codebook模型Е游空，L= 0。t′=1：N，对训练序列X中t′时刻的像素xt′=(R′,G′,B′)，判断该像素的Codeword是否为空。若是，LL+1，Т唇ㄒ桓鲂碌Codeword c′(v′,aux′)Ъ尤氇Е营е校邯

v′(R′,G′,B′),aux′(x′,x′,1,t′-1,t′,t′)オ

若非空，则判断与现有Codeword是否匹配，即是否同时满足式(1)和(2)条件。若不匹配，亦创建一个新的Codeword。若匹配则按式(3)、(4)进行更新。重复训练直到Иt′=N时结束得到Codebook背景模型。

Codebook背景模型建立之后，Ф匀我t时刻像素xt=(R,G,B)в氡尘Codebook匹配进行前景分割，矢量xt是否与Codeword匹配由颜色畸变和亮度范围决定。其中颜色畸变由式(1)表示：

colordist(xt,vi)=xt2-[xt,vi]2vi2

其中А•П硎鞠蛄2卜妒，[xt,vi]表示向量内积，ε1为给定的阈值。オ

亮度范围由式(2)表示

rightness(xt,I┆mini,I┆maxi)=true，若xt∈[I┆low,I┆high]おfalse，其他(2)

其中：I┆low=αI┆maxi，I┆high=min{βI┆mini,I┆maxi/α)；α∈[0.3,0.7]，│>1为根据环境给定的参数。若匹配条件其中之一不满足，则该像素与当前的Codeword不匹配，若对背景Codebook中所有的Codeword都不匹配，则认为该处为前景。

由于短时间内光照变化剧烈，Codebook前景目标检测在物体的边缘和反光处，容易出现误检测。若某一片区域中只含稀疏的前景点，则可判定这一区域是由噪声引起的误检测。以p×p为最小单元对Codebook检测结果改进。

1)统计p×p区域M前景点数f；

2)如果f/p2

3)统计M四邻域前景点fi：fi/p2

4) M中前景点修正为背景，并加入到背景Codebook中;

5)返回1)对下一p×p区域进行检测。オ

原Codebook更新过程中，只考虑当前像素随时间的变化，忽略邻域空间的影响，为了增强检测的鲁棒性，在匹配Codebook更新过程中加入邻域的变化［8］。算法如下：

1)随机读取匹配点8擦谟蛑邢袼兀xn=(R,G,B);オ

2)随机选择匹配点中的Codeword cr=(vr,auxr)О词(3)，(4)更新：

vr=vrθ+xn(1-θ);θ∈(0,1)为更新参数(3)

auxr=(min(xn,I┆minr),max(xn,I┆maxr),

fr,λr,pr,qr)(4)

检测结果如图1所示。

2 广角摄像机对PTZ摄像机运动指引

广角摄像机检测出运动目标后，驱动PTZ摄像机对运动目标进行放大观察。这一过程需要完成以下操作：1)旋转对准目标；2)调整焦距放大目标。

2.1 建立查找表标定双摄像机

双摄像机标定就是：已知目标在广角摄像中位置M(x,y)，求得PTZ摄像机的水平旋转角Е联Ш痛怪毙转Е拢使得PTZ摄像机旋转对准目标，即:

L[M(x,y)](α,β)オ

本文通过建立查找表实现双摄像机标定［10］，具体的步骤如下：

1)选择广角摄像机视频监控区域中需要用PTZ摄像机重点监控的感兴趣的区域（Region Of Interest,ROI)。

2)根据合适的间隔划分广角图像ROI为网格状，得到网格交点处的像素坐标M11(x1,y1),M12(x1,y2),M21(x2,y1),M22(x2,y2),…。オ

3)控制PTZ摄像机旋转，直到PTZ摄像机图像中心与M11е睾希读取PTZ摄像机当前水平方向和垂直方向的旋转角度(α,β)11，Ъ锹家蛔槭据L［M11(x1,y1)］=(α,β)11。オ

4)对剩下广角图像ROI的交点处重复3)的操作，记录所有的L［M(x,y)］=(α,β)。オ

5)ROI中，非网格交点S(x,y)，Р檎野含它的最小矩形M11M12M21M22，в盟线性插值式(5)求取PTZ摄像机旋转到角度：

(α,β)s=1(x2-x1)(y2-y1) [L(M11)(x2-x)(y2-y)+

L(M12)(x2-x)(y-y1)+L(M21)(x-x1)(y2-y)+

L(M22)(x-x1)(y-y1)](5)オ

6)组合步骤3)~5)中的数据得到PTZ摄像机旋转对准广角ROI区域任一位置的查找表。

2.2 PTZ摄像机对目标缩放观察

初始状态下，两台摄像机获取图像分辨率都为W×H，物体在PTZ摄像机成像大小是广角摄像机的Е瘫(μ>1)。假设目标在广角摄像机中的大小为Wm×Hm，г蚴鼓勘瓿渎PTZ摄像机所要放大的倍数：

Е=minWWmμ,HHmμ(6)

根据Е锚Х⑺椭噶畹髡PTZ摄像机焦距，可得到行人放大后的图像，结果如图2所示。

3 PTZ摄像机自主运动获取人脸图像

对于行人，最显著的特征是面部特征。获取清晰的人脸可有效改善视频监控的效果，扩大视频监控的应用范围，同时也可以为人脸识别等技术提供可靠的材料。

PTZ摄像机图像中检测到人脸后，利用PTZ摄像机的机动性，采用数字PID控制使得目标人脸处于图像的中心位置，然后进行适当的缩放。具体步骤如下。

3.1 位置调整

1)Щ袢〉k帧图像人脸的位置(xf,yf)，其中xf,yf表示人脸中心在图像中的坐标。 オ

2)计算偏差e(k)x=xf-u,e(k)y=yf-v，其中u，v为PTZ摄像机图像中心X方向和Y方向坐标。オ

3)如果e(k)x>20e(k)y>20：オ

ИΔUx=KP［e(k)x-e(k-1)x］+KIe(k)xオ

ИΔUy=KP［e(k)y-e(k-1)y］+KIe(k)yИ

其中ΔUx,ΔUyХ直鹞PTZ摄像机水平方向和垂直方向的旋转角度。

4)进入下一次位置调整。

3.2 缩放调整

1)获取第K帧图像人脸的宽度wf和高度hf。オ

2)如果(wf•hf)/(W•H)

3)如果(wf•hf)/(W•H)>0.25,PTZ摄像机以0.8倍每次的速度缩小图像。オ

4 双摄像机协同控制

PTZ摄像机参与广角摄像机对PTZ摄像机运动指引和PTZ摄像机自主运动获取人脸图像两个过程，根据尽量获取目标细节信息和避免目标从运动摄像机视野中丢失的原则，设立双摄像机协同控制的优先级。

1)广角摄像机指引运动摄像机跟踪准行人并缩放,将行人缩放至整个视野的1/4，即放大倍数为0.25γ。オ

2)放大静止目标,目标静止的判断算法如下。

Б倩袢∧勘曜钚碌40个位置信息T={p1,p2,…,pi}，i=40，pi=(cix,ciy,wi,hi),cx,cy为目标中心位置横向和纵向坐标，w,h为目标宽度和高度；オ

②计算目标中心坐标和目标宽度及高度的均值:

(cx ,cy ,w,h)= 140∑40i = 1(cix ,ciy ,wi,hi)オ

③For i=1:40オ

if (cx -cix < 0.15•cx && cy -ciy < 0.15•cy )

static++;オ

End；

if (static>16)オ

目标静止；

else

目标运动；

④进入下一次目标运动状态判断。

当目标静止时，将目标放大至视野的75%，即放大倍数为0.75γ，便于进行人脸检测。オ

3)运动摄像机位置调整跟踪人脸,完成的条件为人脸中心位置在一个20×20的区域内。

4)运动摄像机对人脸进行放大,将人脸缩放至8万像素。

双摄像机协同流程如图3。

5 系统实现与实验结果分析

为了实现系统功能，把两台摄像机平行安装在双云台支架上，观察同一场景，如图4所示。

广角摄像机为SONY 453P，外加广角镜头。PTZ摄像机为EVID70P，水平方向旋转角为160°，垂直方向仰角90°、俯角30°，18倍光学调焦。处理平台是HP xw6400 Workstation。根据本文所述方法，采用OpenCV+MFC编写程序。图像分辨率576×752，在自然光照条件下，选择220×550作为ROI区域，运动目标检测速度达到18@fps以上。对进入行人进行跟踪并获取人脸的清晰图像，结果如图5和表1所示。

在不同光照条件下，运动目标检测和PTZ对目标的跟踪都有较好的效果，能满足实时需要；在正确检测出人脸的条件下，人脸的定位和放大都能快速实现。由于PTZ摄像机本身调焦速度较慢，正确定位后再放大人脸的时间在4@s左右，能够满足实际需要。

6 结语

针对视频监控中不能获取中远距离感兴趣区域清晰图像的问题，本文采用静止―运动双摄像机获取全局图像和感兴趣区域细节信息。采用Codebook对行人进行检测，修正误检区域；用查找表的方式实现双摄像机的标定，对行人跟踪并缩放，当行人停止运动时，PTZ摄像机自主检测和跟踪人脸，双摄像机协同控制实现目标的可持续监控。本文方法的特点如下：1）对Codebook背景减法进行改进，改善了检测效果。2）采用跟踪菜醴弄捕ㄎ华卜糯蟮哪J蕉愿行巳で域进行监控。实验结果表明系统可靠有效。

げ慰嘉南:

[1] ZHOU X H, COLLINS R,KANADE T, et al.A masterslave system to acquire biometric imagery of humans at distance［C］// ACM International Workshop on Video Surveillance. New York: ACM,2003:113-120.

[2] BODOR R,MORLOK R,PAPANIKOLOPOULOS N. Dualcamera system for multilevel activity recognition［C］// 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems.New York:IEEE, 2004:643-648.

[3] SENIOR A W, HAMPAPUR A,LU M. Acquiring multiscale images by PanTiltZoom control and automatic multicamera calibration［C］// IEEE Workshop on Applications on Computer Vision. New York:IEEE, 2005:433-438.

[4] HORAUD R, KNOSSOW D,MICHAELIS M, et al. Camera cooperation for achieving visual attention［J］.Machine Vision and Applications,2006,16(6): 331-342.

[5] FAHN C S,LO C S. A highdefinition human face tracking system using the fusion of omnidirectional and PTZ cameras mounted on a mobile robot ［C］// Proceedings of the 5th IEEE Conference on Industrial Electronics and Applications. New York:IEEE,2010:6-11.

[6] GU Y,YENDO T,TEHRANI M P, et al. A new vision system for traffic sign recognition［C］// Intelligent Vehicles Symposium (IV). New York:IEEE,2010:7-12.

[7] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for realtime tracking［C］// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York:IEEE,1999:246-252.

[8] BARNICH O,van DROOGENBROECK M. ViBe: a universal background subtraction algorithm for video sequences ［J］. IEEE Transactions on Image Processing, 2011,20(6): 1709-1724.

[9] KIM K, CHALIDABHONGSE T H,HARWOOD D, et al. Realtime foregroundbackground segmentation using codebook model［J］.Journal of Realtime Image Processing,2005,11(3): 167-256.

[10] KUMAR S,MICHELONI C,PICIARELLI C. Stereo localization using dual PTZ cameras［C］// International Conference on Computer Analysis of Images and Patterns. Berlin: Springer,2009:1061-1069.

[11] VIOLA P,JONES J M. Rapid object detection using a boosted cascade of simple features［C］// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York:IEEE,2001:511-518.