基于扩展卡尔曼滤波的主动视觉跟踪技术
时间：2022-05-03 09:28:29
摘 要：提出一种基于主动视觉的物体跟踪系统.该系统利用基于扩展卡尔曼滤波的物体锁定（Object Locked Based on Extended Kalman Filter, OLBEKF）技术，根据物体的运动预测摄像头的运动，并通过控制摄像头的两个关节实现主动跟踪. 实际运用表明，在复杂的环境下，能够实时地获得高准确率的跟踪结果，并且显著提高摄像头拍摄图像的质量.
中图分类号：TP18
文献标志码：A
Tracking technique for active vision based on
extended Kalman filter
LIU Xiaohui, CHEN Xiaoping
(Dept. of Computer Sci., Univ. of Sci. & Tech. of China, Hefei 230027, China)
Abstract： An object tracking system based on active vision is presented, into which Object Locked Based on Extended Kalman Filter (OLBEKF) technique is introduced. The system predicts the movement of camera by one of the tracked object, and implements active tracking by controlling two joints of the camera. The experiments show that the system can achieve high-accuracy tracking result in real-time under complicated environment and improve the quality of image captured by camera.
Key words： active vision; moving object tracking; extended Kalman filter
0 引 言
运动物体的跟踪是计算机视觉中非常重要的领域，在现实中被广泛应用，如人机交互［1］、车辆跟踪识别［2］和司机助手系统［3］等.主动视觉［4］是通过控制摄像头的移动进行物体跟踪的技术，跟踪系统的灵活性和对周围环境的适应能力都比普通跟踪系统有显著提高.因此，采用主动视觉技术对运动物体进行跟踪识别成为一项新的课题.
主动视觉系统有专用电机控制自己的摄像头移动：采用Tilt和Pan两个电机［2，4，5］.由于其具有结构简单、功能强大的特点，得到广泛应用；其中Tilt电机用来控制摄像头在垂直方向的旋转，Pan电机则用来控制摄像头在水平方向的旋转.图1为索尼公司生产的AIBO-ERS 7型自主机器人，它的Tilt和Pan两个摄像头位于机器人头部，其视觉系统是一种典型的Tilt-Pan主动视觉系统.
传统的物体跟踪方法［6，7］是基于静止的摄像头来采集图像的；主动视觉则采用动态摄像头的计算机视觉.在已有算法中，用于车辆跟踪的主动视觉系图 1 索尼AIBO-ERS 7型自主机器人统［2］能够快速识别出车辆等物体；用于人脸跟踪的系统［5，8］则对人脸的跟踪定位有着较强的鲁棒性. PAN Feng等人［4］给出的主动视觉跟踪系统能够较平稳地跟踪物体.然而上述各种算法具有如下缺点：(1） 物体运动速度较快时易产生图像模糊，导致物体识别成功率明显下降；(2) 视野有限，在被跟踪的物体走出摄像头覆盖范围时没有采取有效措施，容易造成跟踪丢失；(3) 运行效率差，在跟踪物体时没有采用有效方法提高系统速度，限制了系统的适用范围.
本文提出用于主动视觉的运动物体跟踪技术：基于扩展卡尔曼滤波的物体锁定（Object Locked Based on Extended Kalman Filter，OLBEKF）技术，能有效控制摄像头的Tilt和Pan两个关节，并且用系统重置的方法提高系统的准确性.不同于以往的卡尔曼滤波器模型，OLBEKF技术并不对物体运动本身进行滤波和预测，而是把物体的运动看成一个观测，对摄像头的运动进行分析预测，因此OLBEKF技术能有效解决以往方法不能解决的3个问题，具有实时性、高准确性等特点.
1 扩展卡尔曼滤波器
离散系统的卡尔曼滤波器［9］本质上是一种递归预测，采用无偏最小方差准则以得到过程的最优估计.较强的抗噪性和较高的效率使得它被广泛应用于机器人导航、控制、雷达系统以及导弹追踪等.近年来更被广泛应用于计算机图像处理.
常规卡尔曼滤波器假设系统噪声和观测噪声均为白噪声，系统状态转换方程为线性的，系统模型和观测模型如下：
2 算法流程
整个主动视觉跟踪流程见图2，它通过在跟踪模式和搜索模式之间的切换完成在任何时刻物体的主动跟踪.系统获得一帧图像后，先判断当前模式是识别模式还是跟踪模式，如果是识别模式则采用第2.1节的识别器处理；如果是跟踪模式则采用第2.2节的跟踪器处理，而处理结果又会作为反馈信息去[CM)]
2.1 识别器
在物体跟踪的初始化或者重置阶段，都需要识别器对相应物体进行识别，如人脸跟踪系统中的人脸识别［5］、车辆跟踪系统中的车辆识别［2］等.这里不对识别器做专门限制，在不同的场景中使用相应的识别器即可.而对于识别器而言，一般有两种方法从图像中找到目标.
模式A：遍历整个图像，寻找与目标物体相匹配的区域.
模式B：已知目标物体的估计位置(x0,y0)，采用mean shift［6］方法或者计算机物体在图像中概率分布的方法［7］，最后得到目标物体的位置.
在上述两个模式中，模式A有着较强的鲁棒性，广泛适用于各种识别系统，但是速度较慢；模式B运行速度很快，广泛应用于各种跟踪系统，但对于不同的初始位置算法速度差别较大.
2.2 跟踪器
为了能够最佳地跟踪识别物体，这里采用OLBEKF技术，其设计基于如下两个目标：(1)被跟踪的物体总是处于图像的中心位置，从而减少跟踪失败的最大可能性；(2)摄像头运动的角速度与目标物体运动的角速度相等，从而最大可能地减少物体的运动模糊，并有效增加识别器(第2.1节模式B)的运行效率.
所谓物体锁定技术是指，如果当前帧中被跟踪物体不在图像中心，就通过移动摄像头的关节让其处于图像中心.这里共有两个坐标系：图像坐标系（图3(a)）和世界坐标系（图3(b)）.由于系统可以实时获取摄像机的高度、Pan角度和Tilt角度等信息，因此通过平移变换和旋转变换，可以实时得到从世界坐标系到图像坐标系的坐标变换矩阵.然而，我们无须求出整个变换矩阵，只需当已知物体在图像坐标系中的偏差为Δx和Δy情况下，求出摄像头角度Pan和Tilt离期望角度（也就是使物体在图像中心的Pan和Tilt角度）的偏差ΔxPan和ΔyTilt即可.
根据物体成像仿射模型（图3）可以得出：Pan角度的旋转轴平行于图3中的y轴，Tilt角度的旋转轴平行于图3中的x轴.一般情况下，由于物体离摄像头的距离远大于摄像头的焦距，因此可以求出如果一个物体在图像中距离图像中心有(Δx,Δy)的偏差，摄像头的角度偏差为ΔxPan=arctan(Δx/d)，ΔyTilt=arctan(Δy/d)，其中d是成像平面到摄像头镜头的距离，实际应用中可以测试出来.
2.2.2 摄像头运动模型
在以往的系统［2，5］中，大多对被跟踪物体进行卡尔曼滤波和预测，忽略了摄像头本身的控制，因此造成引言部分所述的3个缺点.这里通过采用物体锁定技术，用卡尔曼滤波器对摄像头的运动进行预测和修正，这就是OLBEKF技术.下面首先分析被跟踪物体的运动模型，然后推导出相对应的摄像头运动模型.
实际运动的物体，如车辆监控系统中的车辆、行人，足球机器人系统中的足球、机器人等，均可被看作加速度恒定的匀减速直线运动，并且均为在水平面上的二维运动.而摄像头均在离水平面有一定高度的位置放置，从而能够监视到整个水平面.由于摄像头的Tilt和Pan两个分量始终互相正交，因此可以把物体的运动在Tilt和Pan方向分解，得到两个相互独立的匀加速直线运动模型.
这里先对Tilt方向电机的运动模型做分析（图4），Pan方向的电机与Tilt方向电机分析方法相同.
记物体运动的模型为xk=xk-1+vΔT+1/2aΔT2；其中ΔT是连续两帧图像之间的时间差，v是物体的运动速度，a是其加速度.如图4所示，当摄像头到物体的距离l远大于Δx的时候，有Δy┆Tilt≈Δxsin θ/l=Δxcos2 y┆Tilt/h，其中h是摄像头距离地面高度，这里假设为常量.因此有y┆Tiltk+1=y┆Tiltk+cos2 y┆Tilt/h(vΔT+1/2aΔT2).可见这里的运动模型为非线性的，所以采用扩展卡尔曼滤波器（式(2)和(3)）.
图 4 物体运动的仿射模型2.2.3 跟踪器算法
对于实际的跟踪系统可以实时获得摄像头拍摄的图像.对于每帧图像用第2.2.1节所述的物体锁定技术都能得到Pan和Tilt两个角度的偏差，然而直接使用上述方法有两个缺点：(1）摄像头运动的角速度不连续，不利于准确地控制电机；(2）会造成摄像头抖动，从而造成图像模糊.因此，根据第2.2.2节提出的摄像头运动模型，这里采用两个扩展卡尔曼滤波器分别对Pan和Tilt进行滤波和预测，用来防止观察噪声、提高系统性能.
算法：跟踪器(tracker)
输入：物体初始角度Pan和Tilt
输入：各帧图像
输出：平滑控制摄像头移动
while (每帧图像)
(1) 使用第2.1节中的识别器模式B，以图像中心为初始位置进行识别，得到目标物体在图像中相对中心的偏移(Δx，Δy).
(2) 计算两个电机的偏移：
ΔxPan=arctan(Δx/d)，ΔyTilt=arctan(Δy/d).
(3) 用当前帧的ΔxPan和ΔyTilt更新相应的卡尔曼滤波器：(a) xPan=kalman_pan.update(Pan+ΔxPan)；(b) yTilt=kalman_tilt.update(Tilt+ΔyTilt).
(4) 用卡尔曼滤波器预测下一帧的摄像头位置：(a) xPan=kalman_pan.predict(Pan)；(b) yTilt=kalman_tilt.predict(Tilt).
(5) 用Pan 和 Tilt 设置下一帧摄像头位置.
end while
两个卡尔曼滤波器状态为xk=［s v a］T，其中s是角度，v是角速度，a为角加速度.滤波器的相关参数均可在实际运行时测试出来.
2.3 初始化
对于跟踪系统而言，首先需要知道物体的初始位置.这里采用的方法与第2.4节的方法相同.
2.4 重 置
如果当前的图像中识别器输出为失败，则表示当前的跟踪丢失，必须对系统进行重置.首先把系统模式变为搜索模式（图5），然后根据摄像头种类的不同采用下面的重置策略.
(1) 如果摄像头本身位置固定，则头部采用Tilt-Pan进行1个回合最大范围的扫描（图5(a)）.
(2) 如果摄像头本身位置可动，例如在智能机器人上的运用，摄像头在自己的原地位置先旋转1周，期间依然采用(1)中的扫描策略，如果找到目标，那么重置卡尔曼滤波器，系统转入跟踪模式（图5(b)）；否则进入(3）.
(3) 控制摄像头按照一定的路径规划移动，期间摄像头采用(1)中的扫描策略.这里的路径规划由具体场景决定，如在机器人足球比赛中，就是智能机器人绕场地1周.如果找到目标，那么重置卡尔曼滤波器，系统转入跟踪模式；否则返回(3），一直到找到为止（图5(c）.
图 5 各种重置策略
2.5 算法分析
OLBEKF技术可有效解决以往算法的3个缺点，具有如下优势.
(1) 图像质量提高.采用卡尔曼滤波器对摄像头角度进行控制，可保证摄像头的角速度和物体运动角速度相同，最有效地减少图像模糊；
(2） 算法鲁棒性好.由于物体始终在图像中心，所以最大可能地降低了跟踪丢失的情况.
(3) 算法效率快.基于扩展卡尔曼滤波的方法有很强的抗噪声能力，使得每次识别器的结果都有Δx≈0
Δy≈0，大大加快识别器在模式B下的识别速度.
与以往系统比较，OLBEKF技术强调系统重置的实现，这在实际应用中尤其是智能车辆跟踪和智能机器人控制中有着非常重要的作用.
3 实验结果和应用系统
3.1 实验平台及应用背景
实验平台是索尼的AIBO-ERS 7型自主机器人(图1).它是国际机器人足球大赛(RoboCup)［11］比赛4腿组比赛的标准平台.机器人可以通过Tilt和Pan两个电机控制自己的头部姿态，是典型的Tilt-Pan主动视觉机器人.机器人内置576 MHz的CPU和32 M内存，用来处理图像及动作、决策等.机器人内部的操作系统是Aperios的操作系统，辅以1套OPENR［12］设计子系统作为硬件和应用程序之间的桥梁.
在机器人的头部有1个CMOS摄像头，以每秒30帧的速率采集分辨率为208×160的YUV彩色图像，是机器人获取外界信息的重要部分.在机器人的体内每个关节处均有1个数值传感器，用来采集机器人相应关节的角度值，例如前面提到的Tilt值和Pan值.机器人每采集到1帧图像或者1个传感器信息，均由内部操作系统以消息广播的形式发送给所有的用户进程，用户进程可以响应消息进行自己的处理，并将处理结果以消息的形式发回给操作系统，用来控制机器人各个关节的移动.
RoboCup的比赛场地见图6，它是一个长6 m宽4 m的矩形区域，机器人需要对场地上的球门、标记柱、足球和其他机器人进行识别，而在大多数情况下，需要对足球和其他机器人进行主动跟踪.比赛环境决定用于机器人主动跟踪的算法必须实时、准确，并且有很强的鲁棒性.
3.2 实验结果
3.2.1 跟踪准确率比较
为了让目标能够位于区域的中心，每次跟踪的准确率比较重要.这里假设第n帧图像物置为(xn,yn)，求出它与图像中心(0，0)的差作为评价标准，即：И2=1N∑Ni=1(x2i+y2i).
为了让实验结果有可比性，设置实验方法如下：(1）机器人位于场地中心，只有头部关节可以运动，其他身体关节静止不动；(2）让足球以相同的初始速度和初始位置在机器人前方滚动，记录机器人每帧的跟踪结果；(3）改变足球的初始位置和速度，重复第(2）步50次.
最后得到各种算法的跟踪准确率比较见表1.
表 1 跟踪准确率比较ms方法名称静止摄像头方法文献［4，5］技术OLBEKF技术(像素)64.216.411.7
3.2.2 运行速度比较
OLBEKF技术在运行速度方面有着明显的优势.采用第3.2.1节中的实验方法，分别采集跟踪球和跟踪机器人的图像，计算得到各种算法的运行速度比较，表2为采集1 000幅图片的统计结果.
用的是particle filter算法ms方法名称静止
摄像头方法文献［4，5］
技术OLBEKF
技术跟踪足球所需时间72.467.934.1跟踪机器人所需时间134.1112.365.5
3.3 长时间跟踪
长时间跟踪物体是目前众多跟踪系统的重要特征.在实际的RoboCup 4腿组比赛中，有诸多因素会影响甚至中断跟踪，如机器人在跟踪时被其他机器人碰撞、机器人试图主动跟踪时摄像头被其他机器人阻挡、高层决策需要机器人处理其他事情等，因此很多时候必然会出现跟踪失败的情况，导致其他系统不能满足足球机器人比赛的要求.由于这里采用有效的系统重置技术，让跟踪器和识别器相结合，所以能够长时间跟踪.取10场比赛（每场20 min）的所有跟踪数据，得到OLBEKF技术总是能有70%～90%的时间处于跟踪成功状态，而文献［4］和［5］没有采用该技术，跟踪成功率只有40%～65%.
3.4 应用系统
将OLBEKF技术成功应用于中国科学技术大学“蓝鹰”4腿机器人球队，主要对足球和机器人等物体进行跟踪识别.2005年7月“蓝鹰”队在日本大阪举行的机器人足球世界杯中获得8强的好成绩，2005年8月在中国常州举办的“中国机器人足球大赛”中夺冠.由于OLBEKF技术的一般性，它也适用于智能车辆跟踪和智能安全监控系统［13］等.
4 结 论
作为计算机视觉重要领域的物体跟踪技术在现实中有着非常重要的作用，对运动物体进行主动跟踪识别是众多应
用尤其是智能机器人应用的一个重要方面.本文在总结传统主动跟踪的同时，提出基于扩展卡尔曼滤波的物体锁定技术OLBEKF，并将其应用于主动视觉跟踪系统中.实验结果表明，OLBEKF技术在运行速度和跟踪成功率上比以往系统有明显提高.将来的工作包括如何利用单摄像头最大可能同时跟踪多个物体、如何利用多个摄像头联合跟踪单个或多个物体等，它们是更好地提高跟踪系统性能的重要方法.
参考文献：
［1］ BRADSKI G R. Computer vision face tracking as a component of a perceptual user interface ［C］// Proc IEEE Workshop on Applications of Computer Vision. Princeton, 1998: 214-219.
［2］ MIURA J, KANDA T, SHIRAI Y. An active vision system for real-time traffic sign recognition［C］// Proc IEEE on Intelligent Transportation Systems. Dearborn,
MI,
USA, 2000: 52-57.
［3］ FRANKE U, GORZIG S, LINDNER F, et al. Autonomous driving goes downtown ［J］. IEEE Intelligent Systems & Their Applications, 1998, 13(6): 40-48.
［4］ PAN Feng, WANG Xuanyin, WANG Quanqiang. Moving object tracking research based on active vision ［C］//Proc 5th World Congress on Intelligent Control & Automation, 2004, 5: 3 846-3 849.
［5］ YACHI K, WADA T, MATSUYAMA T. Human head tracking using adaptive appearance models with a fixed-viewpoint pan-tilt-zoom camera ［C］// 2000 Proc Fourth IEEE International Conference on Automatic Face & Gesture Recognition, 2000: 150-155.
［6］ 刘文卿, 朱俊青, 王林泉. 基于积分投影的快速人脸定位［J］.计算机辅助工程, 2003, 12(2): 1-6.
［7］ COMANICIU D, RAMESH V, MEER P. Kernel-based object tracking ［J］. IEEE Trans on Pattern Analysis & Machine Intelligence, 2003, 25(5): 564-577.
［8］ PEREZ P, HUE C, VERMAAK J, et al. Color-based probabilistic tracking ［C］// Proc European Conference on Computer Vision. Copenhagen, Denmark, 2002, I: 661-675.
［9］ KALMAN R E. A new approach to linear filtering and prediction problems ［J］. Trans ASME J Basic Engineering, 1960, 32: 35-44.
［10］ MAYBECK P S. Stochastic models, estimation and control ［M］. New York, USA: Academic Press, 1979.
［11］ 陈小平. 国际机器人足球（RoboCup）最新进展［J］. 机器人技术与应用，2001 (1): 25-28.
［12］ SONY Corporation. OPEN-R programmer’s Guide, OPEN-R reference, OPEN-R tutorial［K］. 2002.
［13］ 林璇, 邢汉承. 视频采集在公路收费系统中的应用［J］. 计算机辅助工程, 2000, 9 (4): 19-24.
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”。
