基于目标变换模型的跟踪方法研究

摘 要:图像目标跟踪是计算机视觉领域中富有挑战性的工作之一,但已有的算法大多都存在一定的局限性。针对目标相关匹配方法难以处理图像序列中目标所具有的连续性的尺度变化、旋转、变形等问题,通过在相邻两帧图像之间建立目标相对变化关系的数学模型,并依据该变换关系的数学描述及一定的相关测度对跟踪问题进行最优化建模,将目标跟踪问题转化为目标变换模型参数的最优化求解问题,最后利用L_M算法对上述优化问题进行求解,实现目标跟踪。实验结果表明,该方法对发生连续性平移、尺度、旋转、变形等变化的目标具有良好的跟踪精度,且对图像质量要求不高。

关键词:目标跟踪;目标变换模型;最优化模型;L_M算法

中图分类号:TP391文献标识码:A

文章编号:1004-373X(2010)02-118-04

Study of Tracking Method Based on Object Transform Model

HUI Bingwei,GAO Feng,WEN Gongjian

(ATR Key Laboratory,National University of Defense Technology,Changsha,410073,China)

Abstract:Image object tracking is one of the most challenged problems in the computer vision field,most of which have some defficency.Focusing on the problem that the methods of template matching can′t resolve the continuous scale,rotation and distortion of the object in the image sequence.By modeling object′s relative change relations between the neighboring frames,and based on the discription of motion transform and the stated correlation measure,the tracking problem is translated into an optimization problem.Using L_M algorithm to resolve the optimization problem and the tracking is achieved.The experiment results show that the method is of good accuracy for tracking the object with scale,rotation and distortion and robust to the degradation of image.

Keywords:object tracking;object transform model;optimization model;L_M algorithm

0 引 言

图像目标跟踪指随着目标在场景中的运动,在一个或多个图像平面内估计目标真实运动轨迹的过程。此外,依据跟踪的应用领域,需同时提供目标的方向、面积、形状等附加信息[1]。图像目标跟踪的应用领域广阔,目前已经广泛应用于场景监视、运动识别与测量、交通管制等社会生产和生活的各个领域。也正是因为应用背景的多样性和灵活性,使得目标跟踪成为计算机视觉领域中的热点和难点问题。

一个完整的目标跟踪流程通常应该包括以下几个环节:目标表示、特征选择、目标检测、逐帧跟踪和分析识别。其中,逐帧跟踪是整个过程的关键,目前已有不少学者在这方面进行了丰富的实践,提出了许多行之有效的方法。文献[1]对这方面已取得的成果做了深入而细致的综述和分类。对刚体面目标的跟踪方法主要有以下几类:

(1) 基于目标相关匹配的方法[2-4]。为解决传统模板匹配方法容易受到干扰的问题,文献[2]采用变模板技术取得了较好的效果;文献[3]利用图像边沿特征进行相关跟踪,使跟踪过程能够较好地适应不同灰度分布的背景;文献[4]使用基于区域协方差矩阵进行相关匹配的方法,展现了较好的鲁棒性和精确性。但总体来说,基于相关匹配的方法都会受到计算量等的限制,难以处理目标具有连续性的尺度、旋转和变形等情况。

(2) 基于图像目标分割的方法[5-7]。光流分割法在目前这类方法中占有相当大的比重[5],但光流分割法容易受到噪声干扰,且难以精确分割出目标区域;而文献[6,7]将区域活动轮廓模型用于目标轮廓的提取,进而实现了目标跟踪,该方法适用于图像质量较高的情况。

(3) 基于mean_shift的方法[4]。这类方法是一种基于非参数概率密度估计方法,目前应用较为广泛,但应用通常受其核函数中带宽的影响。

基于上述分析,本文提出了一种基于目标变换模型的方法,该方法通过对相邻两帧图像中目标的平移、尺度、旋转、变形等变化确立一个变换关系模型,并利用该变换关系模型和一定的目标匹配测度,建立了最优化数学模型,然后以变换关系模型参数为求解目标,采用L_M优化算法对该数学模型进行求解,最终实现目标跟踪。该方法有效地克服了传统匹配方法在这方面的局限性,且对图像质量要求不高。通过对若干空中飞行目标图像进行跟踪实验,取得了良好的实验效果。

本文首先分析了相邻两帧图像中目标变换关系模型的确立,之后根据均方误差测度建立跟踪的数学模型;详细讨论了用L_M算法进行模型求解的原理和过程,并给出了算法流程图,实验结果及最后得出一些结论。

1 目标跟踪的数学模型

1.1 目标变换模型

目标变换模型指目标在图像序列的相邻两帧图像中位置、形状、方向等相对变化关系的数学表达。目标在相邻两帧图像中的变化越复杂,则能够恰当描述它的数学模型也越复杂。但刚体目标由于运动而引起的形变是有限的,可以通过较简单的数学模型来近似。 具体设(xi,yi)(i=1,2,…,N)是第n帧(n>1)图像In中目标区域内N个离散的坐标点,由于目标的变化使得在第n+1帧图像In+1中对应的N个像点坐标变为(xi′,yi′)(i=1,2,…,N),则上述两个坐标集之间的对应关系可记为图像坐标空间上的映射T=(Tx,Ty),R2R2′,其数学表达式为:

xi′=Tx(xi,yi)

yi′=Ty(xi,yi)(1)

式(1)即为描述目标在相邻两帧图像中变化变换模型。变换模型的选择直接影响目标跟踪的效果和精度,模型越符合图像中目标的变化规律,跟踪效果越好。常用的变换模型主要有平移变换、RST变换(平移_旋转_尺度变换)、投影变换等。而刚体目标在图像中经常出现的显著的变化主要有平移、尺度、旋转及一定的刚性变形,使用仿射变换模型可以较好地描述和反映上述变化。二维的仿射变换模型是一个6参数的映射关系,记为Tα,其表达式如下:

x′y′〗=

a1b1

a2b2〗x

y〗+

c1c2〗(2)

式中:参数a1,b1,a2,b2共同决定了目标的尺度、旋转、错切等变形情况。特别是当a1=b2=1;a2=b1=0时,目标不发生任何形变;c1,c2分别决定了目标在x,y方向上的平移情况。

1.2 最优化模型

根据目标相关匹配的跟踪原理,当目标在两帧图像中所有对应的区域灰度在一定测度下最为相近时,则达到最佳的匹配效果,从而实现目标跟踪。基于目标变换模型的方法,就是以实现最佳匹配为目标,对变换模型参数进行求解的问题。

描述一个区域对另外一个区域的“逼真度”,通常有两类测度:相关测度和差值测度。均方误差测度是差值测度的一种,考虑到均方误差测度直观、严格、计算简便,能够较好地对两个区域的相近程度做出较总体的评价,且以它为目标函数的优化问题有相对成熟的算法,则本文采用均方误差测度,其描述相邻两帧图像中目标区域相近程度的表达式如下:

ε=∑Ni=1[In+1(xi′,yi′)-In(xi,yi)]2/N(3)

根据式(3)定义的匹配测度ε和式(2)定义的目标变换模型Tα建立最优化模型如下:

min ε=min{∑Ni=1[In+1(Tα(xi,yi))-In(xi,yi)]2/N}

=min(fn+1-fn2/N)(4)

式中:fn+1,fn表示相邻两帧图像中目标区域灰度的向量;fn+1,fn∈RN+, •2表示RN+上的2范数。式(4)中的ε也称为匹配的能量值。

式(4)给出了由当前帧目标区域与下一帧图像目标区域变换关系的最优化模型,但在图像序列的第一帧中,由于不能通过上述模型来求解目标区域,而需要特殊对待的,同时它也是后续帧建立目标变换模型的基础,为保证对该帧图像中目标分割的稳定性和准确性,本方法采用人机交互式的方式确定目标的初始区域。

2 模型求解

由式(4)定义的最优化模型是以仿射变换模型的6个参数为求解目标最佳平方逼近的问题。L_M算法是解决该类问题的优秀算法,但L_M算法作为无约束非线性问题的局部最优化数值迭代解法,通常需要保证以下两个适用条件[8]:

(1) 目标函数在最优解附件的某区域内连续可微;

(2) 需要一个较好的迭代初值。

数字图像是离散化采样的结果,为保证图像灰度函数的连续性,在计算时需对图像进行一定的插值处理。本文从插值效果和计算效率两方面考虑,选用双线性插值[9]。此外,通常情况下图像成像时的噪声及剧烈变化的区域边缘通常是非连续的阶跃函数,为了能更好地保证条件(1),本方法对所有参与运算的图像区域进行高斯平滑处理。

通常,相邻两帧图像中目标的形变较小,故可令a1=b2=1;a2=b1=0。而平移变化可能较大,故这里对平移初值的确定分以下两种情况讨论。若目标在相邻两帧图像中有较大平移变化(可取目标尺寸的2/3作为衡量标准)时,采用相邻两帧图像差帧法检测发生相对变化的区域,并粗略估计平移量作为模型的初值;否则,取0平移量作为模型初值。

2.1 L_M优化算法

L_M算法的基本思想是通过自动调整迭代的阻尼因子,使之在当前解远离正确解时,与梯度下降法相似,收敛缓慢,但可以保证较高的稳定性;在当前解逐步靠近正确解时,又演化为高斯牛顿法,快速收敛到局部极值,从而融合了两种算法各自的优点。

根据优化模型式(4),第n+1帧图像In+1中,目标区域的灰度向量fn+1是关于仿射变换模型Tα的参数向量tα=(a1,b1,c1,a2,b2,c2)T的6维函数,并记为fn+1(tα),对于给定的向量Δtα=(Δa1,Δb1,Δc1,Δa2,Δb2,Δc2)T,利用多元函数对fn+1(tα+Δtα)进行泰勒展开,得一阶近似如下:

fn+1(tα+Δtα)fn+1(tα)+fn+1(tα)tαΔtα(5)

记fn+1(tα)tα=(fn+1a1,fn+1b1,fn+1c1,fn+1a2,fn+1b2,fn+1c2),且可由式(2)得:

fn+1a1=fn+1x′•x′a1=x•fn+1x′

fn+1b1=fn+1x′•x′b1=y•fn+1x′

fn+1c1=fn+1x′•x′c1=fn+1x′

fn+1a2=fn+1y′•y′a2=x•fn+1y′

fn+1b2=fn+1y′•y′b2=y•fn+1y′

fn+1c2=fn+1y′•y′c2=fn+1y′

在L_M算法迭代过程中需要产生一系列的向量t(1)α,t(2)α,…,且这些向量在一定条件下依函数式(4)收敛于局部极小点t+α。因此根据目标函数式(4)和泰勒展开式(5),在每一次迭代中,都要寻找Δtα,使得式(6)取值最小。

fn-fn+1(tα+Δtα)臁fn-fn+1(tα)-JΔtα

=ε-JΔtα(6)

式中:J是由目标各点的偏导数向量f(k)n+1(tα)tα,k=1,2,…,N,组成的矩阵:

J=fn+1(x1,y1)a1fn+1(x1,y1)b1fn+1(x1,y1)c1fn+1(x1,y1)a2fn+1(x1,y1)b2fn+1(x1,y1)c2

fn+1(x2,y2)a1fn+1(x2,y2)b1fn+1(x2,y2)c1fn+1(x2,y2)a2fn+1(x2,y2)b2fn+1(x2,y2)c2

螃螃螃螃螃

fn+1(xN,yN)a1fn+1(xN,yN)b1fn+1(xN,yN)c1fn+1(xN,yN)a2fn+1(xN,yN)b2fn+1(xN,yN)c2(7)

通过式(6)对Δtα的求解是一个线性最小二乘问题。当JΔtα-ε正交于J的列空间时,该式取最小值,即Δtα满足正规方程:

JTJΔtα=JTε(8)

式(8)即为Gauss_Newton法在一次迭代中求得的改正量方程式,L_M算法为抑制矩阵JTJ的奇异性、控制算法的收敛速度,并处理模型高度非线性化的情况。使用如下正规方程求解改正量:

NΔtα=JTε(9)

式中:矩阵N=μE+JTJ;E为单位阵;μ为阻尼因子,它是随迭代过程不断变化的量。如果根据式(9)计算出来的Δtα,更新参数向量tα后,导致误差量ε减小,则更新值被接受,且后续迭代过程中减小阻尼因子;否则,增大阻尼因子,重新求解方程(9),并重复上述过程直到所解出的改正量Δtα使误差下降。因此阻尼因子在每次迭代中都可以自适应地保证误差量ε减小。

在迭代中,如果阻尼因子是一个比较大的数,方程(9)中的矩阵N近似一个对角线矩阵,此时L_M的更新步长向量Δtα接近于最陡下降的方向;如果该阻尼因子是一个比较小的数,则L_M算法的步长近似于精确的二次步长,而适合于线性模型。

2.2 算法步骤及流程图

2.2.1 算法迭代过程

算法迭代过程为:

(1) 算法初始化。令迭代计数器m=0,阻尼因子μ(0)=0.001,采用差帧法进行变化检测,确定仿射变换模型各参数初值t(0)α(该初值通常只组略给出平移变化量),并计算初始能量值ε(0)。

(2) 对图像In中的目标区域,以及In+1中由t(m)α确定的目标区域进行高斯平滑、双线性插值运算,并根据式(7)建立如式(9)的正规方程。

(3) 求解式(9)的正规方程,得到变换模型各参数的改正量Δt(m)α,并用t(m)α+Δt(m)α计算当前能量值ε(m+1)。

(4) 若ε(m+1)≥ε(m),则不接受Δt(m)α,并取μ(m+1)=10μ(m),更新正规方程的系数矩阵,并转步骤(2)。

(5) 若ε(m+1)

(6) 判断是否满足算法的结束条件,若满足,则停止迭代,输出迭代结果,跟踪结束;否则转步骤(2)。

2.2.2 算法结束条件

本文考虑三个准则作为跟踪算法的结束条件:第一是迭代次数超过了预先设定的最大迭代次数M,其中M>1,即m>M;第二是区域已经达到了很好的匹配效果,即匹配误差的能量值ε(m)已经小于预先设定的一个先验门限εmin;第三是在一次迭代过程中改正量Δtmα的各分量值Δa1,Δb1,Δc1,Δa2,Δb2,Δc2的绝对值均小于一个先验的门限amin。

跟踪算法的流程图如图1所示。

图1 跟踪算法的流程图

3 实验结果

采用苏-30飞机在某次航空飞行表演的序列图像作为实验数据,对上述跟踪算法进行测试。该图像序列共计20帧,每帧图像的像素尺寸均为1 024×768。其中,前10帧图像中的目标(飞机)有较强烈的平移运动;后10帧图像中的目标出现了大于90°的旋转、较大的变形和一定的尺度缩放。本文的跟踪算法对以上两种典型情况下的飞机目标均能够进行稳健而精确的跟踪, 如图2~图4所示。

图2 第1,3,5帧图像飞机的跟踪效果图

4 结 语

提出一种基于目标变换模型的图像目标跟踪方法,具有如下优点:能较好地对发生连续性尺度、旋转、变形等变化及较大平移变化的目标进行正确跟踪;跟踪过程综合使用了图像中目标各点的灰度信息,特征信息量大,可使相邻两帧图像中目标区域的灰度在最小二乘意义下最为相似。因此,非常适合于图像质量较差,但对目标跟踪精度要求较高的情况;该方法使用L_M优化算法进行求解,计算量小,运算速度快。但本文的方法也存在一些不足,如L_M算法的收敛性要求相邻两帧图像中的目标区域在发生尺度、旋转、变形等变化时不能过大,这是下一步工作需要研究和解决的问题。

图3 第9,11,13帧图像飞机的跟踪效果图

图4 第15,17,19帧图像飞机的跟踪效果图

参考文献

[1]Alper Yilma,Omar Javed,Mubarak Shah.Object Tracking:A Survey[J].ACM Computing Surveys,2006(12):1-45.

[2]高峰,雷志勇,易娟.基于模板匹配的图像跟踪技术[J].国外电子元器件,2008(10):34-36.

[3]张云峰,宋建中.利用图像边沿特征实现相关跟踪[J].仪器仪表学报,2004(8):697-699.

[4]管学伟,刘先志,罗镇宝.基于区域协方差矩阵的目标跟踪方法[J].红外技术,2009(2):99-102.

[5]邵文坤,黄爱民,韦庆.目标跟踪方法综述[J].影像技术,2006(1):17-20.

[6]张昊,黄战华,郁道银,等.基于差分图像的运动目标跟踪与分割方法的应用研究[J].光学技术,2007(7):565-567.

[7]查宇飞,张育,毕笃彦.基于区域活动轮廓运动目标跟踪方法研究[J].中国图像图形学报,2006(12):1 844-1 848.

[8]Marquardt D W.An Algorithm for Least_squares Estimation of No_linear Parameters[J].Soc.Indust.Appl.Math.,1963,11(6):431-441.

[9]孙即详.图像处理[M].北京:科学出版社,2004.

[10]李智勇.动态图像分析[M].北京:国防工业出版社,1999.