基于Meanshift算法的实时目标跟踪系统

【前言】基于Meanshift算法的实时目标跟踪系统由文秘帮小编整理而成，但愿对你的学习工作带来帮助。视频图像跟踪通常需要每场（20ms）或每帧（40ms）处理数据送出目标偏差量，硬件系统要求处理速度快，实时性高等特点。在此，本系统选择以TI公司的高速DSP芯片TMS320C6455为数据处理核心，配合某公司的PA系列大容量FPGA以及其它视频A/D、程序存储器及对外通信接口等高...

摘 要

设计了一种基于TMS320C6455与FPGA的实时图像跟踪系统，该系统首先采用MAX9526采集图像，利用FPGA对图像进行均值滤波，滤波后数据采用乒乓方式传输给DSP。Mean Shift跟踪算法采用图像像素灰度距离中心点的距离作为目标特征建立核函数，实现对目标的实时跟踪。实验表明，该系统具有良好的实时性与稳定性。

【关键词】Mean Shift算法 核函数 实时跟踪

1 引言

目标跟踪是当今图像处理领域中重要的研究课题之一， 其广泛应用于视频监控、视觉导航、侦察预警、精确制导等军事和民用领域。复杂背景条件下由于很难提取出目标，因此在复杂背景下条件下很难达到性能稳定的目标跟踪效果。本系统跟踪算法采用Mean Shift算法，它具有抗噪性好，对目标部分遮挡、旋转、形变以及背景运动都不敏感，且运算速度快，实时性好，算法易于框架化，非常适合在成像目标跟踪中应用，比较容易在嵌入式系统中开发实现。

视频图像跟踪通常需要每场（20ms）或每帧（40ms）处理数据送出目标偏差量，硬件系统要求处理速度快，实时性高等特点。在此，本系统选择以TI公司的高速DSP芯片TMS320C6455为数据处理核心，配合某公司的PA系列大容量FPGA以及其它视频A/D、程序存储器及对外通信接口等高集成电路来构建实时跟踪系统的硬件电路，以实现主要的Mean Shift目标跟踪算法。

2 系统硬件设计

本系统采用TMS320C6455为核心处理器，处理复杂的跟踪算法，以大容量的FPGA作为协处理器，进行图像预处理和接口逻辑及时序控制信号的产生，其原理框图如图1所示。

2.1 图像采集及预处理

此模块单元包括模拟视频驱动电路、视频A/D转化及大容量FPFA芯片等几部分。工作时，CCD摄像机输出模拟视频信号，经视频驱动电路分成两路信号，一路经字符叠加等形成复合视频信号输出给显示器，另一路经MAX9526视频解码芯片解码，进行模数转换，输出视频行场同步信号及数字化图像数据；FPGA根据视频行场同步信号产生时序控制信号，并对输入的视频数据进行滤波等预处理，滤波后的数据按照乒乓结构操作经FPGA内部RAM导入给高速DSP芯片。其硬件连接图如图2所示。

2.2 算法处理模块

算法处理模块主要由一片TMS320C6455组成。TMS320C6455是TI公司推出的目前单片处理能力最强的高性能定点DSP，它是基于第三代先进VelociTI VLIW（very long instruction word：超长指令字）结构开发出来的新产品，每个周期可以同时执行8条32位的指令，16位定点处理能力可达到9600MMACS，最高主频为1.2GHz。片内采用两级高速缓存结构，其中L2有2M字节的RAM数据空间可供使用，C6455还具有强大的外部存储器接口EMIF，可以连接DDR2等高速外部存储器，同时集成了高速串行接口SRIO，方便多DSP并行工作。这些特性可以满足视频图像处理算法的需求，非常适合作为这类算法的硬件处理平台。

系统工作流程为：输入的模拟视频信号经视频驱动电路MAX9658驱动后，一路形成复合视频信号直接输出，另一路经解码器MAX9526将其解码为符号ITU-R BT.656标准的YCbCr分量视频信号，并传送至FPGA进行数字信号预处理。系统上电后，DSP从外部FLASH装载烧写程序到内部程序空间，Bootload成功后执行用户程序，先通过EDMA从FPGA的RAM中将图像数据以乒乓结构形式导入到自身RAM中缓存，完成数字图像的实时采集，然后DSP程序根据跟踪算法提取出运动目标并进行跟踪，同时计算目标在当前图像中的脱靶量，并将计算结果送给视频输出单元和外部接口电路。

2.3 复合视频生成模块

为了让操作人员更清楚地了解目标的信息，目标跟踪系统通常最后输出带跟踪结果的的复合视频图像：包括目标跟踪窗的大小、位置，大、小十字丝，目标的跟踪状态、目标位置及跟踪时间等实时叠加的字符提示。一般采用的方法是在图像上直接进行模拟电平或数字信号叠加，本系统字符叠加采用MAXIM公司的芯片MAX7456来完成，该芯片最多显示16行×30列字符，每个字符大小为12×18像素。首先由TMS320C6455通过SPI接口对MAX7456进行配置，在FPGA中产生字符叠加的同步控制信号，DSP动态控制存储在EEPROM中的256个用户定义字符信息与视频信号进行叠加随屏显示，产生所需的带字符、十字丝、目标提示框的视频。

字符叠加的复合视频生成模块硬件连接图如图3所示。

3 基于Mean Shift算法的目标跟踪算法

Mean Shift是一种基于核概率密度估计的快速模式匹配算法，它采用某一种或几种特征（如颜色、灰度、纹理等）的核函数直方图来描述目标，在每帧图像中对目标模型和候选目标模型进行相似性度量，并沿着核直方图相似性的梯度方向迭代搜索目标位置，最终实现模式匹配和目标跟踪，算法的跟踪过程就是不断寻找概率密度局部最大值的过程。下面简要介绍其过程。

3.1 算法简介

3.1.1 目标模型建立

首先在初始图像帧中选择被跟踪目标的区域，设目标区域中心为y0，目标在图像中的归一化位置用{xi}（i=1…n）表示，则初始目标模型的核函数直方图定义为：

qu（y0）=Cδ[b（xi）?u]，

u=1…m （1）

其中，xi是第i个像素的坐标，k（x）为核函数的轮廓函数，h是核函数的带宽，b（xi）表示像素xi属于哪类特征值，u为某一特定特征值，δ（x）是delta函数，C为归一化系数，须使 qu=1。

3.1.2 候选模型建立

对图像中候选区域需建立候选目标模型，设{xi}（i=1…n）为当前帧中候选目标的像素位置，中心坐标为y，则当前帧中候选目标模型对应的核函数直方图为：

pu（y）=Chδ[b（xi）?u]，

u=1…m （2）

其中Ch是归一化系数，同（1）式中C。

3.1.3 相似性函数

目标模型qu与候选目标模型pu（y）的相似性可用二者的Bhattacharyya系数作为相似性度量函数：

ρ（y）=ρ[p（y），q]= pu（y） qu （3）

其中ρ（y）的值越大，表示两个模型越相似。目标跟踪问题转变为寻找最优的y，使pu（y）与qu最相似，即使ρ（y） 最大的候选目标模型区域为当前帧中目标的位置。

3.1.4 目标定位

为使ρ（y） 最大，应先将前一帧目标中心位置y0作为当前帧目标中心位置，然后在y0邻域内寻找局部最优目标位置y1。定位时，对（3）式在pu（y0）处使用泰勒展开，相似性函数可近似为：

ρ（y0） =ρ[p（y0），q]

= （4）

为使式（4）最大，应使其第二项最大，该项表示在当前帧y位置处使用k（x）计算核密度估计，梯度为0的点可认为是局部最大值点的位置，对其求梯度得到新目标位置y1为：

y1=

（其中wi= δ[b（xi）?u] ） （5）

其中，g（x）=?k'（x）。基于Mean Shift算法的目标跟踪，就是通过反复迭代式（5），使候选目标从当前位置y0不断地沿着相似性度量的梯度方向移动到新的位置y1，当y1-y0

3.2 算法实现

假设目标模板区域在点（x1，y1）和点（x2，y2）所确定的矩形内，目标模板区域中心点为 （x0，y0），模板X半长为MBXL，Y半长为MBYL。

（1）首先建立空间核函数和初始帧目标模型。本系统核函数采用Epanechnikov函数，以图像像素距离目标中心的距离为权重，分配给距中心较近像素的权重较高，距中心较远像素的权重较低。

K（x，y）=1?

以图像像素灰度分布建立核函数直方图ZFT（i）（i=1…n，n划分的灰度级数），

则目标模型为ZFTMBi（x0，y0）= 。

（2）建立当前帧候选目标模型和相似比系数在当前帧位置（x0，y0）建立候选目标模型，ZFTHXi（x0，y0）=

计算相似比系数

ρ0=。

（3）计算权重系数为w（i）=，若ZFTHXi=0，则w（i）=0。

（4）新候选模型位置。

，

（5）在当前帧中求（x1，y1）的候选目标模型ZFTHXi，并计算相似性系数ρ1。

（6）若ρ1ρ0。

（7）若（||x1?x0||

4 试验结果分析

如图4、图5所示，是对传统的相关跟踪算法和本文实现的Mean Shift跟踪算法跟踪效果的实验对比结果。可以看出，传统的相关跟踪算法在经过一系列帧图像的跟踪之后会出现目标模板滑动的问题，而本文实现的Mean Shift跟踪算法所需时间仅为4.5ms，有较好的实时性和稳定性。

参考文献

[1]程建，杨杰.一种基于均值移位的红外目标跟踪新方法[J].红外与毫米波学报，2005，24（3）：231-235.

[2]朱胜利，朱善安，李旭超.快速运动目标的Mean shift跟踪算法[J].光电工程，2006，33（5）：66-70.

[3]孙剑，周凤岐，周军.基于mean-shift的快速跟踪算法设计与实现[J].计算机工程，2006，32（15）：37-38.

[4]宋新，深振康，王平等.Mean shift 在目标跟踪中的应用[J].系统工程与电子技术，2007，29（9）：1405-1409.

[5]杨杰，张翔编著.视频目标检测和跟踪及其应用[M].上海交通大学出版社，2012（1）.

作者简介

原银忠（1979-），男，河南省卫辉市人，现为中国电子科技集团公司第二十七研究所工程师。主要从事光电制导技术等方面的研究。

肖宏（1983-），男，河南省南阳市人，现为中国电子科技集团公司第二十七研究所工程师。主要从事精密稳像控制等方面的研究。

郑耀锋（1979-），男，河南省新乡市人，现为中国电子科技集团公司第二十七研究所工程师。主要从事光电子技术等方面的研究。

张福欣（1973-），男，河南省开封人，高级工程师。主要从事光电子技术等方面的研究。

作者单位

中国电子科技集团公司第二十七研究所 河南省郑州市 450047