基于PCNN和DSP的感兴趣区域提取系统研究与实现

摘 要:由于普通PC实现的感兴趣区域提取系统普遍存在耗时大、实时性差且处理精度不高等缺陷,在此利用瑞泰公司ICETEK-DM642-PCI评估板提供的TI公司的TMS320DM642芯片,DSP/BIOS的实时操作系统,CCS集成开发环境来构建应用程序。应用脉冲耦合神经网络对图像进行噪声抑制,然后进行二值分割。再利用PCNN正向自动波去除一些很小的干扰,反向自动波恢复感兴趣的区域并提取出。实验结果表明,采用的算法能够精确地提取出图像中感兴趣的区域。

关键词: DM642; 脉冲耦合神经网络; 感兴趣区域提取; 二值分割

中图分类号:TN911.7; DM642 文献标识码:A

文章编号:1004-373X(2010)14-0144-04

Research and Implementation of Interested Region Extraction System Based on PCNN and DSP

ZHAO Guang-peng, DUAN Zhong-xing, DING You-jun

(School of Information and Control Engineering, Xi’an University of Architecture and Technology, Xi’an 710055, China)

Abstract: Because the interested region extraction algorithm based on common PC has the defects such as time-comsumption, bad real-time and poor processing accuracy, the application program is built with TI's TMS320DM642 chip provided by ICETEK-DM642-PCI evaluation board of Rite-Hite Corporation and DSP/BIOS real-time operating system under the integrated development environment of CCS, the noise suppression of image is performed by the pulse-coupled neural network, two-value segmentation is carried out, some small interference is removed by the foreward automatic wave of PCNN, the interested region is recovered by the backward automatic wave of PCNN, and then the interested region is extracted. Experimental results show that the algorithm can be used to extract the interested region of images accurately.

Keywords: DM642; pulse-coupled neural network; extraction of interestrd region; two-value segmentation

0 引 言

在图像数据中包含着大量而繁复的信息,然而在实际应用过程中往往需要提取出感兴趣的区域。例如在医学领域,对于一些医用药品的检测和细胞的识别就需要能够快速而准确地提取出感兴趣的区域。普通PC机实现的感兴趣区域提取系统普遍存在耗时大、实时性差且处理精度不高等缺陷,是因为计算机的硬件架构和设备存在着瓶颈,无法提升。而专门为图像处理设计的高速数字信号处理芯片 DM642可以在一个时钟周期内完成一次乘操作,其处理速度要远远快于普通的PC计算机,显然更适合用于需要做大量重复乘操作的图像处理。以往的感兴趣区域提取算法都是只对于图像进行识别,经常会出现对区域提取信息的丢失,或者精度不高。而本文给出的PCNN具有正向消除干扰和反向修复图像的能力,在精确性方面要优于其他算法。所以本文基于脉冲耦合神经网络算法,并借助于TMS320DM642处理芯片,对感兴趣区域提取系统进行研究和实现。

1 脉冲耦合神经网络

脉冲耦合神经网络(pulse coupled neural network,PCNN)是Eckhorn和Johnson根据猫视觉皮层中的同步脉冲发放现像而提出的,这个网络能促使具有相似输入的神经元一起产生脉冲,它也被认作是系统同步脉冲爆发的现像学模型。它可以将二维图像转化为一维,并且将各彩色图像信息并行的进行融合处理[1]。PCNN 与其他神经网络(如BP,Hopfiel,CNN等)存在着很大的区别,非PCNN神经网络主要的特性在网络的整体结构、权值更新、收敛性等方面,而PCNN则着重于单个神经元的活性以及点火阈值,从而判断是否存在脉冲输出。在PCNN网络中,临近的神经元可以发放同步脉冲信号,单个神经元同时接受临近的脉冲信号和馈入信号,其产生的脉冲可在网络中通过神经元的连接扩散传播,形成自动脉冲波。这些独特的性质使得PCNN具有很强的应用性,尤其在图像处理方面完全依赖于图像的自然属性,不用预先选择处理的空间范围,是一种更自然的方式[2-5]。

1.1 标准模型介绍

传统的脉冲耦合神经网络结构方式多种多样,但基本结构没有本质差异。在本文中,将Eckhorn的PCNN模型作为标准的PCNN模型[3]。

如图1所示,PCNN的神经元包括3个基本的功能单元:接收域(包括连接接收域和馈入接收域)、调制域和脉冲发生器[6-7]。2个接收域都是1个或者多个带指数衰减输出的一阶线性时间不变系统构成的,这种系统称之为漏积分器。

图1 Eckhorn的PCNN模型

在实际的图像处理中,一般一个PCNN脉冲神经元对应图像数据的一个像素,这样就建立起像素与神经元的一一对应关系。每一个像素都关联着惟一的一个神经元,同时又通过神经元与周围的像素进行关联,形成整个用于图像处理的脉冲耦合神经网络。每个神经元通过馈入域接收来自外部的信号,通过连接域接收来自周围神经元的信号。接收域完成信号的接收后,分成2部分进行处理,分别产生连接输入信号L和馈入信号F。在调制域中,神经元从总的馈入输入FK被连接输入L调制,以产生神经元内部活性UK,UK=FK(1+LK),其中K为迭代次数。FCNN神经元的这种内部活性是对发现于生物神经元中的膜活性的一种模拟,这种活性值是促使一个神经元产生脉冲的主要因素。脉冲发生器由一个“0-1”函数和一个阈值漏积分器构成。当内部活性值UK≥θK时,“0-1”函数输出为“1”(神经元点火),否则输出“0”(神经元抑制),而“0-1”函数的输出正是神经元的输出Y。

由上述功能可以得到以下迭代入式(1)~式(5):

Fij[n] =e-aFFij[n-1]+Sij+

VF∑KLMijKLYKL[n-1] (1)

Lij[n]=e-aLLij[n-1]+VL∑KLWijKLYKL[n-1] (2)

Uij[n]=Fij[n](1+β Lij[n]) (3)

Yij[n]1,Uij[n]>θij[n]

0,Uij[n]≤θij[n] (4)

θij[n]=e-aTTij[n-1]+VTYij[n] (5)

式中:n为迭代次数,n=0为初始状态;(i,j)为神经元在整个PCNN中的位置也就是图像数据中单个像素在图像中的位置;Sij为像素的灰度信息;β为连接系数,调节着周围神经元之间的相互影响,同时影响中心神经元点火周期,较大连接系数能引起较大范围的脉冲同步;aF,aT和aL分别为输入域Fij[ n] 、连接输入域Lij[ n] 和动态门限θij[ n] 的衰减时间常数;VF,VL和VT分别为PCNN的反馈放大系数、连接放大系数和阈值放大系数,VL对周围神经元的耦合输入进行比例限制,VT决定了神经元点火时刻阈值将被提升的程度;MijKL为反馈输入域Fij[ n] 中YKL[ n] 的加权系数,WijKH为耦合连接输入域Lij中YKL[ n]的加权系数,MijKL[ n] 和WijKH表示中心神经元受周围神经元影响的大小,反映邻近神经元对中心神经元传递信息的强弱。每次迭代根据图像中的激励信号和周围神经元的连接信号,来更新神经元的内部活性[8]。

1.2 一种改进的PCNN模型

标准模型存在着一些明显不足,比如网络忽略了距离的差异,迭代过程中像素信号始终不变等缺陷,所以要根据迭代公式对上面的模型进行改进。

在实际的图像处理系统中,每次迭代每个神经元只会被点火一次。而从公式中可以得到VF和VL是影响点火次数的主要因素,为了简化模型和提高运算速度,可以舍弃这2个常量。所以公式(1)就被化简为[9]:

Fij[n]=Sij (6)

然后再考虑连接输入L,是由周围有联系的神经元进行运算得到的。出于实时性的原因,只要邻接神经元有一个被点火,那么L的值为1,否则为0。这样可以极大的降低运算量。这样连接输入函数被替换为[10]:

Lij[n]=Step(Yij[n-1]*Wij) (7)

式中:耦合连接权重Wij是一个与连接距离有关的函数:

Wij=e1-dij, if dij>0

1, if dij=0 (8)

式中:dij是2个神经元之间的连接距离,且与自身的连接距离约定为“0”。神经元的连接集L的大小决定了系统的某些动力学行为[11],一般都采取规则的“3×3”或“5×5”模式。经过计算得到本系统采用的 W 为:

W =0.510.51010.510.5

式(3)中的Е挛连接权重,在每一次迭代中,β都会动态地被α更新。设β=αβ,α为连接衰减系数。这样阈值衰减TЬ捅幌旅娴南咝运ゼ鹾数所取代:

Tij[n]=Tij[n-1]-ΔT+VTYij[n-1] (9)

经过简化后的PCNN只需要设置5个参数, W, α,β,VT,ΔT。

2基于TMS320DM642的感兴趣区域提取系统的设计与实现

2.1TMS320DM642功能模块及图像处理系统的硬件结构

DSP是一种特别适合于进行数字信号处理运算的微处理器,主要用于实时快速实现各种数字信号处理的算法。其采用改进的哈佛结构(程序总线和数据总线分开)、内部具有硬件乘法器、应用流水线技术、具有良好的并行性和专门用于数字信号处理的指令及超长指令字结构(VLIW)等特点;非常适合完成运算量大的实时数字图像处理工作。

TMS320DM642芯片是在TMS320C6000 DSP平台上的高性能定点DSP,是TI公式最近推出的功能比较强大的TMS320C6x系列之一。TMS320DM642是基于由TI开发的第二代高性能,先进VelociTI技术的VLIW结构(VelociTI1.2)的芯片[12],是目前定点DSP领域里性能较高的一款。DM642具有3个可配置视频端口(VP0,VP1,VP2)。这些视频端口给公共视频编解码设备提供了直接接口。DM642视频端口支持多种解决方法和视频标准(例如,CCIR601,ITU-BT.656,BT.1120,SMPTE125M,260M,274M,296M)。这3个视频端口是可配置的,并能提供视频捕获和/或视频显示模式。每个视频端口由两个通道组成即A和B,这2个通道具有一个可分离的5 120 B捕获/显示缓存。

本系统是采用瑞泰公司开发的基于TI TMS320DM642 DSP芯片的评估开发板――ICETEK DM642 PCI。将整个系统分为视频采集、数据存储、图像处理、结果显示4个部分。视频采集部分采用标准PAL制摄像头[13],通过高精度视频 A/D转换器的转换得到数字图像。视频A/D采样电路 SAA7115与视频端口0或1相连,从而实现视频的实时采集功能。视频D/A电路 SAA7105与视频口2相连,视频输出信号支持RGB、HD合成视频、PAL/NTSC复合视频和S端子视频信号。通过I2C总线对SAA7105的内部寄存器编程实现不同需求的输出。 摄像头采集的视频信号经视频编码器SAA7115的数字化以后,DM642通过I2C总线对SAA7115进行参数配置。在SAA7115内部对数字化以后的信号进行一系列的处理和变换后形成的数字视频数据流,输入到核心处理单元DM642。经过DSP处理后的数字视频再经过SAA7105视频编码器进行D/A转换后在显示器上显示最终处理结果。

2.2 DM642视频图像处理的采集和显示

鉴于图像处理的复杂性和软件工程的考虑,在实际系统开发中,为了减少开发时间,采用TI公司提供的开发套件(DDK)1来进行系统开发。DDK采用种设备驱动的方式来进行数据采集和显示,这种设备驱动是位于应用程序框架和硬件结构之间的部分。设备驱动又分为2类,类驱动(class driver)和迷你驱动(mini-driver) [14]。应用程序通过类驱动的API函数来对迷你驱动进行操作,通过迷你驱动来对硬件进行操作。其中图像处理采用的是GIO API来进行实际的操作,但是为了进一步减小开发系统的复杂性,采用FVID作为实际的编程API。FVID[15]的行为类似于在GIO之上的┮恢知封装,提供一套特殊的API来进行专业的视频图像信息的处理。FVID设备驱动管理程序在内存管理方式上与其他API程序有很大的不同。一般的DSP/BIOS设备驱动程序需要用户对于内存自己管理,而FVID和数据的采集和显示则是由设备驱动程序管理的。这是因为图像系统经常要进行数据的高速移动,这时就需要专用的,大容量的内存来完成操作,由FVID进行管理显然要比用户从堆上分配更有效率。

2.3 图像感兴趣区域提取系统的实现

整个程序的编写和调试按照C6000软件开发流程进行,流程分为:产生C代码、优化C代码和编写线性汇编程序3个阶段。使用的工具是TI的集成开发环境 CCS。在CCS下,可对软件进行编辑、编译、调试等工作。在使用C6000编译器开发和优化C代码时[16],对其中关键代码例如需要反复调用和C效率不高的函数需用线性汇编进行重新编写,并且用汇编优化器优化。整个系统的控制以及数字图像处理是用C程序实现,并按照算法标准进行编写,保证算法的可重入性,对输入输出外设的独立性和可调试性,这无疑提高了程序的可读性和可移植性,而汇编程序主要是实现DM642的各部分初始化。PCNN感兴趣区域提取算法在DM642中的实现步骤具体如下:

(1) 在CCS中新建一个DSP的工程,并按照DM642的硬件结构和系统需求编写C程序。

(2) 借助CCS中的调试,编译,链接等工具生成.OUT可执行文件。

(3) 初始化系统,并利用DSP/BIOS实时工具来进行性能评测,并对C程序和线性汇编进行优化。

(4) 重新构建工程,再生成.OUT可执行文件。

(5) 运行程序,如果满足要求则停止;否则重复步骤(2)～步骤(4)直至满足使用要求。

3 实验结果和分析

为了验证该系统的准确性和完整性,对多幅图片进行处理,下面以rice和coins 2幅图为例,对其定的米粒和硬币进行提取,其图像处理结果如图2~┩5所示。

从以上实验结果可以看出,改进过的PCNN在正向传播中更有效地消除了周围的干扰,在反向传播中更好地恢复了图像的感兴趣区域,使得提取图像感兴趣区域的准确性和完整性得到了较好的改进。而时间和性能上也取得了较大的提升,能够快速而准确地提取出感兴趣的图像区域。表1为6幅图片的比较结果。

4 结 语

本文给出脉冲耦合神经网络的基本模型,并根据系统需求进行了简化。引进高速数字信号处理器DM642对图像感兴趣区域提取系统进行研究与实现。从实验结果来看,满足了系统所需要的实时性和精度的要求。可以大大缩短类似系统的开发周期,为以后基于感兴趣区域提取的类似系统的研究奠定了良好的基础。

参考文献

[1]CHENG H D, JIANG X H, SUN Y, et al. Color image segmentation: advances and prospects[ J] . Pattern Recognition, 2001, 34: 2259-2281.

[2]ECKHORN R, REITBOECK H J, ARNDT M, et al. Feature linking via synchronization among distributed assemblies: Simulation of results from cat cortex[ J] .Neura1Computation, 1990, 2(3): 293-307.

[3]RANGANATH H S, KUNTIMAD G, JOHNSON J L. Pulse coupled neural networks for image processing[ C] //Proceedings of 1995 IEEE Southeast Conference[ S.l.] : Raleigh NC, 1995: 37-43.

[4]KUNTIMAD G, RANGANATH H. Perfect image segmentation using pulse coupled neural[ J] . IEEE Transactions on Neural Networks, 1999, 10(3): 591-598.

[5]JOHNSON J L, PDGETT M L. PCNN Models and applications[ J] . IEEE Tansactions on Neural Networks, 1999, 10(3): 480-498.

[6]GU X, YU D, ZHANG L. Image thinning using pulse coupled neural network[ J] . Pattern Recognition Letters, 2004, 25: 1075-1084.

[7]KARVONEN J A. Baltic sea ice SAR segmentation and classification using modified pulse coupled neural networks[ J] . IEEE Trans. on Geoscience and Remote Sensing, 2004, 42(7): 1566-1574.

[8]XUE Y, YANG S X. Image segmentation using watershed transform and feed back pulse coupled neural network, Artificial Neural Networks: Biological Inspirations[ M] . Berlin: Springer, 2005.

[9]GU X, YU D. Image shadow removal using pulse coupled neural networks[ J] . IEEE Trans. on Neural Networks, 2005, 16(3): 692-698.

[10]GU X, WANG H, YU D. A new approach for image shadow processing based on PCNN[ J] . Journal of Electronics and Information Technology, 2004, 26(3): 479-483.

[11]CHEN J, GONG J, LIU X. Image binary segmentation by simplified PCNN[ J] . Journal of Geomatics, 2005, 30(1): 38-40.

[12]美国德州仪器公司.TMS320 DSP算法标准[ S] .北京:清华大学出版社,2007.

[13]TMS320DM642 video/imaging fixed-point digital signal processor:US[ P/OL] .20050-5-02[ 2005-05-05] ..

[14]Texas Instruments. The Tm320DM642 video port Mini-Driver[ M] . Texas: Texas Instruments, 2003.

[15]Texas Instruments. DSP/BIOS driver developer′s guide[ M] . Texas: Texas Instruments, 2002.

[16]Texas Instruments. TMS320C6x optimizing C compiler user′s guide[ M] . Texas: Texas Instruments, 2002.