免疫粒子群优化算法在多聚焦图像融合中的应用

摘 要 在多聚焦图像融合中，如何保持原始图像的边缘和细节信息是关键问题。针对多聚焦图像融合的特点提出了一种基于改进克隆选择的免疫粒子群优化算法（Immune Clone Selection Particle Swarm Optimization，ICSPSO）的多聚焦图像融合方法，将图像融合问题归结为最优化问题。首先将待融合图像按区域分块，选取清晰度作为图像子块融合参数的决策变量，然后采用ICSPSO求取图像子块的最优融合权值，以寻求最优组合分块形成的融合图像。与标准粒子群算法（SPSO）相比，ICSPSO将免疫系统的克隆选择算法、高斯变异算子和基于浓度机制的多样性保持策略引入，保持多样性的同时克服了标准粒子群算法易陷局部最优的缺点；并采用自适应凹指数惯性权重控制搜索能力。实验结果表明，ICSPSO算法拥有更快的收敛速度和更好的寻优能力，而且融合图像在主观视觉效果和客观评价指标上均优于基于SPSO算法的多聚焦图像融合效果。

【关键词】多聚焦图像融合 粒子群优化算法 免疫 克隆选择

1 引言

图像融合[1]是信息融合范畴内的以图像为对象的研究领域。图像融合将多个成像传感器或同一成像传感器在不同模式下获取的同一场景的图像信息加以综合， 获取更为精确、更为全面、更为可靠的图像描述。多聚焦图像融合是图像融合领域中的一个重要分支，它是将两幅或多幅来自于同一成像传感器同一场景的镜头聚焦目标不同的图像，经过严格配准后，融合成一幅各部分都清晰的新图像。目前具有代表性的多聚焦图像融合方法是基于多分辨率分析的融合方法。

各类图像融合方法的基本目标都是为取得更好的融合效果，增强图像的解释能力。但不同的融合方法有其相对应的融合参数，融合参数的不同导致融合结果也有所不同。人们通常依赖经验值来配置参数或者根据不同图像相应的改变融合参数，这样很难达到最优的融合效果。在多聚焦图像融合中，如果合理的调整融合参数使其达到极值点，而不是人为经验设置的固定点，这样得到的融合图像的效果就是较优的，甚至是最优的。为了让融合参数能够达到极值点，获得更高的融合效果，选择合适的优化搜索算法成为研究的关键点[2]。

根据Abidi和Gonzalez[3]在1992年提出的架构，图像融合过程可以在不同层次上进行：信号级、像素级、特征级和符号级。本文采用的是像素级的图像融合，已经提出的像素级图像融合算法主要有主成分分析、人工神经网络、小波变换和演化计算等。其中演化计算又包括遗传算法，蚁群算法和粒子群算法。这些融合算法也可以通过其在空间域内执行还是在变换域内执行来区分。

本文提出了一种基于改进克隆选择的免疫粒子群优化算法（Immunity Clone Selection Particle Swarm Optimization， ICSPSO）的多聚焦图像融合方法。将待融合图像按区域分块，引入ICSPSO搜索策略应用于多聚焦图像融合子块融合权值寻优中，以寻求最优组合分块形成的融合图像。ICSPSO将免疫系统的克隆选择算法和基于浓度机制的多样性保持策略引入，保持多样性的同时克服了标准粒子群算法易陷局部最优的缺点；同时采用自适应凹指数惯性权重控制搜索能力。与标准粒子群算法相比，ICSPSO算法拥有更快的收敛速度和更好的寻优能力。实验结果显示，该方法取得了比较满意的效果。

2 粒子群优化算法

粒子群优化算法（Particle Swarm Optimization， PSO）由James Kennedy 和Russell Eberhart 在1995年首次提出，是从生物种群行为特性中得到启发并用于求解优化问题的一种演化计算技术。与其他演化算法相比，PSO用于求解单目标问题具有高速的收敛性，成为演化计算领域的一个新的研究热点[4]。PSO是通过粒子在解空间追随最优粒子进行迭代搜寻最优值。每一次迭代，每一粒子通过两个因素进行自我更新：粒子自身寻解过程中的最佳解，称为“自我意识”，它往往和算法的局部搜索性能有很大的关系；另一个因素称为“群体智慧”，是整个群体所找到的最佳解，在速度更新中他能带领整个群体向问题的全局最优靠拢。在个体和群体的共同协作下算法可以取得最优解。

为了改善基本PSO算法的收敛性能，Y.Shi与R.C.Eberhart在1998年首次在基本PSO的速度方程中引入了惯性权重的概念，称为标准粒子群优化算法（StandardParticle Swarm Optimization，SPSO）。惯性权重w使粒子保持运动惯性，使其有扩展搜索空间的趋势，有能力探索新的区域。SPSO的速度和位置迭代公式如下[5]：

在式（1）、（2）中，，M是群体中粒子的总数；是第k代粒子i速度矢量的第D维分量；是第k代粒子i位置矢量的第D维分量；是粒子i个体最优解位置矢量的第D维分量；是群体最优解位置矢量；w是惯性权重，可取固定值、线性递减变化及随机数，一般在[0.1，1.2]之间；c1、c2是加速常数，又称学习因子；r1、r2是随机函数，产生[0，1]的随机数。

粒子在迭代中不断学习更新，最终飞向解空间中最优解的位置，搜索结束后输出全局最优解。

3 改进克隆选择的免疫粒子群优化算法（ICSPSO）

3.1 克隆选择算法（CSA）

免疫算法（Immune Algorithm， IA）是受到免疫系统启发，模拟自然界生物免疫系统的机理和功能而实现的的一类仿生算法[14]。在众多免疫算法中，基于克隆选择学说[6]（Clonal Selection Theory， CST）产生的克隆选择算法[7]（Clonal Selection Algorithm ，CSA）是模拟生物免疫系统内部的一种微演化过程的免疫优化算法。克隆选择机制中存在着克隆、超变异、抗体与抗原特异性结合，未被激发的细胞消亡及记忆细胞的产生等过程，因此在保证收敛速度的同时又能维持抗体的多样性。克隆选择算法步骤可以表述为如下随机过程：

3.2 改进克隆选择的免疫粒子群优化算法（ICSPSO）

SPSO存在一些缺陷，即容易出现早熟收敛。从式（1）中可以看出，当较小，和也很小时，粒子速度就会受到抑制，导致算法停滞不前，这种情况甚至会出现在搜索早期。特别的，当粒子是当前全局最优解时，和的值为0，这些早熟的收敛点有可能是局部最优点或者局部最优点邻域的点。此外， SPSO早期收敛速度较快，但到了寻优的后期接近或进入全局最优解区域时收敛速度比较缓慢。这主要归因于算法收敛到局部极小，缺乏有效的机制使算法保持多样性或逃离局部极小点。因此，对算法的早熟收敛行为进行改进以及采取有效机制使算法保持多样性是算法改进的重点[8， 9]。

针对上述SPSO算法存在的问题，本文提出了一种改进克隆选择的免疫粒子群优化算法（ICSPSO）。ICSPSO采用人工免疫系统算法中的定义，抗原、抗体、抗原和抗体之间的亲和度分别对应于目标函数、解、解与目标函数的适应度。在抗体初始化后，按照（1）、（2）两式进行迭代计算，首先选择亲和度高的抗体进行克隆操作，使抗体更多的聚集在“好”的位置，加快收敛速度；接下来使用变异算子对克隆操作后的抗体进行变异操作，使抗体在“好”位置附近的各个方向进行探索；最后使用基于浓度机制的多样性保持策略对其他抗体进行选择，以保证多样性。

对于粒子速度更新公式，较大的w（惯性权重）可以加强全局搜索能力，而较小的w能加强局部搜索能力，当时，算法具有较快的收敛速度，因此在很多文章中提出了自适应线性权重的概念并应用在算法中[2]，取得了一定的效果。本文为了使ICSPSO算法在开始时具有较强的全局搜索能力，而在后期具有较强的局部寻优能力，提出了自适应凹指数权重，其公式如下：

为当前迭代次数与最大迭代次数的比值。

对于变异算子，采用增加随机扰动的方法，增强了ICSPSO算法跳出局部最优解的能力。设为的第k维值，η是服从分布的随机变量，则

对于克隆变异操作后，其他粒子的选择，本文采用基于浓度机制的多样性保持策略，定义第i个粒子的浓度为：

式（5）中M为克隆粒子数，N为粒子群大小，为第i个粒子的亲和度。由式（5）可以推导出基于粒子浓度的概率选择公式，如式（6）所示：

ICSPSO算法流程图如图1所示。

为了验证ICSPSO算法的性能，本文分别以Schwefel函数和Peak函数作为目标函数进行测试，式（7）和式（8）分别给出了两函数表达式。

图2是ICSPSO算法与SPSO算法分别对两个目标函数进行20次测试后，得到的平均最佳适应度值随迭代次数变化的曲线图，从图2中可以看出，ICSPSO算法的收敛速度、收敛能力和逃离局部最优点的能力均优于SPSO算法。

4 采用ICSPSO的多聚焦图像融合

4.1 融合规则的选取

在空间域中，源图像A，B可用矩阵表示为IA和IB，对图像A，B进行加权融合的融合效果取决于权值，权值的选取就变得尤为重要[10，11]。

简单加权方法以单个像素点进行计算加权，每个像素点的权值都取到最优值点时，就可以得到最优的融合效果，如式（9）所示。这种方法计算复杂度非常高，耗时也大。而且，基于单个像素点的融合方法没有综合考虑图像整体特征或者邻域特征，有一定的局限性。

综合加权方法是对整个图像矩阵进行计算加权，决策变量只有一个，当权值ω取到最优点时，就可以得到最优的融合效果。如式（10）所示。这种方法计算代价低，耗时短，但是因为没有考虑图像的局部特征和空间细节信息，因此融合效果不是很好。

其中F为融合图像矩阵，ωA和ωB为权值。

针对简单加权法和综合加权法的缺陷，本文提出一种基于区域分块的融合权值选择方法。将待融合多聚焦图像A、B按5×5大小的区域分块，对每个图像子块应用ICSPSO算法进行融合权值选取，得到每个子块的最优融合权值，而后这些最优融合子块组合形成的融合图像。区域融合综合考虑了相邻像素之间的相关性，降低了噪声敏感度，突出了区域特征，可得到良好的融合特征。

针对多聚焦图像的特性，选取融合评价指标中的清晰度作为ICSPSO算法中的目标函数。清晰度是一个对比度的测度，能够反映图像的细节和边缘信息，含边缘的图像块的清晰度比不含边缘的大，清晰图像块的清晰度比模糊图像块的大，因此，对于多聚焦图像的融合，可采用清晰度作为活动测度进行融合。清晰度函数如式（11）所示。

4.2 融合步骤

基于ICSPSO的多聚焦图像融合步骤如下：

（1）将待融合图像A，B按5×5的区域大小分成若干图像子块。

（2）随机产生初代种群，粒子群大小N=20，并初始化ICSPSO算法的各项参数，迭代次数=50，学习因子，惯性权重，按照公式（3）自适应变化。

（3）以融合权值ω作为决策变量，清晰度函数作为目标函数，对每个图像子块应用ICSPSO算法寻优，得到最优的融合权值。

（4）对每个图像子块按步骤3得到的融合权值ω进行加权融合，得到最优融合子块组合的融合图像。

5 融合实验结果与主客观分析

5.1 融合实验结果

为了验证本文提出的多聚焦图像融合算法的正确性和有效性，选择了两组多聚焦图像进行融合实验。图3（a）（b）为分别为对中心部分和除去中心部分的边缘部分进行了高斯模糊处理得到的Lena图像，大小为452×452。图4（a）（b）分别为左边聚焦和右边聚焦的图像，大小为404×408。采用三种不同的融合方法与本文融合方法做对比，分别为，方法一：基于SPSO的综合加权多聚焦图像融合；方法二：基于ICSPSO的综合加权多聚焦图像融合；方法三：基于SPSO和区域分块的多聚焦图像融合；融合图像分别如图3（c）（d）（e）（f）和图4（c）（d）（e）（f）所示。

5.2 实验结果的主客观分析

两组多聚焦融合图像从主观视觉效果上来看，在融合图像的清晰度上，方法二和本文方法明显分别高于方法一和方法三，说明与ICSPSO相比，SPSO没有得到最优解，而是陷入最优解周围的局部最优解，因此没有得到最优的融合图像；而与方法二相比，本文方法得到的融合图像纹理更清晰，空间细节保持能力强，在视觉效果上更好，说明本文算法中的图像区域分块，寻求最优子块组合方法的有效性。

为了能更全面的衡量本文算法的有效性，除了用主观目视判别，还需要用客观评价指标做定量分析。本文采用图像的信息熵，清晰度和互信息量三种性能指标来对四种融合算法进行定量分析[12，13]。并且记录了每种方法的20次试验的平均耗时（秒），结果如表1所示。

对表1的数据从数值结果分析，在两组多聚焦图像的融合中，本文算法的信息熵、清晰度和互信息量均大于其他三种方法，特别的，与方法一相比，第一组多聚焦融合图像上分别提高了2.00024%、10.92669%和5.14677%；第二组融合图像上分别提高了0.45998%、6.56662%和4.00475%。在耗时方面，与方法一相比，本文算法在图像融合中增加了图像分块寻优和粒子群免疫克隆选择的过程，增大了计算复杂度，所以耗时有所增加。

6 结束语

本文提出了一种采用改进克隆选择的免疫粒子群优化算法（ICSPSO）的多聚焦图像融合方法。首先将待融合多聚焦图像按 的区域大小分成若干图像子块；而后将清晰度作为决策变量，引入ICSPSO搜索策略应用于融合子块的融合权值寻优中，寻求最优组合分块形成的融合图像；最后，每个图像子块按照得到的最优融合权值进行加权融合，得到最优融合子块组合的融合图像。与标准粒子群算法相比，ICSPSO算法拥有更快的收敛速度和更好的寻优能力。融合实验结果显示，本文算法在主观和客观评价上均优于基于SPSO的综合加权法、基于ICSPSO的综合加权法和基于SPSO和图像区域分块的融合方法。

参考文献

[1]Smith M I，Heather J P.A review of image fusion technology in 2005[C]. In：Proceedings of the SPIE.Orlando， USA：SPIE，2005.29-45.

[2]NIU Yi-feng，SHEN Cheng-lin. Multiobjective Optimization for Multifocus Image Fusion Using IMOPSO [J].ACTA ELECTRONIC SINICA，2006（9）： 1578-1583.（牛轶峰，沈林成.基于IMOPSO算法的多目标多聚焦图像融合[J]. 电子学报，2006（9）：1578-1583.）

[3]Abidi M A，Gonzalez R C.Data Fusion in Robotics and Machine Intelligence. San Diego：Academic Press，1992.24-35.

[4]Kennedy J，Eberhart R.C.Particle Swarm Optimization[C].In：Proc.IEEE Int' l.Conf.on Neural Networks，IV. Piscataway，NJ：IEEE Service Center， 1995，1942-1948.

[5]Shi Y，Eberhart R C.A Modified Particle Swarm Optimizer[C].In： Proceedings of the IEEE International Conference on Evolutionary Computation.Piscataway，NJ：IEEE Press，1998，69-73.

[6]Burnet F M.The Clonal Selection Theory of Acquired Immunity[M].Cambridge University Press，1959.

[7]DeCastro L N，Zuben V.Learning and optimization using the clonal selection.issue on Artificial Immune System （AIS），2002，6（3）：239-251.

[8]HUANG Lei. Overview of Particle Swarm Optimization [J].Mechanical Engineering & Automation， 2010，10（5）：197-199.（黄磊.粒子群优化算法综述[J].机械工程与自动化， 2010，10（5）：197-199.）

[9]CHEN Ying，XU Xiao-hui，LI Zhi-quan.Study of Modified Particle Swarm Optimization Algorithm Based on Immune Clone Principle[J].Journal of System Simulation， 2008，20（6）：1471：1474.（陈颖，徐晓晖，李志全.基于免疫克隆原理的改进粒子群优化算法的研究[J].系统仿真学报，2008，20（6）：1471：1474.）

[10]TAN Zheng，BAO Fu-min，LI Ai-guo， etc.Digital Image Fusion [M].XI ' AN：XI ' AN JIAO TONG UNIVERSITY PRESS，2004：7-46.（覃征，鲍复民，李爱国等.数字图像融合[M].西安：西安交通大学出版社，2004：7-46.）

[11]QU Xiao-bo，YAN Jing-wen，YANG Gui-de.Multifocus image fusion method of sharp frequency localized Contourlet transform domain based on sum-modified-Laplacian[J]. Optics and Precision Engineering， 2009，17（5）：1203-1211.（屈小波，闫敬文，杨贵德.改进拉普拉斯能量和的尖锐频率局部化Contourlet域多聚焦图像融合方法[J].光学精密工程，2009，17（5）：1203-1211.）

[12]HU Liang-mei，GAOJun，HEKe-feng.Research on Quality Measures for Image Fusion[J].Acta Electronica Sinica， 2004，32（12A）：218-221.（胡良梅，高隽，何柯峰.图像融合质量评价方法的研究[J].电子学报，2004，32（12A）：218-221.）

[13]WU Zhi-guo，WANG Yan-jie，LI Gui-ju.Application of adaptive PCNN based on wavelet transform to image fusion[J].Optics and Precision Engineering，2010，18（3）：708-715.（武治国，王延杰，李桂菊.应用小波变换的自适应脉冲耦合神经网络在图像融合中的应用[J].光学精密工程，2010，18（3）：708-715.）

[14]TIAN Xia，LEI Xiu-juan.Application of immnue particle swarm optimization algorithm in image fusion[J]. Computer Engineering and Applications，2009，45（5）：167-170.（田霞，雷秀娟.免疫粒子群优化算法在图像融合中的应用[J].计算机工程与应用， 2009，45（5）：167-170.）

作者简介

杨粤涛（1985-），男，广东省潮州市人。工学博士学位，毕业于中国科学院长春光学精密机械与物理研究所。现就职于中航工业雷达与电子设备研究院，主要从事机载、舰载、车载座舱智能显控系统研发、人机工程研究。

作者单位

中航工业雷达与电子设备研究院 江苏省苏州市 215151