超像素和阈值分割相结合的显著目标检测算法

（1.上海应用技术学院 计算机科学与信息工程学院， 上海 201418； 2.华东理工大学 自动化研究所， 上海 200237）

摘 要： 现有的显著性检测结果普遍含噪及未能完整高亮显著物体，使得后续的显著目标检测仍是一个具有挑战性的问题。提出了一种结合超像素分割和阈值分割的新的显著目标检测算法。算法首先利用超像素分割方法对原图像进行分割计算，然后依据显著性检测结果计算每一个分割区域像素的平均显著度值，接着用平均显著度值表示超像素内每一个像素的原显著度值，最后根据阈值分割算法对其进行计算获取二值掩码图以表示显著目标检测结果。实验结果表明，在4种具有代表性的显著图上，所提算法能有效检测显著目标，具有较高的正确率、召回率和F度量值。

关键词： 显著目标检测； 超像素分割； 阈值分割； 感兴趣区域

中图分类号： TN919.8?34 文献标识码： A 文章编号： 1004?373X（2016）14?0095?05

Salient object detection algorithm combining superpixel segmentation

with threshold segmentation

ZHANG Qing1， LIN Jiajun2

（1. College of Computer Science and Information Engineering， Shanghai Institute of Technology， Shanghai 201418， China；

2. Institute of Automation， East China University of Science and Technology， Shanghai 200237， China）

Abstract： The current saliency detection result usually contains noise， and can’t highlight the salient object completely， which makes the subsequent salient object detection be still a challenging problem， so a new salient object detection algorithm combining superpixel segmentation with threshold segmentation is proposed. In this algorithm， the superpixel segmentation method is used to segment and compute the original image， and according to the saliency detection result， the average saliency value of each segmentation area pixel is computed to express the original saliency value of each pixel in superpixel， then the threshold segmentation algorithm is used to compute the average saliency value to gain the binary mask map for expressing the salient object detection result. The experimental results show that the proposed algorithm can detect the salient objects in four representative saliency maps effectively， and has higher accuracy， recall rate and F?measure.

Keywords： salient object detection； superpixel segmentation； threshold segmentation； region of interest

0 引 言

图像作为视觉信息的主要表达手段，是人类感知客观世界的主要信息来源。传统的图像处理方法将图像的所有区域赋予相同的优先处理等级，然而实际上人们主要关心的处理对象内容通常仅占图像中的一小部分；因此，由计算机自动检测出图像的主要内容或感兴趣对象的显著目标检测方法可以大大提高计算机信息处理效率。显著目标检测的研究成果可以广泛应用于许多计算机视觉任务，如图像/视频压缩[1]、目标追踪[2]、基于内容的图像检索[3?4]、图像质量评价[5]和目标识别[6?8]等。

完整的显著目标检测算法一般处理过程主要分为两步：

（1） 根据视觉注意力模型计算图像的显著图，显著图记录图像中每个像素的显著度值，一般使用灰度图来表示，简称显著性检测；

（2） 对显著图进行提取处理，用一幅二值掩码图表示最后的显著目标检测结果，简称显著目标检测，这是本文主要的研究内容。

目前显著性检测算法大体上分为两大类：基于局部对比度和基于全局对比度。在基于局部对比度算法中，Cheng等提出了基于区域对比度的显著图检测方法[9]，结合图像分割算法，充分考虑到图像的局部性特征，取得了较好的效果，但其运行效率相对较低。在基于全局对比度算法中，Goferman等基于全局考虑来进行显著图检测[10]，但由于只叠加[K]个最相近单元对比度的策略，检测结果有时会无法达到全局对比度的效果。Cheng等提出的基于全局直方图对比度得到显著图算法在运行时间效率方面取得了较好的结果[11]。

与现有的显著性检测研究成果相比，在显著图基础上进行显著目标检测提取的研究还较少，主要分为两大类：用一矩形表示的显著区域检测和具有完整物体轮廓的显著目标检测。在显著区域检测方面，文献[12]提出采用穷举方式搜索一至少包括显著图95%显著点的最小矩形区域以表示显著目标。然而显著区域与全图显著点的比值与显著物体的形状、大小以及输入图像的背景复杂度等均有关系，很难仅用一个预定义的阈值简单表示，并且穷举搜索会导致算法运行效率低下。Luo等提出基于显著密度最大化算法[13]，根据显著区域的显著密度大于背景区域这一特征建立目标函数，直接在显著图上采用有效子窗口搜索算法[14]加速显著区域搜索效率。该算法需要根据不同的显著图检测算法调整算法参数以平衡检测窗口的尺寸。Wang等提出了一个自动上下文相关的算法[15]，结合空间先验信息和外观更新模型，使前景物和背景在迭代过程中的能量最小化，从而获取显著目标。但是这类方法不适用于具有复杂背景的图像，并且通常需要先验知识以提高分割效果。在显著目标检测方面，现有的算法较多的是使用一阈值对显著图进行二值化分割处理以获取显著目标[16]。文献[17]采用2倍平均显著度的方法提取显著目标。文献[18]提出采用3倍平均显著度作为阈值得到一张二值化的掩码图来表示图像中感兴趣的目标。文献[19]提出使用[K]均值聚类分割图像，当某个区域的平均显著度大于预设的常数阈值时，便认为该区域属于显著目标。文献[20]随后提出了改进算法，使用均值漂移算法进行分割，并用自适应阈值取代常数阈值进行显著目标检测。文献[21]提出采用矩量保持法进行显著目标的分割。

本文提出一种简单的结合超像素分割算法和阈值分割算法的显著目标检测算法，首先利用简单线性迭代聚类的超像素分割算法对自然图像进行分割处理，接着根据显著图计算每个超像素的平均显著度值，最后利用阈值分割方法得到二值掩码图标识显著目标。

本文所提算法在公开的ASD基准数据集上进行测试，并且与现有的相关算法进行比较。实验结果表明，本文所提算法无需事先具备显著物体形状、大小等先验知识，与已有的相关方法相比，具有较好的检测效果，在正确率、召回率和F度量值等客观评价指标方面均有提高。

1 超像素分割

超像素生成技术是将图像中一些具有相似性质的点进行聚类[22]，从而将图像过分割的一种图像分割算法。在图像的一个封闭区域内具有相同或近似颜色或者纹理等特征的像素集合称为超像素。超像素作为像素点的聚类已经广泛应用于图像分割、图像分类等领域。超像素分割的结果是具有一定视觉感知意义的原子区域，具有人类理解图像的一定语义信息，减少了图像像素间的冗余度。

一般的超像素算法通常不能控制超像素的数量，且形成的超像素形状不规则。本文所提算法利用简单线性聚类（Simple Linear Iterative Clustering algorithm with 0 parameter， SLIC0）超像素方法[23]对原图像进行分割，产生形状较为规则的超像素。SLIC算法将图像附近的像素聚集为超像素，再将超像素看作图中的每个结点实现图像分割，该算法具有速度快、超像素个数可控、边缘覆盖比较准确且生成的超像素比较均匀的特点。

如图1所示，原图像经过SLIC0分割，输出500个具有相似颜色、纹理特征的超像素块，图中向日葵的外轮廓、叶子的形状以及白色背景区域被清晰划分开来。

算法主要步骤如下：

步骤1：将输入RGB图像转换到CIELab颜色空间。

步骤2：假设给定图像有[N]个像素，拟分割为[K]个超像素，则每个超像素的大小为[NK]，每个聚类中心的距离为[A=NK]。将聚类中心移动到以其为中心的[3×3]窗口内梯度值最小的位置以避免聚类中心在图像的边缘位置。

步骤3：算法利用一个五维特征向量（[CIELab]颜色空间的亮度信息[L]和颜色信息[a]，[b]以及像素的[x]，[y]坐标值）表示像素特征信息。根据距离函数[dlab]（见式1），判断每一个聚类中心[2S×2S]范围内的像素点是否属于该类，将每一类像素点都贴上相同的标签：

[dlab=（lk-li）2+（ak-ai）2+（bk-bi）2] （1）

其中[[lk，ak，bk，xk，yk]T]为第[k]个聚类中心。

步骤4：根据得到的每一类像素点，重新计算该类的聚类中心。

步骤5：不断迭代计算步骤（4）和步骤（5），直至算法收敛或迭代次数小于某个上限。

步骤6：通过距离比较，将一些剩余的点归到已有的类中。

2 阈值分割

在众多图像分割算法中，阈值化分割因其极致简约和高效实用而得到最多应用。阈值分割的基本思想是在图像最小灰度和最大灰度之间确定一个阈值，然后将图像中所有像素按其灰度级以该阈值为界分为两类。本文所提算法利用著名的Otsu方法将经超像素分割计算后的显著图二值化。

Otsu方法利用统计学习中的方差分析理论，通过最大化类间方差或等价的最小化类内方差来求取最佳阈值，Otsu方法因计算简单、实时性高、鲁棒性强的特点而被广泛使用[24]。

给定一幅[N]个像素的灰度图像的灰度级数为[L]，其中，灰度[i]的像素个数为[ni]，则灰度为[i]（[i∈{0，1，2，…，L-1}]）的像素的频率为[pi=niN]。假定有阈值[t]将输入图像中灰度不大于[t]的像素分为背景[B]，将灰度大于[t]的像素归为目标[O]，则某一像素被分为背景和目标的概率分别为：

则分配到背景和目标中的像素的类内灰度均值分别为：

根据Otsu算法准则得到最佳阈值[t?]为：

3 本文算法

本文所提算法提出了一种基于SLIC0超像素分割算法和Otsu阈值分割算法的显著目标检测算法，该方法比较简单，依据SLIC0超像素分割结果对显著图进行计算，用超像素的平均显著度值取代该超像素内每个原始像素的显著度值，再利用Otsu算法进行二值分割从而获取掩码图以标识显著目标。

[2] LI J， LEVINE M， AN X， et al. Visual saliency based on scale?space analysis in the frequency domain [J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（4）： 357?366.

[3] SUN J， XIE J， LIU J， et al. Image adaptation and dynamic browsing based on two?layer saliency combination [J]. IEEE transactions on broadcasting， 2013， 59（4）： 602?613.

[4] 赵宏伟，李清亮，刘萍萍.基于分级显著信息的空间编码方法[J].电子学报，2014，42（9）：1863?1867.

[5] 徐少平，杨荣昌，刘小平.信息量加权的梯度显著度图象质量评价[J].中国图象图形学报，2014，19（2）：201?210.

[6] SHEN H， LI S， ZHU C， et al. Moving object detection in aerial video based on spatiotemporal saliency [J]. Chinese journal of aeronautics， 2013， 26（5）： 1211?1217.

[7] 赵丹培，肖腾蛟，史骏，等.基于显著语义模型的机场与油库目标的识别方法[J].计算机辅助设计与图形学学报，2014，26（1）：47?55.

[8] REN Z， GAO S， CHIA L T， et al. Region?based saliency detection and its application in object recognition [J]. IEEE transactions on circuits and systems for video technology， 2014， 24（5）： 769?779.

[9] 张巧荣，景丽，肖会敏，等.利用视觉显著性的图像分割方法[J].中国图象图形学报，2011，16（5）：767?772.

[10] CHENG M， MITRA N， HUANG X， et al. Global contrast based salient region detection [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（3）： 569?582.

[11] GOFERMAN S， ZELNIK L， TAL A. Context?aware saliency detection [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. California： IEEE， 2010： 2376?2383.

[12] CHENG M， ZHANG G， MITRA N， et al. Global contrast based salient region detection [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado： IEEE， 2011： 409?416.

[13] LIU T， YUAN Z， SUN J， et al. Learning to detect a salient object [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（2）： 353?367.

[14] LUO Y， YUAN J， XUE P， et al. Saliency density maximization for efficient visual objects discovery [J]. IEEE transactions on circuits and systems for video technology， 2011， 21（12）： 1822?1834.

[15] CHRISTOPH H， LAMPERT B， HOFMANN T. Efficient subwindow search： a branch and bound framework for object localization [J]. IEEE transactions on pattern analysis and machine intelligence， 2009， 31（2）： 2129?2141.

[16] WANG L， XUE J， ZAHNG N， et al. Automatic salient object extraction with contextual cue [C]// Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona： IEEE， 2011： 1028?1035.

[17] YANG C， ZHANG L， LU H， et al. Saliency detection via graph?based manifold ranking [C]// Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE， 2013： 3166?3173.

[18] HOU X， ZHANG L. Saliency detection： a spectral residual approach [C]// Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis： IEEE， 2007： 1?8.

[19] ACHANTA R， ESTRADA F， WILS P， et al. Salient region detection and segmentation [C]// Proceedings of 2008 6th International Conference on Computer Vision Systems. Greece： Springer， 2008： 66?75.

[20] ACHANTA R， HEMAMI S， ESTRADA F. Frequency?tuned salient region detection [C]// Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami： IEEE， 2009： 1597?1604.

[21] VIKRAM T， TSCHEREPANOW M， WREDE B. A saliency map based on sampling an image into random rectangular regions of interest [J]. Pattern recognition， 2012， 45（9）： 3114?3124.

[22] YANG L， TIAN J， WU D. Content based image authentication by feature point clustering and matching [J]. Security and communication networks， 2012， 5（6）： 636?647.

[23] ACHANTA R， SHAJI A. SLIC superpixels compared to state?of?the?art superpixel methods [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（11）： 2274?2282.

[24] 申铉京，龙建武，陈海鹏，等.三维直方图重建和降维的Otsu阈值分割算法[J].电子学报，2011，39（5）：1108?1114.