显著物体提取算法综述

收稿日期：2013-04-09

基金项目：国家自然科学基金（60832010， 61100187）；中央高校基本科研业务费专项基金（HIT. NSRIF. 2010046）；博士后基金（2011M500666）。

作者简介：贺欣（1982-），男，江苏徐州人，博士研究生，主要研究方向：媒体安全、视觉感知计算；

韩琦（1981-），男，河南平顶山人，博士，讲师，主要研究方向：媒体安全、生物信息安全；

牛夏牧（1961-），男，辽宁锦州人，博士，教授，博士生导师，主要研究方向：信息安全技术、密码技术、信息隐藏技术等。

显著物体提取算法综述

贺欣， 韩琦， 牛夏牧（哈尔滨工业大学 计算机科学与技术学院， 哈尔滨 150080）摘要：随着基于显著性的视觉注意计算框架的演化和机器视觉应用的不断增长，显著物体提取成为基于显著性的视觉注意研究领域的重要研究方向。文中介绍了显著物体提取算法的最新研究成果。首先给出了显著物体提取的关键问题。然后根据不同的提取框架对现有的显著物体提取算法进行了分类和分析。并在一个包含1 000幅图像的公开的显著物体数据集上对不同的显著物体提取算法进行了评测。最后总结并展望了显著物体提取算法下一步发展方向。

关键词：显著物体； 物体提取； 算法； 评测

中图分类号：TP301 文献标识码：A文章编号：2095-2163（2013）04-0065-03

Survey of Salient Object Extraction Algorithms

HE Xin， HAN Qi， NIU Xiamu

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150080， China）

Abstract：With the evolution of saliency-based visual attention computation framework and the increase of computer vision applications， salient object extraction becomes an appealing topic in saliency-based visual attention research area. In this survey， the paper introduces recent development of salient object extraction algorithms. First， it provides key issues of salient object extraction， then categorizes and analyzes existing salient object extraction algorithms according to different extraction frameworks. And it uses a public salient object dataset including 1000 images to evaluate different salient object extraction algorithms. Finally， the paper states the conclusion and discusses the future work on salient object extraction algorithms.

Key words：Salient Object； Object Extraction； Algorithm； Evaluation

0引言

从上世纪60年代机器视觉学科引起人们广泛、密切的关注之后，技术人员就一直致力于研究使计算机能够和人类一样具有对外界环境实现自主适应的能力方面的项目课题。为了使计算机能够进行高层次语义分析理解，首先就要解决图像中的对象提取环节。因而，物体提取就成为计算机视觉的一个基础问题。尽管交互式图像分割算法（比如GrabCut）能够获得很好的物体提取结果，但却仍然需要有主体人的少量参与。如何在完全没有主体人参与的情况下，使计算机能够快速有效地实现物体提取，即成为最近几年的研究热点。而依据基于显著性的视觉注意可计算模型研究成果的长足进步，使得在完全没有人参与的情况下快速有效地从图像中提取显著物体业已成为可能。

因为显著物体提取可以为诸多应用提供原始对象，其应用的领域空间就极为广泛，如目标识别、目标检索和图像压缩等。目前众多科研单位均对显著物体提取进行了研究，如加州理工学院、洛桑联邦理工学院、清华大学、哈尔滨工业大学、上海大学等。虽然已经提出了一系列新的算法，但关于显著物体提取算法的综述类文献却仍然较少。为此，本文将对显著物体提取方面的最新研究成果进行介绍。

本文的组织结构如下：第1节介绍了显著物体提取的关键问题；第2节对现有的显著物体提取算法进行了分类和分析；第3节对现有的显著物体提取算法进行了评测；最后在第4节给出了总结并展望了下一步的研究工作。

1 显著物体提取算法关键问题

显著物体提取算法通常包括以下步骤：（1）显著图计算；（2）初始显著区域提取；（3）精细显著物体提取。因此显著物体提取算法的关键问题与其步骤均是相关以及对应的。

首先，如何有效获取图像的显著图。按照计算的对象，显著计算可以分为基于注视点的显著性计算[1-3]和显著区域计算[4-6]。基于注视点的显著性计算获得的常是图像中少量的人眼关注位置，如果直接使用由基于注视点的显著性计算所获得的显著区，就必须面临哪些区域显著，哪些不是显著的问题。因此，如何以检测到的人眼关注点而获得显著区域、并进一步获得显著物体是采用基于注视点的显著图的显著物体提取算法中需要解决的关键问题。对于显著区域计算虽然可以高亮图像中具有显著性的区域，从而极大地改进显著物体提取的有效性。但是显著区域考虑的显著属性并不充分，较易产生高亮错误，而一旦错误则将大幅降低显著物体提取的效果。因此，如何获取有效的显著区域，是采用基于显著区域计算的显著图的显著物体提取算法中需要解决的关键问题。

其次，初始显著区域提取。目前得到广泛应用的初始显著区域提取是二值化方法[4-8]，即对显著图直接采用显著阈值二值化而获得显著区域，该方法的关键问题是阈值选择的最优性。此外，一些算法也从显著物体定位入手，通过窗口搜索获得物体在图像中的位置。这些方法的关键问题是由于没有考虑后续的显著物体提取算法，使得定位的窗口如果直接应用于分割算法，将直接导致性能的明显下降。

最后，精细显著物体提取。GrabCut[9]是得到普及推广的可用于显著物体提取的交互式图像分割算法[5，10-11]。在具体应用中，需要多次迭代，并涉及一些其他操作，比如腐蚀和膨胀操作。如何在降低迭代次数同时减少其他操作的情况获得较好的效果是该步骤的关键问题。

2显著物体提取算法分类

在发展的纵轴线上，显著物体提取算法的变化主要体现在其不同的提取框架上，因此，本文将从不同的提取框架方面对显著物体提取算法进行分类。具体叙述如下。

2.1直接阈值分割的显著物体提取算法

该类方法采用简单阈值或者自适应阈值，直接对显著图进行二值化，获得显著物体。其中代表性的方法为：文献[7]和文献[4]。文献[7]中采用了一个固定阈值的方式直接二值化图像。而为了提高算法的性能，文献[4]做了两点改进。值得一提的改进是使用Mean-shift分割算法[12]划分图像区域，采用依赖图像显著度的自适应阈值的方法，实现二值化显著图以得到显著物体。第4期贺欣：等，显著物体提取算法综述智能计算机与应用第3卷

2.2基于交互图像分割的显著物体提取算法

GrabCut图像分割算法由文献[5]使用，并已获得具有清晰边界的显著物体。方法首先使用固定阈值二值化显著图，在二值化的显著图上结合原始图像通过多次迭代GrabCut算法来改善显著物体分割结果，并在迭代过程中对图像进行腐蚀和膨胀，以为下一次迭代提供有益协助。因此，该方法的主要问题是如何选择合适的显著阈值以及如何控制迭代次数。

2.3基于矩形窗定位和交互式图像分割的显著物体提取算法

为了避免显著阈值的影响并同时减少GrabCut迭代次数，文献[10]和文献[11]分别采用了结合矩形窗定位及交互式图像分割以提取显著物体。针对显著阈值的问题，文献[10]提出了一种非显著阈值依赖的、且基于区域差异的显著密度最大的矩形窗口搜索算法。而文献[11]则结合显著性与边缘特性，提出了一种非显著阈值依赖的嵌套窗口搜索算法。两种算法都取得了较好的实验效果。

3显著物体提取算法测试

本节将对现有典型的显著物体提取算法进行性能评测。性能评测采用的数据库是公开的Achanta显著物体数据集[4]，该数据集包含了1 000幅图像及对应手工标记的具有清晰边界的显著物体基准图。图1给出了Achanta显著物体数据集中一些图像示例。

Precision、Recall和F-Measure可用来作为评价指标。其中，F-Measure的定义为：

式中，β2按照文献[4]中的建议设置为0.3，以强调检测结果的准确性。

图2给出了文献[4-5，10-11]在Achanta显著物体数据集上的评测结果。由图2可以看出，由于GrabCut算法的应用，使得显著物体检测算法结果获得了较大提高。同时，文献[5，10-11]的性能比较接近，但是同文献[5]相比，文献[10-11]都是非显著阈值依赖的，而且在仅仅使用一次GrabCut迭代的同时，也没有附加其他操作，比如膨胀和腐蚀。

4结束语

本文对显著物体提取算法的最新研究成果进行了完整介绍，非显著阈值依赖的结合窗口定位和交互式分割思路的显著物体提取算法成为下一步发展的趋势。然而，显著物体提取算法方兴未艾，因此会有更多有效算法不断涌现。一方面，需要继续深入研究显著物体提取算法的关键问题，另一方面，还需要对显著物体提取的后续发展进行更为广泛的研究。（下转第70页）

（上接第66页）

参考文献：

[1]ITTI L， KOCH C， NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1998， 20（11）：1254–1259.

[2]BRUCE N， TSOTSOS J. Saliency based on information maximization [C] //Advances in Neural Information Processing Systems. Vancouver， CanadaMIT Press， 2006：155–162.

[3]GAO D， HAN S， VASCONCELOS N. Discriminant saliency， the detection of suspicious coincidences， and applications to visual recognition [J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2009， 31（6）：989 –1005.

[4]ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequency-tuned salient region detection [C] //22th IEEE Conference on Computer Vision and Pattern Recognition.2009：1597–1604.

[5]CHENG M， ZHANG G， MITRA N， et al. Global contrast based salient region detection[C] // IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.2011： 409–416.

[6]HE Xin， JING Huiyun， HAN Qi， et al. Salient region detection combining spatial distribution and global contrast [J]. Optical Engineering， 2012， 51（4）：047007–1–047007–4.

[7]HOU X， ZHANG L. Saliency detection： a spectral residual approach[C] //IEEE Conference on Computer Vision and Pattern Recognition. 2007：1–8.

[8]HOU X， HAREL J， KOCH C. Image signature： highlighting sparse salient regions [J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2012， 34（1）：194–201.

[9]ROTHER C， KOLMOGOROV V， BLAKE A. “Grabcut”-interactive foreground extraction using iterated graph cuts [J]. ACM Trans. on Graphics， 2004， 23（3）：309–314.

[10]HE Xin， JING Huiyun， HAN Qi， et al. Region diversity based saliency density maximization for salient object detection [J]. IEICE Trans. on Fundamentals of Electronics， Communications and Computer Sciences， 2013， E96-A（1）：394-397.

[11]JING Huiyun， HAN Qi， HE Xin， et al. Saliency density and edge response based salient object detection [J]. IEICE Transactions on Information and Systems， 2013， 96-D（5）.

[12]CHRISTOUDIAS C， GEORGESCU B， MEER P. Synergism in low level vision [C]. // IEEE Conference on Pattern Recognition， 2002.