对象级特征引导的显著性视觉注意方法

摘 要：针对已有视觉注意模型在整合对象特征方面的不足，提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先，利用已训练的卷积神经网（CNN）对多类目标的强大理解能力，获取待处理图像中对象的高层次特征图；然后结合实际的眼动跟踪数据，训练多个对象特征图的加权系数，给出对象级突出图；紧接着提取像素级突出图，并和对象级突出图融合获得显著图；最后，在OSIE和MIT数据集上验证了该方法，并与国际上流行的视觉注意方法进行对比，结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明，所提方法能够更加充分地利用图像中对象信息，提高显著性预测的准确率。

关键词：视觉注意；自顶向下；显著性；对象信息；卷积神经网

中图分类号：TP391.41

文献标志码：A

文章编号：1001-9081（2016）11-3217-05

0 引言

视觉注意机制的研究是探索人眼视觉感知的重要一环。在过去几十年中，如何用计算模型模拟人眼视觉注意过程一直是核心问题。尽管取得了很大的进步，但是快速准确地在自然场景中预测人眼视觉注意区域仍然具有很高的挑战性。显著性是视觉注意的一项重要研究内容，它反映了区域受关注的程度。本文的研究着眼于显著性计算模型，更多模型对比和模型分类可以参考Borji等[1]的文章。视觉注意存在两种机制：自底向上（Bottom-up）和自顶向下（Top-down）。过去的研究中，大多数的计算模型是基于自底向上的信息，即直接从图像像素获取特征。

自底向上显著性计算模型开创性工作源自于文献[2]的Itti模型，该模型是很多其他模型的基础和对照基准，它通过整合多种低层次特征，如颜色、亮度、方向等，给出一个显著度的概率分布图。Harel等[3]在Itti模型的基础上引入图算法，通过计算节点间特征值相似性和空间位置距离进行差异性度量获取显著图。近年来随着深度学习技术在目标识别领域的成功应用[4]，研究者们对特征学习产生了更多的兴趣。Borji等[5]通过稀疏编码方法获取特征，使用图像块的稀疏表示结合局部和全局统计特性计算图像块的稀有性（rarity），稀有性反映了当前图像块中心位置的显著性。Vig等[6]通过训练多个神经网络获取层次特征，然后自动优化特征组合。特征提取的过程可以看作是一种隐式空间映射，在映射空间中使用简单的线性模型进行显著或非显著的分类。以上学习方法获得的特征都是一些低层次特征，对图像中的边缘和特定纹理结构敏感。此外，部分研究人员希望从数学统计和信号处理的角度来度量显著性。Bruce等[7]根据最大化信息采样的原则构建显著性模型。Li等[8]总结了多种基于频域的视觉注意研究工作，提出了一种基于超复数傅里叶变换（Hypercomplex Fourier Transform）的视觉注意模型，并展示了其他多种基于频域的模型在某种程度上都是此模型的特例。

以上模型均为数据驱动的显著性模型，模拟人眼视觉注意过程中自底向上的机制。由于人眼视觉注意过程中不可避免地受到知识、任务、经验、情感等因素的影响，因而整合自底向上和自顶向下信息的视觉注意研究受到更多的关注。现有模型整合的自顶向下信息可以分为三类：任务需求、场景上下文和对象特征。

Borji等[9]提出了一种构建任务驱动的视觉注意模型的联合贝叶斯方法。Zhang等[10]提出了一种使用贝叶斯框架整合自底向上和自顶向下显著性信息的方法。Siagian等[11]利用多种低层次特征对场景主旨进行建模，使用场景主旨引导视觉注意的转移。考虑到任务需求和场景上下文建模的复杂性，研究人员将对象特征视为一种高层次的知识表示形式引入视觉注意模型中。Judd等[12]和Zhao等[13]通过将低层次特征和对象特征整合在一个学习框架下来获得特征整合过程中每张特征图的叠加权重，但是模型使用的对象特征只有人脸、行人、车辆等有限的几种。Borji等[14]遵循了同样的方法，但是在整合过程中添加了更多特征并且结合了其他显著性模型的结果，最后用回归、支撑向量机（Support Vector Machine， SVM）、 AdaBoost等多种机器学习算法结合眼动跟踪数据进行训练。实验结果表明对象特征引入较大地提高了模型性能。Xu等[15]将特征划分为像素级、对象级和语义级三个层次，并重点探索对象信息和语义属性对视觉注意的作用；然而，模型中的对象级和语义级特征是手工标定的，因而不是一种完全意义上的计算模型。

总的来看，虽然部分模型已经使用对象特征作为自顶向下的引导信息，但是在对象特征的获取和整合上仍有很大的局限性。首先，对不包含特定对象的场景适应性较差；其次，对象特征描述困难，通常是通过特定目标检测方法获取对象特征，计算效率低下；此外，对象特征的简单整合方式不符合人眼的视觉感知机制。本文提出了一种结合深度学习获取对象特征的视觉注意计算模型，重点研究了对象级特征的获取和整合方法。算法结构如1所示，其中像素级突出图获取采用现有视觉注意模型的方法，对象级突出图获取采用本文提出的基于卷积神经网（Convolutional Neural Network， CNN）的特征学习和基于线性回归的特征整合方法。实验结果表明，对象级特征的引入可以明显提高显著性预测精度，预测结果更符合人类视觉注意效果。

1 对象信息获取

1.1 对象特征

大量实验证据表明对象特征引导视觉注意的转移。视觉注意中引入对象特征是为了获得图像中对象位置等信息，目的与计算机视觉中的目标检测类似。因而，已有的视觉注意计算模型的对象特征通常是通过特定目标检测方法获得。其中，Viola&Jones人脸检测和Felzenszwalb车辆行人检测是最常用的方法。文献[12-14]均使用此类方法引入对象特征。由于这一类特征针对特定对象样本进行设计和训练，因而推广能力不强。

li=fixations（obji）area（obji）（3）

其中： fixations（）表示落入当前对象区域的正样本的数目；area（）表示对象区域面积。li衡量当前对象单位面积受关注的程度，对象单位面积受关注程度越高，其在对象整合过程中的权重应越高，因而li与叠加权重成正比。

式（4）通过一个线性回归模型对已有样本数据进行训练，获得对象整合叠加权重W：

L=WF（4）

其中：F={F1，F2，…，FN}为训练样本数据集合；L={l1，l2，…，lN}为训练样本标签集合。

测试时根据式（5）～（6）获得对象级突出图：

3 显著图生成

视觉注意是自底向上和自顶向下两种机制作用的结果。完全使用自顶向下的对象特征进行显著区域预测有一定缺陷，主要表现在以下几个方面：首先，知识是对训练样本数据的抽象表示，由于神经网络的规模和训练样本中对象种类的限制，场景中部分对象对应的特征没有被抽象在网络结构中；其次，部分不具有明确语义的区域被错误地认为是对象，对视觉注意形成错误的引导；另外，人眼视觉注意转移的生理学机制并不清楚，兴趣区可能落在不具有对象特征区域中。因此，使用像素级特征给出低层次显著性信息是必要的。

视觉注意模型中常用的像素级特征有颜色、亮度、方向等[2-3，12]。本文直接使用GBVS（Graph-Based Visual Saliency）算法[4]整合多种像素级特征获取像素级突出图Spixel。式（7）给出了整合的方法：

其中：S（i， j）为最终给出的视觉注意显著图；N（）为归一化操作；λ控制对象级突出图与像素级突出图的相对权重，通过实验分析可知λ=0.4时效果较好。当图像中不存在显著物体或无法获得高置信度的对象信息时，图像任意位置Sobj（i， j）=0，此时完全由像素级特征驱动的视觉注意引导。

4 实验结果及分析

本次实验是以Visual Studio 2012为实验平台，选取OSIE和MIT数据集作为实验数据。OSIE数据集包含700张含有一个或多个明显语义对象的图片以及15名受试者的眼动跟踪数据，此外该数据集还提供了语义对象统计及人工标注的精确对象区域。MIT数据集包含1003张自然场景图片以及15名受试者的眼动跟踪数据。这两个数据集是当前视觉注意研究领域中较大的数据集。为了验证本文方法的准确率，将本文算法与GBVS[4]、 Itti[2]、 Judd[3]、 AIM[10]、LG[8]等视觉注意方法进行对比。

对比实验中使用的评价指标为ROC（Receiver Operating Characteristic）曲线，实现方法与文献[12，15]相同。图6～8为实验对比结果，显著区域百分比是通过对归一化显著图作阈值处理获得，真正率（True Positive Rate）反映当前落入显著区域的样本占所有样本的比例。通过变化显著区域百分比获得ROC曲线。为了更直观比较算法效果，实验结果图中标注了每种算法的AUC（Area Under Curve）值，AUC值通过计算ROC曲线下的面积获得。AUC值越大表示该方法给出的显著性预测结果越准确。

图6为利用对象级突出图作为显著图在OSIE数据集上的实验结果。相对于RCNN算法， fasterRCNN算法使用了更深层次的网络结构和更多对象类别的训练样本，具有较高的对象位置预测准确率和对象检出率。实验分析可以看出，使用fasterRCNN算法生成对象级突出图可以更好进行显著性预测。同时，人脸特征（FACE）的引入进一步提升了预测准确性，从一个侧面说明了对象性信息对视觉注意的转移具有引导作用。

图7是多种视觉注意算法在OSIE数据集上的ROC曲线，可以看出本文方法实验效果明显好于其他算法。仅次于本文算法的是GBVS和Judd，Itti的准确率较差。图中对象级特征曲线为使用fasterRCNN结合人脸特征生成对象级突出图获得，由于该方法完全使用自顶向下的对象特征，显著性预测准确率明显弱于其他方法，因而证明了引入像素级特征必要性。图8为MIT数据集上的实验结果，本文方法和Judd算法为最好的两种方法，实验结果相差不大。AIM和LG方法效果较差。本文方法和Judd方法均使用了对象特征，可以看出整合了对象特征的方法相对于完全自底向上模型有明显优势。

图9中给出了多种算法显著图的直观对比。与其他方法强调对象边缘不同，本文结合了对象信息的方法可以有效突出图像中的完整对象区域。

5 结语

本文提出一种结合对象信息的视觉注意方法。与传统的视觉注意整合对象方法相比，该方法利用卷积神经网学到的对象特征，获取图像中对象位置等信息；然后通过一个线性回归模型将同一幅图像的多个对象加权整合，获得对象级突出图；最后，根据视觉注意的层次整合机制，将低层次特征和对象特征进行融合形成最终的显著图。本文方法在不同数据集上的准确率要高于现有模型。针对包含明显对象的图像，本文方法克服了部分现有模型由于边缘强化效果导致的显著区域预测不准的问题。本文方法仍然存在一定局限性，未来的工作将尝试非线性对象整合以及增大训练样本数量和网络规模以获取更多种对象特征。

参考文献：

[1] BORJI A， ITTI L. State-of-the-Art in visual attention modeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（1）： 185-207.

[2] ITTI L， KOCH C， NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20（11）： 1254-1259.