图像情感分类的研究

摘要：图像情感分类是一个热点且有挑战性的课题，该文首先介绍图像情感分类的一般方法：选择要研究的图像、提取图像的视觉特征（如颜色、纹理和形状等）、情感空间的建立、选择适当的分类器对要研究的图像先训练再分类，然后分析了图像情感分类的局限和研究方向。

关键词：图像；情感；视觉特征；对应关系；分类

中图分类号：TP391文献标识码：A文章编号：1009-3044(2011)21-5231-02

图像中蕴含着情感信息，如何有效地模拟人观察图像后引起的情感感觉，实现基于语义的图像检索，是一个热点且有挑战性的课题。过去的图像语义分析中，大都是根据图像的低层特征简单的语义分类，很少涉及情感语义范畴；目前的研究中多是提取图像的低层视觉特征并建立特征与情感的对应以实现图像情感分类。

图像情感语义分类的关键是如何提取有效表达图像情感的视觉特征，并根据视觉特征与高阶语义的对应关系，选择合适的分类算法。当前研究中一般选择某一类图像，如服装图像、天气图像等，在提取图像的视觉特征中大都采用某一个视觉特征或者组合两个视觉特征，高层语义分类一般是一对相反的形容词，如服装图像为“优雅”的和“俗丽”的，天气图像为“喜欢”的和“厌恶”的等，通常采用神经网络和支持向量机等方法进行分类。

1 图像的主要视觉特征

1.1 颜色特征

颜色特征是一种全局特征，有多种提取方法，可以分为两大类：一是提取全局颜色信息的颜色特征；二是提取局部颜色信息的颜色特征。

在提取颜色特征中颜色直方图是常用的有效方法，它反映了不同色彩在图像中的比例。数字图像大部分是基于RGB颜色空间的，但RGB空间结构在颜色相似性上与人们的主观判断不一致，所以多选择基于HSV等空间的颜色直方图[1]。

1.2 纹理特征

纹理特征也是一种全局特征，常用的特征提取与匹配方法：灰度共生矩阵、Tamura纹理特征、Gabor小波变换等。

灰度共生矩阵主要提取能量、惯量、熵和相关性4个参数；Tamura 纹理特征主要用粗糙度、对比度、方向度、线像度、规整度和粗略度6种属性表示；Gabor变换用Gabor核函数与样本卷积，分别提取数据的均值和方差作为特征数据，获得原图在不同频率和相位下的小波系数，使每个样本得到一个多维特征向量用于分类[2]。

1.3 形状特征

形状特征是图像的一个重要特征，常用两类方法表示，一是轮廓特征，二是区域特征。轮廓特征针对的是物体的外边界，区域特征则是整个形状区域。常用来描述形状特征的方法有：边界特征法、傅里叶形状描述符、几何参数法、不变矩法等。

边界特征法用边界特征的描述得到图像的形状参数，经典方法有Hough变换检测平行直线和边界方向直方图；傅里叶形状描述符采用物体边界的傅里叶变换描述形状；几何参数法是描述区域特征方法；不变矩法利用目标所占区域的矩描述参数。

2 情感空间的建立

图像情感语义的提取，是将图像映射到一个情感空间，每个图像对应着情感空间的一个点，每个点代表某种情感的描述，这样点之间的距离对应着图像的情感距离，即把观察图像后感受到的情感信息用语义描述，并定量比较。

根据实际情况，常构造一些简化的情感空间模型。Colombo等建立的是图像到愉快、紧张、放松、动感这几个基本情感的映射[3]；毛峡等根据1/f波动理论，主要讨论了图像中和谐舒适、杂乱、单调三类情感感觉[4]。

目前获得人们对图像主观情感的方法，多采用调查法，即选择尽可能多的不同年龄、背景、文化程度等的人对图像进行情感描述。

3 图像情感分类识别

目前常用的是基于人工神经网络分类方法和基于支持向量机的分类方法。

3.1 人工神经网络

人工神经网络用计算机模拟生物机制，它不用对事物内部机制很了解，系统的输出由输入和输出之间的连接权决定，连接权是通过对训练样本的学习获得的。比较有代表性的网络模型有感知器、多层前馈BP网络、RBF网络等。

3.2 支持向量机

支持向量机的基础是统计学习理论，设计原则是结构风险最小化，针对的是有限样本的一种机器学习算法，它的优势是在解决模型选择与过学习问题、非线性与维数灾难问题、局部极小值问题等问题上很有效，基本原理是通过非线性变换把输入空间变换到高维空间，然后在新空间中获得最优或是广义最优线性分类面。

4 总结与展望

图像的情感语义研究是一个较新的研究方向，对这个领域的研究还不多，很多问题研究的还不够深入。目前的研究存在的局限主要有：一是图像的选取比较单一，只能分类描述同一事物的图像，如天气、衣服图像；二是反映图像情感的视觉特征比较少，多是用颜色特征描述情感，用纹理和形状描述情感还不多，将多种视觉特征融合起来更少；三是对图像的情感分类比较少，多是二分类，少有多种分类的研究，而一幅图像蕴含着多种情感，一对或较少的形容词并不能有效反映图像的情感。今后图像情感的分类要在以下几方面多做研究：一是扩大图像的选择范围；二是有效选择融合尽可能多的视觉特征；三是丰富对图像的情感分类。

由于图像的情感研究涉及到众多学科领域，研究起来有一定难度，对它的研究还在初步阶段，要解决的问题还比较多，所以发展潜力很大。

参考文献：

[1] 贺静.基于特征融合的服装图像情感语义分类研究[D].太原理工大学,2007.

[2] 赵志艳,杨志晓,李卓瑜,等.一种基于纹理特征的笔迹鉴别方法[J].微计算机信息,2010,26(1-2).

[3] C Colombo,A Del Bimbo,P Pala Semantics in Visual Information Retrieval[J].IEEE Multimedia,1999:6(3):38-53.

[4] 毛峡.图像的情感特征分析及其和谐感评价[J].电子学报,2001,12A(29):1923-1927.