基于图像分类的图像美学评价研究

时间:2022-10-24 06:40:51

基于图像分类的图像美学评价研究

收稿日期:2013-06-21

作者简介:高寒(1990-),女,黑龙江虎林人,硕士研究生,主要研究方向:图像处理、文字识别、可计算美学;

唐降龙(1960-),男,黑龙江哈尔滨人,博士,教授,博士生导师,主要研究方向:文字识别、图像识别、中文信息处理等;

刘家锋(1968-),男,黑龙江哈尔滨人,博士,副教授,主要研究方向:模式识别、计算机视觉、字符识别技术等;

金野(1979-),男,湖北咸宁人,博士,助理研究员,主要研究方向:模式识别、数字图像处理。

基于图像分类的图像美学评价研究

高寒, 唐降龙, 刘家锋, 金野(哈尔滨工业大学 计算机科学与技术学院, 哈尔滨 150001)摘要:提出图像类别及图像内容在审美中的重要性,并由实验验证审美特征对于不同的图像类别体现出不同的适应性,因此确定图像类别对图像审美的影响。通过分析现有的图像审美特征的着重点,建立专用于图像审美的图像预分类方法,并确定对各个图像分类有效的审美特征,通过已标签图像的数据训练,计算各审美特征的权值,最终建立起内部先分类后审美的图像审美系统。

关键词:图像审美; 审美特征; 敏感特征集合; 图像内容; 分类

中图分类号:TP391 文献标识码:A文章编号:2095-2163(2013)04-0039-04

Research on Image Aesthetic Evaluation Based on Image Classification

GAO Han, TANG Xianglong, LIU Jiafeng, JIN Ye

(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001,China)

Abstract:This article suggests the importance of image classification and image content in aesthetics and the experimental verification that aesthetic features reflect different adaptability on different image categories, therefore, determines the impact that image class makes on the image aesthetic. Through the analysis of the existing focus on image aesthetic characteristics, specialized image classification method of image aesthetics can be established. After that, through training labelled image data and calculating the value of the aesthetic characteristics ,finally image aesthetic structure that internal classification is ahead of image aesthetics can be established.

Key words:Image Aesthetics; Aesthetic Feature; Sensitive Feature Set; Image Content; Classification

0引言

随着计算机智能化的程度逐步发展,计算美学(computational aesthetics)[1]走入了人们的视线,渐渐得到计算机各领域研究人士的广泛关注。但是由于美学的主观性和复杂性,图像美学的研究还处于初步探索和萌芽阶段,目前为止并没有成熟的方法。各专家学者都致力于寻找带有创造性的,对审美评估具有重大影响的美学特征描述,也试图从人类认知方式上研究如何将计算机审美智能化。但是过多的特征描述会使审美评价结果中庸化,反而失去了原本的意义,而从人类认知出发的各项研究都较为繁复,因为人的视觉系统本来就难于分析。

合适的图像美学描述[2]在对图像进行美学价值分析中具有关键作用。如何选择合适的美学描述对图像审美也起着至关重要的决定性作用。经过研究分析,从国内外各学者的实验结果中,不难发现,对于不同类别的图像,影响其美学评价的关键性描述是完全不同的。

为此,寻找图像类别与审美规则之间的关系,并以之作为突破点,建立新的图像审美方式则成为一个新的研究思路。

1图像内容对审美的影响及分类设计

1.1图像内容影响力验证

本课题中,提出了一种假设:图像内容对于图像的审美有着先验性的影响,不同内容的图像可划分为不同的类别,各种类别的图像审美标准也有着一定的差异。接下来的研究将对这一假设进行验证。

课题中选取了一部分具有代表性的图像特征进行审美计算,其中全局特征和局部特征各占约50%,能较好地反映图像类别与图像审美特征的对应关系,同时也能体现出全局特征与局部特征两大类图像特征在审美评价时对图像不同类别的敏感程度。对单一特征审美结果与图像标签的一致性的统计结果如表1所示。

results with the image tags日景夜景静物人物对比度72%45%67%55%饱和度75%39%68%66%反色69%78%62%52%清晰度55%41%62%79%三分法则65%72%70%54%黄金分割61%76%74%61%对角线59%67%66%61%

表1说明对于不同类别的图像,各审美特征有着不同程度的影响,甚至有的审美标准与公认判断的审美标准大相径庭,因而并不应该成为这一类图像计算机审美的依据。同时,也证明了图像分类对于计算机审美有着不可忽视的重大作用,如何更好地利用图像内容的差异来帮助计算图像审美价值就成为接下来的研究重点。已有研究表明,基于图像内容将图像进行分类,作为审美评价的一种预处理是可行、且有效的。

1.2审美特征分析

目前,大多数对图像的分类方法都是基于图像检索的图像内容分类方法,重点在于“匹配”,而图像审美则更注重于什么样的图像内容会带给人更高程度的美学感受,这是基于图像审美的图像分类方法设计首先需要考虑的问题,也是其中的关键问题之一。

通过已有研究对图像可提取的各种特征的分析可见,色彩是审美中比重很大的一部分,可以从颜色分布,颜色对比,颜色和谐性[3]等多个角度对图像进行审美。这些特征对于评价彩色图像也确实能够得到比较理想的效果,但是对于黑白图像,则完全没有作用,不仅浪费了计算时间,也由此降低了黑白图像其他特征所带来的审美效果。

除颜色信息外,图像的主体区域识别和理解也在相当程度上影响着图像审美的标准。人在审美时对于不同的图像内容多会从不同的角度去欣赏,这作为图像审美的重要依据,需要从提取图像主体区域得到全面应用,以实现更科学,更符合主体认知角度的计算机图像审美系统。

为了更好地进行计算机图像审美,图像主体区域的识别和分类不能只依托已有的用于图像检索或者图像理解的分类方法。由于计算机图像审美是一个全新的目标,就需要从以往的分类标准中,提取和构造适合图像审美特征并且能够帮助图像审美评价的分类方法。第4期高寒,等:基于图像分类的图像美学评价研究智能计算机与应用第3卷

1.3图像分类方法设计

经过对前文研究结果的分析,以及对各种图像特征的含义进行延展,可得出用于图像审美的图像分类首先需要给出如下几个目标:

(1)明确颜色信息的有效范围;

(2)更好地运用亮度元素;

(3)将有主体图像和无主体图像区别对待;

(4)依据大众的审美习惯,将图像主体划分;

(5)分类结果要具有一定的纠错性。

基于以上原则,可将图像分为如下几类:黑白图像、夜景、静物、动物(包括人物)、人脸、风景、无主体图像。分类方法详述如下:

(1)计算图像饱和度[4]如公式(1)所示,饱和度为零的为黑白图像分类;

s=0, if max=min

max-minmax+min=max-min2l, if 0

max-min2-(max+min)=max-min2-2l, if12

其中,max为RGB中最大值,min为最小值,l为亮度;

(2)计算图像亮度分布函数:

l=12(max+min)(2)

亮度较低的60%像素点的平均亮度值低于50,其分类为夜景图像。深色像素比例越高,图像为夜景图像的概率越大;

(3)用sobel算子边缘检测[5]进行前景背景分离,计算公式为:

Gx=-10+1

-20+2

-10+1*A, Gy=+1+2+1

000

-1-2-1*A(3)

提取图像的主体区域,无闭合边缘的图像为无主体图像;

(4) 对于有主体的图像进行内容识别[6],计算其主体属于静物、动物和人脸的概率,剩下的概率为风景内容图像;

(5) 若图像无明显主体,则将其内容定义为风景图像;

(6)对图像进行分类后,会得到一个7维向量,存储这幅图像属于上述7种图像类别的概率。

1.4图像分类结果处理

对于以上所提出的七个图像类别,待分类图像可能不仅仅属于其中的一个类别。例如一幅图像是夜景图像的概率可能为0至1之间的任意数值,根据其像素亮度分布函数进行断定;若一幅图像有主体区域,则其内容为静物、动物、人脸、风景的概率和为1。待分类图像的分类结果为一个7维向量,记录这幅图像属于各个图像类别的概率值,7个数值的和基本上不为1。但可以将向量归一化,使7个数值的和为1。将此向量作为图像的预分类结果,即此图像属于各个分类的概率分布函数。

2图像类别与审美特征的对应关系研究

2.1图像类别对应的敏感特征集合确定

在进行图像类别对图像审美影响的实验时,每种图像特征根据已实现的研究都有一个基础模型,对于图像审美价值都可以附上这幅图像是“好”还是“坏”的标记。

人工分类完成,并附注了标签的图像用一种审美特征进行计算,分别记录所有“好”图像和所有“坏”图像用此审美特征进行评价所得的计算值,如果两个值有明显差异,证明此特征对于这一类图像的审美评价有影响;如果两个值差异较小,证明此特征对于这一类的图像没有审美帮助,因而不属于此类图像所对应的敏感特征集合。

2.1.1数值特征

(1)符合单调函数规律的特征

对“好”图像和“坏”图像的特征值分别求其平均,若两个平均值之差小于特征全部平均值的10%,则认为此特征对这一类别的图像没有明显评价作用,反之则将此特征加入这一类图像的敏感特征集合。运用贝叶斯最小错误率规则如图1所示,确定分类标准,即阈值。

(2)符合门函数规律的特征

对于这一类图像特征,需要确定两个阈值以作为上、下界。本课题中首先采用平均值的计算方法,配合贝叶斯最小错误率规则进行阈值计算,但由此得到的参数并不准确和科学,且由于要确定两个参数,也要考虑这两个参数之间彼此产生的交叉影响。

经过分析和研究,决定采用以下算法实现阈值参数的迭代求取,具体步骤为:

(1)首先对所有“好”图像的特征求取平均值x;

(2)在所有图像特征分布中,以x为分界线,对小于x和大于x的“坏”图像特征值分别求取平均值a、b;

(3)坏”图像特征中心a、b与“好”图像特征中心x的差小于特征全部平均值的10%,则认为此特征对这一类别的图像没有明显评价作用,反之将此特征加入这一类图像的敏感特征集合;

(4)此时为迭代的第一轮,特征的上、下限分别为:

min1=0.5(a+x),max1=0.5(b+x)(2)

(5)以此分界线重新计算“好”图像的特征中心和“坏”图像的两个特征中心,再根据这新的特征中心计算新的阈值;

(6)迭代计算上、下限直至matlab所支持的精度,得到阈值minn和maxn作为审美的结果标准。

2.1.2位置特征

前景、背景分离可确定主体区域的中心,三分法则和黄金分割法则都在图像中确定了4个最优点,以突出物体与这4个点的最近距离作为图像的相应特征。

边缘检测得到的图像线性元素特征,可用直线距离计算函数,计算其与两个对角线的最近距离作为审美特征。

2.2特征集合的权值确定

对于已经确定的敏感特征集合,运用已确定的分类标准再次对图像进行审美评价,结果标注为1和-1;测试所有此类图像,统计符合此特征审美标准计算结果的图像所占总图像的比例,可得到此特征对于这一类图像审美的可靠程度。

统计图像分类的敏感特征集合中每个特征的可靠程度,归一化之后,再根据此向量值设定特征的权值。将全部七个图像类别的特征权值向量合并至一个矩阵中,则形成审美特征在图像分类前提下的权值表。

3功能测试和系统分析

3.1系统流程及实验结果

用于系统测试的图像共有200幅,分类的混合矩阵[7]如表2所示。

根据以上公式可计算得出系统的分类评价指数如表3所示。

准确度错误率查准率查全率调和平均数74%26%79.1%68.6%73.5%

由审美结果的评估数据来看,本系统较好地实现了模拟人类对图像的审美评价,其中得到的查准率尤其可观,即判定为“好”图像的审美结果就具有极大可能使用户感到愉悦。但同时查全率较低,则表示也有一部分用户认为审美价值较高的图像并没有被系统识别出来。

3.2系统不足分析

系统在呈现了对审美有效预测的同时,也仍有着不足之处。分析归纳后,主要表现为以下几点:

(1)图像分类方法设计得不够人性化和精细;

(2)图像内容识别技术的限制;

(3)审美特征计算不够精确;

(4)图像好坏的分类标准确定得不够细致;

(5)图像的多元化理解和个人偏好造成的审美标准偏差。

4结束语

本文首先验证了不同类别图像在审美标准上的差异性,为图像审美课题今后的研究工作提供了新的思路。文中提出了专门用于计算机图像审美的图像预分类方法,拓宽了图像审美预处理的处理范围,进行了人性化的思考,加入了人性化的分类条件和方法,不拘泥于已有的用于检索和用于匹配的图像分类方法,为今后的图像分类课题也提供了参考。

同时,又建立了“先分类,后审美”的新型图像审美系统,针对以往图像审美特征的盲目堆砌提出了更为科学的审美机制,运用模式识别方法训练数据,得到符合样本规律的审美预测程序。经过验证,确实能够在一定程度上预测人对图像的审美评价,对于设计行业、摄影行业等都能起到良好的辅助效用。

在本文工作的基础上,更加细致地进行审美特征的计算和分析,对新提出的审美特征进行运用,则有进一步提高审美效果的可能性;若能更深入地探究图像类别、图像内容与审美特征之间的对应关系,也将有利于提高审美的准确性,并适当提高审美的预测能力。

参考文献:

[1]HOENING F. Defining computational aesthetics[C]//Proceedings of Eurographics Workshop on Computational Aesthetics in Graphics, Visualization and Imaging. Switzerland: Eurographics Association, 2005:13-18.

[2]LUO Y, TANG X. Photo and video quality evaluation: focusing on the subject[C]//Proceeding of 2008 10th European Conference on Computer Vision( ECCV 2008). Heidelberg: Springer-Ver-lag, 2008, 5324: 386-399.

[3]ZHANG Q, ZHAO C, GU Z, et al. A color harmony measure model with shape information[C]//Computational Sciences and Optimization, 2009. CSO 2009. International Joint Conference on. IEEE, 2009, 1: 627-630.

[4]宋麦玲, 李欢. 一种基于 HSV 颜色空间的图像检索技术[J]. 电脑知识与技术 (学术交流), 2007, 1(1):200-201.

[5]袁春兰, 熊宗龙, 周雪花. 基于 Sobel 算子的图像边缘检测研究[J]. 激光与红外, 2009, 39(1): 85-87.

[6]VAILAYA A, FIGUEIREDO M A T, JAIN A K, et al. Image classification for content-based indexing[J]. Image Processing, IEEE Transactions on, 2001, 10(1): 117-130.

[7]秦锋, 杨波, 程泽凯. 分类器性能评价标准研究[J]. 计算机技术与发展, 2006, 16(10): 85-88.

上一篇:动态图数据上查询与挖掘算法的研究综述 下一篇:Potts网络的模块化Latching动力模型