基于Matlab的图像自动标注

摘 要： 图像自动标注在检索大量数字图像时起到关键作用，它能将图像的视觉特征转化为图像的标注字信息，为用户的使用及检索带来极大的方便。研究了图像自动语义标注方法，设计并实现了基于Matlab 图像自动标注系统，能够提取图像颜色特征和纹理特征，与已标注图像进行相似性度量并标注出图像语义关键词

关键字： Matlab； 自动标注； 视觉特征； 图像检索

中图分类号： TN711.73?34 文献标识码： A 文章编号： 1004?373X（2014）03?0073?03

Image automatic annotation based on Matlab

ZHANG Xuan， ZANG Miao， LI Jin?quan

（North China University of Technology， Beijing 100041， China）

Abstract： Automatic image annotation plays a key role in retrieving large amounts of digital images， which can transform the visual characteristics of image into annotation word information and brings great convenience for users in retrieving. The automatic image semantic annotation method is researched， and the automatic image annotation system based on Matlab is designed and implemented， which can extract image color and texture features， and make similarity measure between labeled images and mark out the image semantic keywords.

Keywords： Matlab； automatic annotation； visual characteristics； image retrieval

0 引 言

近年来，随着多媒体技术和互联网的快速发展，世界范围内数字图像的容量正以惊人的速度增长。为了有效地组织、查询与浏览如此大规模的图像资源，图像检索技术应运而生， 已成为一个研究热点。

在早期的基于内容的图像检索中，人们利用传统的文本检索技术，为图像做出文字化的注释，以诠释图像的内容。主要做法是从内容方面对图像进行手工标注，然后根据标注信息利用文本检索技术对图像进行检索。人工标注虽然可以较为准确的对图像进行检索，但这项工作耗时费力，尤其面对大规模的图像时，显然它已经无法胜任。因此，如何快速、有效地实现对图像的自动语义标注，变得十分有意义。

目前，图像自动标注技术已经得到了广泛研究，这些方法有着各自不同的出发点和解决方案。本文所实现的图像语义自动标注，就是为了自动获取图像的语义信息，并对待标注图像予以关键字标注，对标注的关键字进行存储，从而对检索做出支持。本文主要研究了图像语义自动标注基本流程、基本原理，基于Matlab通过GUI界面实现了图像标注与简单检索系统，完成图像底层特征的提取、特征匹配相似度测量、图像标注并研究对标注结果进行存储和管理的方法。

1 系统设计

本系统共有三个模块，即图像特征提取模块、图像特征匹配模块、自动标注和相似图像输出模块。系统设计方框图如图1所示。由图可见，系统首先将标准图像库中的图像进行颜色、纹理特征的提取，存储成图像特征库。其中已标注图像构成训练集，利用其图像特征和标注关键词的关系对待标注图像进行自动标注。通过计算待标注图像与训练集中所有图像对应的特征矢量之间的欧氏距离，把欧氏距离最小、即相似度最高的图像的关键字标注给该待标注图像，同时排序输出相似度最高的三幅图像，并存储关键词。

图1 系统概要设计方框图

2 图像特征提取

图像的视觉特征主要包括颜色、纹理、形状和空间关系等。颜色特征是被广泛使用的视觉特征，主要原因在于颜色特征的定义比较明确，特征提取方法比较简单，并且颜色特征能较好地体现出图像中所包含的物体或场景。纹理特征是一种不依赖于亮度或颜色的反映图像中物质现象的视觉特征。此特征包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。

2.1 颜色特征提取

对颜色特征的研究，必须在图像的特定色彩空间中进行，常用的色彩空间有RGB、HSI、HSV等。其中HSI和HSV色彩空间很适合人眼的分辨，能较好地反映人对颜色的感知和鉴别能力。因此本文采用HSI颜色空间。通过式（1）～（3），图像可以从RGB色彩空间转换到HSI色彩空间[1]。

[H=arccosR-G+R-B2R-GR-G+R-BG-B， R≠G或R≠B2π-arccosR-G+R-B2R-GR-G+R-BG-B， B>G]（1）

[S = MAX（R，G，B）-MIN（R，G，B）] （2）

[I= R+G+B3] （3）

为了使HSI颜色模型能够更好地符合人眼的视觉特性，首先将图像中每一像素的红、绿、蓝分量值R，G，B转化为色调、饱和度和强度分量值H、S、I（h[0，360]，[s [0，1]，][v[0，1]]），然后根据HSI颜色空间中颜色特征进行非等间隔量化，见公式（4）～（6）所示：

[H=0，h∈（315，20]1，h∈（20，40]2，h∈（40，75]3，h∈（75，155]4，h∈（155，190]5，h∈（190，270]6，h∈（270，295]7，h∈（295，315]] （4）

[S=0，s∈[0，0.2）1，s∈[0.2，0.7）2，s∈[0.7，1）] （5）

[I=0，i∈0，0.21，i∈0.2，0.72，i∈0.7，1] （6）

对HSI空间进行量化后，[H]的取值范围为[0，1，…，7]，[S]的取值范围为[0，1，2]，[I]的取值范围为[0，1，2]。通过公式（7）将 HSI 合成为一维特征矢量，则[B]的取值范围为[0，71]，是一个72柄的一维直方图，再对特征矢量[B]构造直方图作为图形的颜色特征。

[B=9H+3S+I] （7）

2.2 纹理特征提取

本文采用小波分解提取图形的纹理特征，首先通过Daubechies4小波对图像进行分解，然后提取一层分解的4个频带小波系数的均值和方差作为图像的纹理特征。一幅图像的4个频带分布图示如图2所示。

[[ILL]＼&[ILH]＼&[IHL]＼&[IHH]＼&]

图2 频带分布图

进行一层变换后，[（i，j）]点的小波系数为[Cij，]则任一频带的均值和方差计算公式分别为式（8），式（9）：

[μ=1MNi=1Mj=1NCi，j] （8）

[D=i=1Mj=1N（Ci，j-μ）2MN] （9）

纹理特征向量表示为：[T=[μLL，DLL，μHL，DHL，μLH，DLH，][μHH，DHH]，]小波分解提取纹理特征的方法适用于纹理特征比较复杂的图像。

2.3 图像特征相似性度量以及自动标注

图像特征的相似性度量有很多方法，如欧氏距离法、绝对值距离、切比雪夫距离、马氏距离、兰氏距离等。本文采用的是欧氏距离法。计算公式如（10）所示，欧氏距离越小，两幅图像越匹配，欧氏距离越大，两幅图像越不匹配。因此选择与已标注图像集中欧氏距离最小的图像的标注关键词作为待标注图像的语义关键词。两个[n]维向量[a（x11，x12，…，x1n）]与[b（x21，x22，…，x2n）]间的欧氏距离：

[d12=k=1n（x1k-x2k）2] （10）

图像自动标注与检索的流程如下：首先计算待标注图像特征与训练集中所有图像特征之间的欧氏距离；将所有距离按照从小到大的顺序排列；把欧氏距离最小的图像的关键字赋给待标注的图像；显示与待标注图像最相近的三幅图像。

2.4 数据存储与管理

对图像完成颜色特征和纹理特征提取，以及特征向量的计算后，所得到的数据需要进行存储，以便进行图像特征匹配。自动标注的关键字也需要存储。在Matlab中，数据一般都存储在.mat格式的文件里，如有需要可以转换成.txt格式文件。本系统使用结构体存储图像特征和关键字。图像颜色特征存储的结构体各字段见表1。

表1 图像颜色特征存储结构体

[imgID＼&1＼&2＼&……＼&Filename＼&1001.jpg＼&1002.jpg＼&……＼&cfv_HSV＼&颜色特征向量1＼&颜色特征向量1＼&……＼&]

图像关键字存储的结构体各字段见表2。

表2 图像关键字存储结构体

[imgID＼&1＼&2＼&……＼&Filename＼&1001.jpg＼&1002.jpg＼&……＼&Keywords＼&people，tree＼&flower，bird＼&……＼&]

数据存储在.mat文件中的形式如图3所示，十分方便查询和管理。

图3 颜色特征在.mat文件中存储形式

3 实验结果

本实验使用的训练集是Corel5K图像库[2]。该图像集中有5 000张图像，内容涵盖人物、动物、植物、自然风光等，共包含50个语义类，每个类包含100张图像[3]。其中4 500张图像进行人工标注，500张作为待测试图像。训练集中有374个关键字，每个图像一般有3～5个关键字。自动标注的性能使用查准率和查全率来评价。查准率和查全率的定义见式（11）（12）：

[查全率（R）=相关的正确标注结果所有相关的结果=AA+C] （11）

[查准率（P）=相关的正确标注结果所有标注的结果=AA+B] （12）

其中A为正确标注数目，B为误标注数目，C为漏标注数目。系统测试结果见表3。

表3 标注性能比较 %

[＼&查准率＼&查全率＼&纹理特征＼&1.52＼&2.24＼&颜色特征＼&15.4＼&16.1＼&两种特征结合

（颜色权重0.85，纹理权重0.15）＼&16.14＼&17.51＼&]

本文的图像特征提取分别使用的三种方法中，实验发现，颜色特征对图像的影响较大，当颜色特征向量设置权重为0.85，对纹理特征向量设置权重为0.15时，标注和检索效果达到最优，标注结果能够反映原图像的语义内容。如图4所示给出了系统使用第三种特征提取方法自动标注和查询的结果示例。

图4 基于GUI界面的实验结果

4 结 语

本文设计并实现了基于GUI的图像自动标注和检索系统，完成对图像底层特征的提取、特征匹配相似度测量、图像自动标注，并研究了对标注结果进行存储和管理的方法。本系统标注性能良好，文中只对颜色和纹理两种图像特征进行了提取和匹配并且采用的自动标注算法较为简单，系统的标注性能有待于进一步提高。下一步研究方向是选择更多的图像特征并且改进标注算法。

本文受到2013年部级大学生创新创业训练计划项目“图像自动标注研究”的资助，在此表示感谢。

参考文献

[1] 徐红霞，郑龙，王厅列，等.基于HSI颜色空间统计直方图的图像检索[J].电脑知识与技术，2009（31）：8801?8804.

[2] University of California Berkeley. Corel dataset website [EB /OL]. [2006?02?04]. http： / / elib. cs. berkeley. edu /photos/ corel /.

[3] 伍宇花.BP神经网络在图像语义自动标注的应用[J].电脑知识与技术，2011（14）：25?28.

[4] 卢汉清，刘静.基于图学习的自动图像标注[J].计算机学报，2008，31（9）：1629?1632.

[5] 万华林，CHOWDHURY M U.基于支持向量机的图像语义分类[J].软件学报，2003，14（11）：1891?1899.

[6] 向日华，王润生.一种基于高斯混合模型的距离图像分割算法[J].软件学报，2003，14（7）：1250?1257.

[7] 张华，梁宇生.基于实例图像自动语义标注方法的研究[J].山东农业大学学报：自然科学版，2011（2）：255?258.

[8] 朱文球，刘强.一种新的图像语义自动标注与检索算法[J].计算机应用研究，2007（7）：318?320.

[9] 王妍宁，郭雷，方俊.一种新的图像语义自动标注模型[J].计算机工程与应用，2011（7）：193?197.

[10] 韦布.统计模式识别[M].王萍，杨培龙，罗颖昕，等译.2版.北京：电子工业出版社，2004.