基于局部谱能量自相似矩阵的纹理描述

摘要：对于纹理检测和分类中的纹理描述问题，提出一种新的基于Gabor滤波器组局部谱能量的自相似矩阵来描述纹理的方法。首先采用多尺度、方向的极坐标对数Gabor滤波器组对纹理模板进行滤波，获得频域上局部频段和方向上的纹理信息；然后计算频域上各尺度、方向上局部谱能量的自相似度量，将这些度量值以自相似矩阵的形式进行存储，并作为纹理特征的描述子；最后将这种描述方法应用到纹理检测和分类中。由于该描述子主要体现的是纹理模板在不同频段和方向局部谱能量的自相似程度，所以它对滤波器参数的依赖度较低。实验中利用纹理特征描述子可以实现比较准确的纹理检测，多类纹理合成图像分类实验的准确率达到了91%以上。实验结果说明，纹理局部谱能量的自相似矩阵是一种十分有效的纹理描述方法，其检测和分类的结果对后期的纹理分割、纹理识别等研究领域具有广泛的应用前景。

关键词：自相似矩阵；纹理描述；局部谱能量；纹理检测；纹理分类

中图分类号： TP391.413

文献标志码：A

Abstract： To deal with the texture detection and classification problem， a new texture description method based on selfsimilarity matrix of local spectrum energy of Gabor filters bank output was presented. Firstly， local frequency band and orientation information of texture template were obtained by convolving template with polar LogGabor filters bank. And then the selfsimilarities of different local frequency patches were measured and stored in a selfsimilarity matrix which was defined as the texture descriptor in this paper. At last this texture descriptor could be used in texture detection and classification. Due to the reflection of selfsimilarity level of different bands and orientations， the descriptor had lower dependency of Gabor filters bank parameters. In the tests， this descriptor produced better detection results than Homogeneous Texture Descriptor （HTD） and the other selfsimilarity descriptors and the accuracy of multitexture classification could be up to 91%. The experimental results demonstrate that selfsimilarity matrix of local power spectrum is a kind of effective texture descriptor. The output of texture detection and classification can be used widely in the post texture analysis task， such as texture segmentation and recognition.

Key words： SelfSimilarity Matrix （SSM）； texture description； local spectrum energy； texture detection； texture classification

0引言

在图像中，常常在一些区域出现某种结构或者模式的重复，这种特性认为是图像的纹理特性[1]。纹理是图像分析中常用的概念，是一种普遍的视觉现象，但是并没有统一的定义。纹理图像区域的灰度或色彩分布不均匀、不光滑，这与一般自然图像有所区别，也导致了纹理分析具有更多的复杂性。

纹理描述是连接低级视觉和高级视觉的桥梁和纽带，其结果既取决于图像采集和预处理的效果，又决定了高级视觉中的各种应用的最终输出质量[2]。各国研究者对纹理描述方法进行了广泛的研究，但纹理的微观异构性、复杂性以及其应用的广泛性和概念的不明确性给研究带来很大挑战[3]。

20世纪70年代之前出现了采用自相关函数及功率谱的纹理分析方法。Haralick等[4]开创性地提出空间灰度共生矩阵（Gray Level CoOccurrence Matrix， GLCM）纹理特征分析遥感图像，为后续的纹理研究提供了理论支持和技术积累；但这些方法只限于提取特定的纹理属性。

20世纪80年代，采用随机场模型进行纹理建模和描述逐渐开始流行。相继出现了马尔可夫随机场（Markov Random Field， MRF）模型、吉伯斯模型、高斯马尔可夫随机场（Gauss Markov Random Field， GMRF）模型、同步自回归模型（Simultaneous Autoregressive Model， SAR）、隐马尔可夫随机场（Hidden Markov Random Field， HMRF）模型、广义MRF模型和多分辨率MRF等[5-9]。同时，分形理论也为纹理描述的研究注入了新的活力[10-15]，但是从原则上讲，所有基于参数化的随机场模型都存在一个困难：无法用几个参数来描述繁杂多样的图像纹理。

20世纪90年代，利用神经生物学的多通道滤波器有效描述纹理特征成为了研究热点，为图像纹理特征提取和分析提供了新思路；尤其是小波理论的出现为纹理多尺度分析[16]提供了一个更为精确而统一的框架。比较著名的有Gabor滤波器组[17-22]和各种小波、小波包变换[23-26]。

2000年以后纹理特征提取呈现出多个研究方向

2000年以后纹理特征的研究呈现出多个方向，引人瞩目的是纹理的局部二进制模式（Local Binary Pattern， LBP）特征[27-28]、不变纹理特征提取的方法[29]、二维方向经验模式分解（Empirical Mode Decomposition， EMD）[30-31]提取纹理特征、图像分解提取纹理的振动特征[32]、MPEG7中的同质纹理描述子（Homogeneous Texture Descriptor， HTD）纹理描述方法[33]、光流局部纹理特征[34]、频率域纹理特征等[35]这一句话，是表示特征，还是表示特征提取方法？请明确这一句话表达得是否正确，请明确。。尽管纹理描述已经有了很大的发展，但是多数报道的纹理描述方法普适性较差。Shechtman等[36]在2007年最早提出了“局部自相似性”特征描述子，可以完成复杂环境下的物体及运动的识别和检测。该描述子具有一定的区分不同的纹理的能力，但是该自相似描述子并不适合作为普通意义的纹理描述。主要原因是根据文献[36]中的定义，由于纹理的重复性，往往会使文献[36]中的自相似描述子难以提取足够的信息，导致计算出的纹理的自相似描述子中各细胞之间的自相似函数数值趋近0。在文献[36]中，作者指出“图像中的一个纹理区域的自相似算子可能与具有相同形状的单一色彩区域或其他不同的纹理的算子相匹配”。文献[37]根据文献[36]的原理又提出了局部和全局相结合的自相似算子，但是其基本思路与文献[36]类似，也会出现相同的问题。

基于以上的原因，虽然目前报道的自相似算子在自然图像检测和识别方面取得了相当大的成功，但是有关基于自相似性纹理的描述的论文和文献还很少。本文提出了一种频域上的纹理自相似性描述的方法。主要的思路是：首先采用Gabor滤波器组对模板纹理进行频域滤波，其中不同尺度和方向Gabor频域滤波器输出结果分别提取了模板纹理在该尺度和方向的频域信息；然后计算各滤波器输出局部谱能量之间的自相似矩阵，通过比较纹理在频域中的局部能量之间的内部分布关系获得纹理频域上的特征；最后以该自相似矩阵作为纹理模板的描述，并将其应用到纹理检测和分类任务中。

Gabor滤波器的优点在于不仅能够表现纹理的频率属性，实现最优的空间频率联合分辨率，同时还能够选择正确的方向性，而方向性正是纹理的重要属性，正是这种特性导致了Gabor滤波器的广泛应用。Gabor滤波器是可以调节中心频率、方向和带宽的带通滤波器。Gabor滤波器的傅里叶变换是在频域中移动的高斯函数。每个频道输出响应的幅度提供了纹理定位的信息。如果纹理图像包含的频率和方向信息与某个频道的Gabor滤波器的中心频率、方向相吻合的话，输出响应局部谱能量将会很大；反之则会很小，可以忽略。但是在使用Gabor滤波器组的时候采用了多通道，面对各种各样的纹理样本，如何选择各通道的滤波器中心频率和方向等参数是比较难以解决的问题。为了解决这个难题，Bovik等[38]提出了通过检测纹理图像傅里叶变换功率谱的峰值来确定滤波器的参数。文献[18-19]中提出了建立系统的方法选择纹理分割中Gabor滤波器参数的方案，指出并证明了原始图像经Gabor滤波器滤波后的响应满足莱斯分布，通过这个概率分布可以计算出纹理图像中的某个像素点属于不同纹理的概率，从而判断每个像素的归属。另外为了降低最佳滤波器参数估计的计算量，吴高洪等[20]49提出了一种新的在双纹理分割中估计Gabor滤波器参数的方法，根据纹理图像功率谱在频域上的分布相对集中但并不局限于单一频率的特性，通过比较两类纹理之间的傅里叶功率谱密度来设计滤波器。但是由于纹理样本的多样性使得这些方法仍然具有很大的盲目性。为了回避滤波器的选择问题，有人提出了利用滤波器组的概念将Gabor滤波器铺满整个频域，而不用把精力过多的放在滤波器参数选择上。

Farrokhnia等[17]1170提出了建立倍频程、对称的Gabor滤波器组的方法。另外由于Gabor函数系是非正交的，所以滤波提取的特征中存在大量的冗余信息，这些冗余信息是统计相关的。所以降低滤波后子图像的数目或维数，剔除冗余信息也成为后期研究的主要内容。Guo等[21]200提出了一种特征整合的方法，给出一种基于功率谱的降低冗余的技术；在此基础上，向世明等[39]也提出了采用独立主量分析（Independent Component Analysis， ICA）的方法降低特征空间维数，避开了滤波器的参数选择。但是以上铺满整个频域的滤波器方法并没有考虑各滤波器响应之间的关系导致这些方法的应用范围比较狭窄。

本文提出的方法通过计算Gabor滤波器组内各滤波器输出的频谱能量的自相似性，将它们存储在自相似矩阵中，用自相似矩阵来描述纹理特征。由于纹理的复杂性，使得各滤波器响应之间的关系比滤波器响应本身更为重要。自相似矩阵揭示了各滤波器响应之间相似程度，不仅可以降低纹理特征提取时对滤波器参数的依赖，同时不会增加特征空间的维数。

另外由于Gabor滤波器组分别提取了纹理不同方向和尺度的频域特征，这样使得自相似描述较好地提取了纹理信息，同时克服了使用纹理灰度信息的自相似特征描述子容易出现相同形状的图像描述子可能比较接近的问题。这是因为虽然图像具有相同形状，但是它们的局部的谱能量自相似描述却有较大区别，如图1所示。其中图1（a）、（b）和（c）样本中均具有“心型”图案模式，文献[36-37]中介绍的采用灰度信息的局部自相似特征描述子将会产生十分相似的描述，然而图1（a）、（b）和（c）中的纹理却具有较大的区别。采用本文提出的纹理特征提取三样本中的谱能量自相似描述子如图1（d）所示，比较它们的描述子可以发现此三个样本的纹理属性还是具有较大的差别。

图3为一组纹理测试样本集，其中：图3（a）为纹理模板（截取自Brodatz纹理库的D3）；图3（b）～（g）为待比较的纹理样本，分别截取自Brodatz纹理库的D3（与模板不同的位置）、D4、D6、D13、D15和D27。表1显示了纹理滤波器组的尺度数目从2增加到5，方向数从4增加到10的不同比较结果。通过待检测纹理与模板纹理描述子的匹配程度看出，与模板纹理同属D3的待检测纹理的匹配程度最好。而且除了r=3，θ=6时的D13之外，不同的尺度和方向参数的匹配结果基本是一致的，即在不同滤波器参数的设置情况下，待检测纹理与模板纹理的匹配程度的排序是基本不变的。由此可以看出：本文纹理描述方法受滤波器参数的影响较小，因此在实际使用中只需事先设定滤波器的尺度与方向即可，不用在滤波器参数选择上花费更多的时间与精力。

通过测试结果可以看出，本文提出的基于Gabor滤波器组局部谱能量的自相似矩阵的纹理描述方法的分类正确率高于文献[36]提出的局部自相似描述子和MPEG7中的HTD纹理描述子的分类方法。

4结语

本文提出了一种频域上的纹理自相似性描述的方法，采用Gabor滤波器组对模板纹理进行频域滤波，计算每两个滤波器输出频谱局部谱能量之间的自相似矩阵，最后以该自相似矩阵作为纹理模板的描述。基于这种描述方法完成了纹理检测和分类任务的测试。实验证明纹理自相似矩阵是一种十分简单、有效的纹理描述方法。未来可能的研究方向有：1）设计尺度和方向不变的自相似矩阵的描述方法，使之能够适应自然缓变纹理分析；2）减少纹理描述的窗口效应，实现精确的纹理分割。

参考文献：

[1]BRODATZ P. Textures-a photographic album for artists and designers [M]. New York： Dover Publications， 1966.

[2]XIA Y. Featurebased segmentation of textured images [D]. Xian： Northwestern Polytechnical University， 2006.（夏勇.基于特征的纹理图像分割技术研究[D].西安：西北工业大学，2006年.）

[3]LIU L， KUANG G. Overview of image textural feature extraction methods [J]. Journal of Image and Graphics， 2009， 14（4）： 622-635.（刘丽，匡纲要.图像纹理特征提取方法综述[J].中国图象图形学报，2009，14（4）：622-635.）

[4]HARALICK R M. Statistic and structural approaches to texture [J]. Proceedings of the IEEE， 1979， 67（5）： 786-804.

[5]MANJUNATH B S， CHELLAPPA R. Unsupervised texture segmentation using Markov random field models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1991， 13（5）： 478-482.

[6]DEND H W， CLAUSI D A. Gaussian MRF rotationinvariant features for image classification [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2004， 26（7）： 951-955.

[7]SCARPA G， GAETANO R， HAINDL M， et al. Hierarchical multiple Markov chain model for unsupervised texture segmentation [J]. IEEE Transactions on Image Processing， 2009， 18（8）： 1830-1843.

[8]LEHMANN F. Trubo segmentation of textured images [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（1）： 16-29.

[9]RELLIER G. Texture feature analysis using a GaussMarkov model in hyperspectral image classification [J]. IEEE Transactions on Geoscience and Remoter Sensing， 2004， 42（7）： 1543-1551.

[10]SARKA N， CHAUDHURI B B. An efficient differential boxcounting approach to compute fractal dimension of image [J]. IEEE Transactions on Systems Man and Cybernetics， 1994， 24（1）：115-120.

[11]JIN X C， ONG S H， JAYASOORIAH. A practical method for estimation fractal dimension [J]. Pattern Recognition Letters， 1995， 16（5）： 457-464.

[12]DUBUISSON M P， DUBES R. Efficacy of fractal features in segmenting images of natural textures [J]. Pattern Recognition Letters， 1994， 15（4）： 419-431.

[13]WU G， LIANG D， TIAN Y. Texture image segmentation using fractal dimension [J]. Chinese Journal of Computers， 1999， 22（10）： 1109-1113.（吴更石，梁德群，田原.基于分形维数的纹理图像分割[J].计算机学报，1999，22（10）：1109-1113.）

[14]FLORINDO J B， BRUNO O M. Texture analysis by multiresolution fractal descriptors [J]. Expert Systems with Applications， 2013， 40（10）： 4022-4028.

[15]FLORINDO J B， BRUNO O M. Fractal descriptors based on Fourier spectrum applied to texture analysis [J]. Physica A： Statistical Mechanics and its Applications， 2012， 391（20）： 4909-4922.

[16]XU Y， HUANG S B， JI H， et al. Scalespace texture description on SIFTlike textons [J]. Computer Vision and Image Understanding， 2012， 116（9）： 999-1013.

[17]JAIN A K， FARROKHNIA F. Unsupervised texture segmentation using Gabor filters [J]. Pattern Recognition， 1991， 24（12）： 1167-1186.

[18]DUNN D， HIGGINS W， WAKELEY J. Texture segmentation using 2D Gabor elementary functions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1994， 16（2）： 130-149.

[19]DUNN D， HIGGINS W. Optimal Gabor filters for texture segmentation [J]. IEEE Transactions on Image Processing， 1995， 4（7）： 947-964.

[20]WU G， ZHANG Y， LIN X. Optimal Gabor filter design for bitextured image segmentation [J]. Acta Electronica Sinica， 2001， 29（1）：48-50.（吴高洪，章毓晋，林行刚.分割双纹理图像的最佳Gabor滤波器设计方法[J].电子学报，2001，29（1）：48-50.）

[21]GUO G D， LI S Z， CHAN K L， et al. Texture image segmentation using reduced Gabor filter set and mean shift clustering [C]// Proceedings of the Fourth Asian Conference on Computer Vision. Berlin： Springer， 2000： 198-203.

[22]FARHAN R， BALDAQUE S F， DINIS R M， et al. Invariant Gabor texture descriptors for classification of gastroenterology images [J]. IEEE Transactions on Biomedical Engineering， 2012， 59（10）： 2893-2904.

[23]FATEMIGHOMI N， PALMER P， PETROU M. Performance evaluation of texture segmentation algorithms based on wavelets [C]// Proceedings of Workshop on Performance Characteristics of Vision Algorithms. Cambridge： European Network of Excellence in Computer Vision， 1996： 21-31.

[24]AUJOL J F， AUBERTZ G， FERAUD L B. Waveletbased level set evolution for classification of textured images [J]. IEEE Transactions on Image Processing， 2003， 12（12）： 1634-1641.

[25]ACHARYYA M， de RAJAT K， KUNDU M K. Extraction of features using Mband wavelet packet frame and their neurofuzzy evaluation for multitexture segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2003， 25（12）： 1639-1644.

[26]OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution grayscale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971-987.

[27]QIAN X M， HUA X S， CHEN P， et al. PLBP： an effective local binary patterns texture descriptor with pyramid representation [J]. Pattern Recognition， 2011， 44（10/11）： 2502-2515.

[28]NANNI L， LUMINI A， BRAHNAM S. Local binary patterns variants as texture descriptors for medical image analysis [J]. Artificial Intelligence in Medicine， 2010， 49（2）： 117-125.

[29]ZHANG J G， TAN T N. Brief review of invariant texture analysis methods [J]. Pattern Recognition， 2003， 35（3）： 735-747.

[30]LIU Z， PENG S. Directional empirical mode decomposition and its application in texture segmentation [J]. Science in China： Serial E， 2005， 35（2）： 113-123.（刘忠轩，彭思龙.方向EMD分解与其在纹理分割中的应用[J].中国科学：E辑，2005，35（2）：113-123.）

[31]HU J， LI F， YANG T. Texture segmentation based on 2D EMD and RBF [J]. Computer Engineering and Applications， 2007， 43（35）： 77-79.（胡佳宁，李峰，阳婷婷.基于二维EMD和RBF的纹理分割方法[J].计算机工程与应用，2007，43（35）：77-79.）

[32]YANG H， CAI G， ZOU M. Texture segmentation based on the oscillatory feature [J]. Journal of Software， 2006， 17（9）： 1908-1914.（杨鸿波，蔡国磊，邹谋炎.基于振动特征的纹理图像分割[J].软件学报，2006，17（9）：1908-1914.）

[33]TUEERYAN M， JAIN A K. Texture analysis [M]// CHEN C H， PAU L F， WANG P S P. Handbook Pattern Recognition and Computer Vision. Singapore： World Scientific， 1993： 235-276.

[34]CHEN J， ZHAO G， SALO M， et al. Automatic dynamic texture segmentation using local descriptors and optical flow [J]. IEEE Transactions on Image Processing， 2013， 22（1）： 326-339.

[35]ROUZBEH M， SANJAY K， YANG Y H. Rotation invariant local frequency descriptors for texture classification [J]. IEEE Transactions on Image Processing， 2013， 22（6）： 2409-2419.

[36]SHECHTMAN E， IRANI M. Matching local selfsimilarities across images and videos [C]// Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007： 1-8.

[37]DESELAERS T， FERRARI V. Global and efficient selfsimilarity for object classification and detection [C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 1633-1640.

[38]BOVIK A C， CLARK M， GEISLER W S. Multichannel texture analysis using localized spatial filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1990， 12（1）： 55-73.

[39]XIANG S， LIU G， CHEN R， et al. Unsupervised texture segmentation using Gabor filters and ICA [J]. Journal of ComputerAided Design & Computer Graphics， 2004， 16（3）：284-289.（向世明，刘国翌，陈睿，等.Gabor滤波器和ICA支持的无监督纹理分割[J].计算机辅助设计与图形学学报，2004，16（3）：284-289.）

[40]MANJUNATH B S， MA W Y. Texture features for browsing and retrieval of image data [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1996， 18（8）： 837-842.

[41]FIELD D J. Relations between the statistics of natural images and the response properties of cortical cells [J]. Journal of the Optical Society of America A： Optics， Image Science， and Vision， 1987， 4（12）： 2379-2394.