一种基于ART2神经网络的算法改进

摘 要： 针对传统的ART2神经网络中对于主观设置的警戒参数以及识别分类过程中产生模式漂移的问题，提出基于改进算法的ART2神经网络模型，用于解决分析模式识别问题。通过自组织，加权，迭代等过程推导合理的警戒参数用于聚类运算，通过对ART2神经网络的权值训练方面进行修正，减缓学习速率，降低模式漂移速度，近一步对聚类对象进行合理分类。实验结果证明，该方法是可行的和有效的。

关键词： ATR2神经网络； 警戒值； 模式漂移； 模式识别

中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神经网络的输入为任意模拟输入矢量，所以它有非常广泛的应用范围，通过对警戒值的调整，ART2神经网络可以对输入的模拟矢量进行不同精度的分类。ART2是基于自适应谐振理论的一种自组织神经网络，通过竞争学习和自稳机制原理实现分类，它主要是为了解决下列问题而提出的：设计一个学习系统，同时拥有稳定性和可塑性，即系统在不断学习新知识的时候能保持原有的知识[1?2]。

迄今为止，基于ART网络的模式分类方法有很大发展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分类和自适应模式分类方法[3?4]。

传统的自适应谐振神经网络也存在着一些缺陷，主要体现在：传统的ART神经网络在网络训练前要给出警戒参数，该警戒参数对于网络聚类结果具有直接的影响。当警戒参数较高时，ART系统对模式的相似性要求就越高，类的划分就越细，形成的类别就越多；当警戒参数较低时，网络有较强的容错能力，因此就产生较少的分类数目[5?6]。

由于传统的ART2网络在对输入模式识别分类时，会产生模式漂移现象，从而无法实现更准确的分类。对部分权值的修正放慢学习速度，将改善模式漂移现象。

1 ART2神经网络的结构和原理

1.1 ART2神经网络结构

ART2系统由定向子系统OS和注意子系统AS构成，注意子系统AS由感受层SL和反应层RL和控制增益GC组成，既有短时记忆[OS（t）]和[OR（t）]，又有长时记忆，包括自低向上的长时记忆[Ω（SR）]和自顶向下的长时记忆[Ω（RS）]。作为神经计算的模型，ART2系统是由人工神经元形成的系统。感觉神经元构成了系统的感受层，而反应神经元构成了系统的反应层，ART2网络的结构如图1所示。

图1 ART2神经网络基本结构

在系统中，各感觉神经元之间的联结关系包括：[Dab：SLaSLb]，[Dbc：SLbSLc]，[Dcd：SLcSLd]，[Dde：SLdSLe]，[Def：SLeSLf]，[Dda：SLdSLa]，[Dfc：SLfSLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之间的联结关系式对应元素之间的联结，因而，其联结关系矩阵[Dij（i，j∈{a，b，c，d，e，f}）]均为对角矩阵。

在感受层SL中，只有子集[SLa（V（s）a）]可以接受外部输入信号[x]，另外只有子集[SLe（V（S）e）]的状态向量[OSe]能作为系统感受层SL的输出，用于系统的反应层RL[3]。

1.2 ART2神经网络的工作原理

1.2.1 参数及联结权值初始化

所有神经元的输出置0向量，计数器初始值为[C=0]；SL层从下到上的长时记忆初始为：

[Ω（SR）=0.5（1-α3）・mnm]

RL层从上到下的长时记忆初始为：

[Ω（RS）=（0）mn]

各参数确定为：

[α1>0， α2>0，0

1.2.2 计算步骤

ART2网络的运行按照如下的步骤进行：

（1） [SLa]运算：

[O（S）a=x+α1O（S）d]

（2） [SLb]运算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]运算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]时[f（x）=x]，[x≤α3]时[f（x）=0]。

（4） [SLd]运算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]运算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]运算：

[O（S）f=O（S）eε+O（S）e]

（7） SL测试：如果短时记忆[O（S）i（i∈a，b，c，d，e，f）]没有达到稳定状态，转到步骤（11）。

（8） 计数和转移：如果[C=0]，转到步骤（11）。

（9） OS运算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r

（10） 复位操作：如果复位信号[r=1]，则置[O（S）k=0]，抑制[v（R）k]到ART2系统达到“谐振”状态，重置短时记忆[OS=0]和[C=0]，转到步骤（1）；否则[r=0]，转向步骤（14）。

（11） RL运算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的单元[v（R）k]记作竞争获胜单元。

（12） 引发期待：[Ω（RS）Tω（RS）k]。

（13） 计数和转移：[C=C+1]，转向步骤（5） 。

（14） 谐振：[r=1]说明[x]与[ω（RS）k]匹配，ART2系统达到谐振状态，ART2快速学习机制启动。

（15） 前馈学习：更新前馈联结关系[Ω（SR）]的第[k]个列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反馈学习：更新反馈联结关系[Ω（RS）]的第[k]个行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停机条件：若对于任意输入[x]，[Ω（RS）]和[Ω（SR）]都是稳定的，ART2系统停止运行；否则删除输入模式，RL中所有被抑制的反应神经元恢复起始，重置短时记忆[OR=0]和[OS=0]，重置计数器[C=0]。

2 改进的ART2神经网络

在上述传统的ART2神经网络算法中对于警戒值[ρ]的选择是根据经验所得，这里提出了一种在神经网络计算前对[ρ]的选取算法。同时为了解决模式漂移的问题，对ART2神经网络中F2至p层和p层至F2层的权值进行修改，减缓学习速率，从而可以有效地减少模式漂移带来的误差[7]。

2.1 具体算法描述

（1） 设置警戒参数初值ρ，开始设置接近l，在初始聚类时，对于接近的输人向量也会在这个过程进行融合，每个差异较大的输入向量就会产生一个类别。

（2） 由于ART2模型的输出端是一维阵列，可按神经元模值将神经元放置在x轴上，以模值大小顺序对输出层神经元的位置进行重新排列，以模值为判断依据，同时对自顶向下和自低向上权重矩阵进行调整。

（3） 在解决漂移模式问题中，模式漂移现象主要

原因是权值的修正方法不准确引起的，在传统的ART2算法中，权值修正公式在每次输入模式结束时，权值都近似等于[O（S）d1-α4]，在学习新的模式之后容易遗忘已经学过的输入模式，权值总是向当前的输入数据靠近。所以对ART2神经网络中F2至p层和p层至F2层的权值进行修改，减缓学习速率，修正后的权值为：

从F2层到p层的权值为：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

从p层到F2层的权值为：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具体算法步骤

加入警戒值选择和权值修改后的改进ART2神经网络算法如下：

（1） ρ=ρ-del ；del为警戒参数递减值；

（2） 将第k次迭代神经网络输出层的每一个神经元代表的类别向量组成第k+1次迭代神经网络的输入向量样本集X（k+1）；

（3） 按序输入X（k）样本集中每个向量，训练的算法按照步骤（4）整个过程；

（4） 在传统ART2神经网络学习中的对步骤（15），步骤（16）进行修改如下：

步骤（15） 前馈学习：更新前馈自适应联结关系[Ω（SR）]的权值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步骤（16） 反馈学习：更新反馈自适应联结关系[Ω（RS）]的权值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停机条件不变。

3 实验及其结果分析

为了验证算法改进后的分类效果，对传统ART?2神经网络算法和改进后的算法进行了实验比较[8?10]。本文采用实际数据做为测试数据。实际数据采用来自美国加州Irvine大学信息与计算机科学系中所提供的Glass数据。Glass数据是在记录玻璃所包含的化学元素情况，记录中包含了处理过与非处理过的建筑用窗户、处理过与非处理过的货车窗户、容器、餐具以及车灯共7种类别，而在G1ass数据中则有9种不同的化学元素，分别是锆、钠、镁、铝、硅、钾、钙、钡、铁九种属性，Glass数据集一共是214组。在不同用途的玻璃中化学元素的含量不同，如表1所示。

表1 不同用途的玻璃中化学元素的含量

在进行ART2神经网络的训练时候，对于参数设为ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。将神经网络程序运行结果， 与数据集中正确分类进行对比之后，发现以前ART2网络由于模式漂移和警戒参数人工设置问题设置产生了10个分类，产生了较大分错率。由改进的ART2网络下运行结果显示降低了这些问题的影响，只产生了8个分类，而且在每一类的分类中，改进后的神经网络可以更好地对每一组数据进行正确的分类。如表2所示。

表2 传统神经网络和改进后神经网络的分类比较

4 结 语

针对本文中摘要提出的警戒值选取问题，在改进的ART2神经网络聚类算法中，利用以前警戒参数训练神经网络结果的基础上迭代，改变了神经网络主观设定警戒参数的问题。针对模式漂移的问题，通过改进联结权值，使改进后的ART2神经网络网络减慢了学习速率，近而降低了模式漂移的速度。实验证明，在改进选取警戒值和对联结权值修改后的ART2神经网络更好地实现了聚类分类，同时提高了模式识别的精度。

参考文献

[1] 陈国灿，高茂庭.ATR2神经网络的一种改进[J].计算机工程与应用，2013（4）：2?3.

[2] 沈艳超，叶青.车辆特征提取和分类方法的研究[D].长沙：长沙理工大学，2010.

[3] 阮晓刚.神经计算科学[M].北京：国防工业出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 钱晓东，王正欧.基于算法改进的ART2数据聚类方法研究[J].哈尔滨工业大学学报，2006（9）：1549?1553.

[6] 钱晓东，王正欧.基于神经网络等技术的数据与文本聚分类研究[D].天津：天津大学，2005.

[7] 谭锦华，邝献涛.基于ART2神经网络与动态聚类的分类器[J].控制工程，2005（z1）：68?70.

[8] 姚光顺.ART?2神经网络的缺点及其改进[J].仪器仪表用户，2008（2）：117?118.

[9] 周润景，张丽娜.基于Matlab与FUZZYTECH的模糊与神经网络设计[M].北京：电子工业出版社，2010（3）：163?187.

[10] 贾鹏.引入遗忘机制的ART2改进模型[J].计算机工程与应用，2006（9）：60?62.