近邻传播聚类算法的RBF隐含层节点优化

摘 要： 传统的RBF神经网络预测精度会由于随机选取隐含层中心节点不合适而导致算法效率低下和数值病态，为了提高RBF神经网络的效率，提出了一种用近邻传播AP聚类算法改进RBF神经网络的方法，并介绍了该方法的原理及建模步骤。由于采用的AP聚类算法属于自适应聚类学习算法，无需事先给定隐含层中心节点的个数，能够适用于不具有先验信息的预测。首先，利用AP算法根据训练样本的信息进行聚类迭代，从而确定RBF神经网络中隐含层的中心节点和节点数值，解决了RBF网络的中心取值问题。然后，把所有输入数据代入基于AP聚类算法优化的RBF神经网络中进行预测。由于AP算法无需预先指定聚类数目，所提方案能提高网络的学习精度和训练速度，利用所提优化方案对正弦函数进行逼近的仿真实验，结果表明该方案的逼近误差仅为0.005 5，在0.3噪声下能保持较好的预测精度。

关键词： 径向基函数神经网络； 近邻传播聚类算法； 隐含层； 逼近误差

中图分类号： TN711?34； TP398.1 文献标识码： A 文章编号： 1004?373X（2016）19?0016?04

Abstract： The prediction accuracy of the traditional radial basis function （RBF） neural network may result in lower algorithm efficiency and pathological numerical value due to the inappropriate random selection of the hidden layer center node， to improve the efficiency of RBF neural network， a method of using affinity propagation （AP） clustering algorithm to improve RBF neural network is proposed. The principle and modeling steps of the method are introduced. Since the adopted AP clustering algorithm belongs to the self?adapting clustering learning algorithm， it needn′t predefine the numbers of the hidden layer center nodes， and is applied to prediction without transcendental information. The AP algorithm is used for clustering iteration according the information of training sample， so as to determine the center node and node numerical value of hidden layer in RBF neural network， and solve the center dereferencing problem of RBF network. After that， all input data is taken in RBF neural network based on AP clustering algorithm for prediction. Since the use of AP algorithm needn′t predefine the clustering numbers， the proposed scheme can improve the learning accuracy and training speed of the RBF neural network. The approximate simulation experiment was performed for sine function with the proposed optimization scheme. The results show that the approximate error of the proposed scheme is only 0.005 5， and can keep good prediction accuracy under the noise of 0.3.

Keywords： radial basis function neural network； affinity propagation clustering algorithm； hidden layer； approximate error

0 引 言

RBF（Radial Basis Function）网络是一种单隐含层前馈神经网络，其基本思想是在隐含层内基函数的作用下，将输入信息的不可分矢量变换到高维可分空间[1?3]。RBF网络结构简单而且具备非线性逼近能力，收敛速度快。RBF网络已经广泛应用于函数逼近、模式识别、信号处理和控制等领域[4?5]。由于RBF网络的输出是线性的，隐含层的输出是非线性的，所以对RBF网络的训练主要针对隐含层。目前，提高RBF网络性能的主要方法包括调节隐含层层数，调节隐含层的中心节点参数和宽度参数。王荣秀等利用局部保持投影的方法[6]，对用于来波到达角估计的神经网络进行降维，同时获得了良好的估计精度和效率。郭伟等用K近邻统计法估计隐含节点输出矩阵和输出节点输出矩阵之间的互信息，减少相关性最小的隐含节点以优化网络结构[7]。薛福强等通过改进的层次遗传算法确定RBF神经网络均衡器结构[8]，使用较少的隐含层单元获得了信道均衡器的低误码率。

近邻传播AP算法是Frey等提出的一种新的聚类算法[9]。它因无需指定聚类数目，具有更高效的处理速度，同时也能够得到较好的聚类结果。朱红等提出了一种改进属性约简的细粒度AP算法[10]，实现聚类的并行处理。然而，利用AP聚类算法的优秀特性对RBF神经网络进行优化的文献却比较少见。本文使用AP算法对输入数据进行聚类，选出聚类中心作为隐含层的中心节点，以聚类中心数作为隐含层节点数，解决了隐含层中心取值和层数确定的问题，使RBF网络只需要进行一步迭代算法，就能得到输出结果。

1 RBF网络模型

RBF神经网络是由输入层、隐含层和输出层组成的单隐层前馈网络[11?12]。其中，输入层不会改变输入信息的相关性，只起到传递作用；而隐含层单元为感受野单元，由一组径向基函数构成，一般为非线性函数[13]。

3 AP聚类算法优化的RBF神经网络

目前针对RBF神经网络隐含层优化的方法主要分为两类：调节隐含层层数，调节隐含层的中心节点参数和宽度参数。调节隐含层层数的方法需要根据训练数据的先验信息设置具体的隐含层层数，或者利用预处理的方法对输入进行处理以消除部分相关性。当隐含层内的神经元无法覆盖所有输入信息的数据集合时，网络本身的预测精度就难以保证。调节隐含层节点参数和宽度参数的方法需要根据具体的应用需要开发新的预处理方法，实施起来不具有普适性。在本文提出的AP算法优化的RBF神经网络中，由于AP聚类学习算法属于自适应聚类学习算法，它无需事先给定隐含层中心节点的个数，只需要根据输入样本的信息进行聚类迭代，从而确定径向基函数的中心点，能够适用于不具有先验信息的预测。

本文提出的基于AP算法优化RBF神经网络模型由两部分组成：首先用AP算法对样本进行初始聚类，以确定RBF神经网络的中心节点及其数目；然后将所有数据交给RBF神经网络进行预测。基于AP算法优化的RBF神经网络模型如图2所示。

4 仿真结果

本文以逼近正弦函数[y=sin（2πx）]为例，首先取0.01～1之间以0.01为间隔的100个数作为输入值，然后使用AP算法选出中心节点，接着使用RBF网络进行训练，最后取0.505～1之间以0.01为间隔的50个数作为输入值进行预测，以输出误差值的最大值作为评价标准。阻尼因子设置为[λ=0.5，]中心节点数目标识为[A。][W1]为无噪声时的误差，[W2]为加入占空比为30%的白噪声后的逼近误差。表1为无噪声环境下[P]取不同值时选择出的中心节点和逼近误差。

由图4可以看出，取0.505～1区间内以0.01为间隔的50个数作为输入数据进行预测后得到的预测结果非常好。

图5和图6分别是在噪声占空比为0.15和0.3环境下的预测结果。从这两幅图中可以看出在低噪声情况下，本文提出的方案能够很好地抑制噪声，取得较好的预测结果。在高噪声情况下，本文提出的方案仍然能够获得有效的预测结果。

从上述仿真结果可以看出，在无噪声情况下选出的节点数越多，逼近误差值越小，但是中心节点数增多，会导致隐含层层数增多，网络结构更加复杂，大大增加了训练时间，降低了学习速率。因此选择适当的中心节点数和中心节点对RBF网络非常重要。

5 结 语

RBF神经网络隐含层中心节点个数和选取方案关乎其预测精度，而现有中心节点的选取方案依赖于对训练样本的相关性分析，使得RBF神经网络实施复杂，不具有普适性。本文利用AP聚类算法无需指定聚类个数、自适应实现全局最优聚类和聚类速度快的优点，用AP算法确定RBF神经网络中心节点个数和数值。本文改进的RBF网络不仅能够确定隐含层的层数还能选出中心节点，训练速度快，解决了RBF网络最重要的问题，而且不依赖于具体训练数据的相关程度，具有普适性。从仿真实验可以看出，AP算法和RBF网络结合后的预测结果准确度高，逼近效果好，表明AP算法能够有效地解决RBF网络隐含层优化问题。

参考文献

[1] 文翰，肖南峰.基于强类别特征近邻传播的半监督文本聚类[J].模式识别与人工智能，2014，27（7）：646?654.

[2] 回立川，于淼，梁芷睿.应用近邻传播算法改进RBF的短期负荷预测[J].电力系统及其自动化学报，2015，27（1）：69?73.

[3] 赵凤娇，贺月姣.基于改进的K?means聚类算法水下图像边缘检测[J].现代电子技术，2015，38（18）：89?91.

[4] 黄建清，王卫星，胡月明，等.近邻传播聚类无线传感器网络分簇路由算法[J].计算机工程与设计，2014，35（2）：406?410.

[5] 常瑞花.基于密集度量元的近邻传播聚类算法[J].微电子学与计算机，2015（5）：1?5.

[6] 王荣秀，田雨波，张贞凯.基于局部保持投影和RBF神经网络的DOA估计[J].科学技术与工程，2013，13（24）：7054?7058.

[7] 郭伟.基于互信息的RBF神经网络结构优化设计[J].计算机科学，2013，40（6）：252?255.

[8] 薛富强，葛临东，王彬.基于改进层次遗传算法优化的神经网络信道均衡器[J].计算机应用与软件，2010，27（5）：75?77.

[9] FREY B J， DUECK D. Clustering by passing messages between data points [J]. Science， 2007， 315（5814）： 972?976.

[10] 朱红，丁世飞，许新征.基于改进属性约简的细粒度并行AP聚类算法[J].计算机研究与发展，2012，49（12）：2638?2644.

[11] 李英乐，于洪涛，刘力雄，等.基于RBF神经网络的微博消息传播时间预测方法[J].计算机工程与设计，2013，34（11）：3815?3819.

[12] 孟军，尉双云.基于近邻传播聚类的集成特征选择方法[J].计算机科学，2015，42（3）：241?244.

[13] 钱雪忠，赵建芳，贾志伟.基于约束投影的近邻传播聚类算法[J].计算机工程与科学，2014，36（3）：524?529.

[14] 邢长征，刘剑.基于近邻传播与密度相融合的进化数据流聚类算法[J].计算机应用，2015，35（7）：1927?1932.

[15] 储岳中，徐波，高有涛.一种融合人工免疫系统与AP算法的分类器设计[J].南京航空航天大学学报，2013，45（2）：232?238.

[16] 周治平，张道文，王杰锋，等.基于流形结构邻域选择的局部投影近邻传播算法[J].南京大学学报（自然科学版），2015，51（4）：741?748.