Levenberg-Marquardt神经网络算法研究

[摘 要] 前馈神经网络中的向后传播算法（Backpropagation (BP) Algorithm)算法存在固有的缺陷，Levenberg-Marquardt神经网络算法可以有效地克服这一点BP算法的缺陷。本文给出了Levenberg-Marquardt算法。

[关键词] 前馈神经网络 Levenberg-Marquardt算法 BP算法

前馈神经网络BP学习算法在理论上具有逼近任意非线性连续映射的能力,在非线性系统的建模及控制领域里有着广泛的应用。然而BP 算法存在一些不足, 主要是收敛速度很慢; 往往收敛于局部极小点; 数值稳定性差, 学习率、动量项系数和初始权值等参数难以调整，非线性神经网络学习算法Levenberg-Marquardt可以有效地克服BP算法所存在的这些缺陷。

一、前馈神经网络

前馈神经网络由输入层、隐层和输出层组成。令u=[u1,u2,Λ，um]T,y=[y1,y2,Λ,yn]T络的输入、输出向量, 令X=[x1,x2,Λ,xN]T为网络的权及阈值的全体所组成的向量。给定P组输入输出训练样本定义网络的误差指标函数为:

(1)

(2)

然后就可以按照各种学习算法开始对X进行训练, 得到最优Xopt, 使得

二、Levenberg-Marquardt神经网络算法

1.给定初始点X(0), 精度，σ，k=0。

2.对i=1,2,…,M求fi(X(k)),得向量

对i=1,2,…,M求得Jacobi矩阵

3.解线性方程组求出搜索梯度方向h(k)。

4.直线搜索,其中λk满足

5.若则得到解Xopt，转向7（停止计算）; 否则转向6。

6.F（X(k+1)）＜F(X(k)),则令,k=k+1, 转向2; 否则=*ξ,转向3。

7.停止计算

在实际操作中，是一个试探性的参数，对于给定的，如果求得的h(k)能使误差函数Ep(X)降低，则被因子ξ除；若误差函数Ep(X)增加，则乘以因子ξ。在仿真中，选取初始值=0.01，ξ=10。在采用Levenberg-Marquardt算法时，为使收敛速度更快，需要增加学习率因子α，取α为0.4。Levenberg-Marquardt算法的计算复杂度为为网络权值数目，如果网络中权值的数目很大。则计算量和存储量都非常大。因此，当每次迭代效率显著提高时，其整体性能可以大为改善，特别是在精度要求高的时候。

三、结论

前馈神经网络中，BP 算法存在收敛速度很慢，收敛于局部极小点等缺陷，而Gauss-Newton的改进算法Levenberg-Marquardt算法能有效克服BP 算法的缺陷。

参考文献：

[1]徐嗣鑫 戴友元:前向神经网络的一种快速学习算法及其应用.控制与决策, 1993, 8(4): 284～ 288

[2]王耀南 童调生 蔡自兴:基于神经元网络的智能PID控制及应用。信息与控制, 1994, 23(3): 185～189

[3]张星昌:前馈神经网络的新学习算法研究及其应用。控制与决策, 1997, 12(3), 213～ 216