基于GA\BP神经网络和多元回归的集成算法研究

摘要：遗传算法、BP神经网络和多元回归是目前应用比较广泛的数据挖掘算法，它们各俱优点，同时也存在诸多无法避免的缺陷。该文在前三者的基础上，提出一种BP网络与多元回归模型融合的杂合BP网络，并采用遗传算法优化杂合BP网络的初始权值，有效地避免几种方法在单独使用时存在的缺陷。验证实验结果表明：新方法所建立的模型在收敛速度、精度和泛化能力上都明显优于GA、BP神经网络和多元回归，并且较当今比较热门的ELM、SVRKM和SVM也有较显著的改进。

关键词：BP神经网络，多元回归，遗传算法，算法集成

Integration Algorithm Based on Genetic Algorithm, BP neural network and multiple regressions

Cheng ChenGuiping LiaoJinwei LiXiaohui Shi

（Agricultural Information Institute of Hunan Agricultural UniversityChangsha430000）

Abstract: Genetic Algorithm, BP neural network and multiple regression are used widely in data mining algorithms, each of them have their benefits. Simultaneously, they have some inevitable flaws. On the basis of previous three, I made some improvements in the structure of them. First, I propose a hybrid BP network based on the integration of BP Network and multiple regression models. Then I used the hybrid genetic algorithm to optimize the initial weights of hybrid BP network. In that way, I effectively avoid the inevitable flaws when they alone. Validation results show, in convergence speed accuracy and generalization ability, the model of new methods is better than Genetic Algorithm, BP neural network and multiple regressions. In addition, the model of new methods has significant improvements compared with ELM, SVRKM and SVM.

Key words: BP Neural Network; Multiple regression; Genetic Algorithms; Algorithm integration

中图分类号：TP183 文献标识码：A

基金项目：湖南省研究生科技创新基金项目（CX2010B280）

作者简介：陈诚（1986-），男，安徽蚌埠人，硕士研究生，研究方向：人工智能、信息处理。通讯作者：廖桂平（1964-），男，博士生导师，教授，主要从事农业信息技术的研究。Email：.cn

1 引言

近年来，随着“云”概念的普及和发展，当今社会的信息量越来越庞大，信息结构变得越来越复杂，信息的表现形式已经呈现出从“信息库”向“信息云”靠拢的趋势，如何在“信息云”中发掘出准确有益的信息已经成为现今研究的热门问题，而数据挖掘技术正是解决这一问题的最佳方法之一。在面对各种复杂数据时，数据挖掘技术能够方便快捷地挖掘出大量数据中隐含的内在规律，提炼出有用的信息，从而为决策提供可靠的依据。

遗传算法、BP神经网络和多元回归是数据挖掘算法中应用较广泛的三种方法，在很长的一段时间内都是数据挖掘常用的算法。然而，随着当今社会信息量的急剧增大、信息结构的不断复杂化，它们的缺陷也越来越明显：（1）遗传算法虽然能很快的接近最优解，但随后会在最优解附近左右摆动，收敛精度不高[1]。（2）BP神经网络的学习速度慢，容易陷入局部极值，在模拟线性关系时效果没有多元线性回归理想。（3）多元线性回归模型的应用领域较窄，虽然处理线性关系的数据效果很好，但是在面对非线性关系的数据时效果比较差。

由于遗传算法、BP神经网络和多元回归存在明显的缺陷，因此已经逐渐呈现出被ELM、SVRKM和SVM这几种当今主流方法所取代的趋势。但是，遗传算法、BP神经网络和多元回归并不会真的成为过去，他们依然存在自己的巨大优势，这是其他方法无法具备的。本文在遗传算法、BP神经网络和多元回归的基础上，结合三者的优点，提出一种BP网络与多元回归模型融合的杂合BP网络，并采用遗传算法优化杂合BP网络的初始权值，有效地避免几种方法在单独使用时存在的缺陷。验证实验结果表明：新方法所建立的模型在收敛速度、精度和泛化能力上都明显优于GA、BP神经网络和多元回归，并且较ELM、SVRKM和SVM也有较显著的改进。

2相关知识

2.1BP神经网络

2.1.1 BP神经网络简介

BP网络是一种有隐含层的多层前馈网络, 系统解决了多层网络中隐含单元连接权的学习问题，基本原理是梯度最速下降法, 它的中心思想是调整权值使得网络总误差最小。假设输入节点为x 、隐层节点为h 、输出节点为y ，输入层到隐层的权值矩阵为W 、隐层到输出层的权值矩阵为W ，则隐层节点h 和输出节点y 可以表示为：

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文