基于神经网络集成学习的智能决策支持系统构建

摘要：传统DSS与一直无法较好地解决实际决策问题，特别是难以对复杂环境和复杂问题进行有效的决策和求解。集成学习通过重复采样可产生个体学习器之间差异度，从而提高个体学习器的泛化能力。神经网络集成学习方法简单效果明显，可显著提高系统的泛化能力。该文将神经网络集成技术应用到DSS中，对基于神经网络集成方法的智能决策支持系统体系进行了构建。

关键词：决策支持系统；专家系统；集成学习；神经网络集成

中图分类号：TP18文献标识码：A文章编号：1009-3044(2008)27-2045-02

The Construction of the IDSS Based on the Neural Network Ensemble

WANG Jian-min, LI Tie-jun, DONG Yun-qiang

(PLA University of Science and Technology, Nanjing 210007, China)

Abstract: It is difficult to solve the problem, which is gaps between classical Decision Support System (DDS) and practical decision-making problems, especially the complexes. Ensemble Learning is a hot topic in Machine Learning studies. The improvement of generalization performance of individuals comes primarily from the diversity caused by re-sampling the training set. Neural Network Ensemble (NNE) can significantly improve the generalization ability of learning systems through training a finite number of neural networks and combining their result. The paper introduces the DSS and NNE, and studies the application of NNE on constructing IDSS knowledge base.

Key words: DSS; expert system; ensemble learning; NNE

1 引言

决策支持系统（Decision Support System，简称DSS）的概念在20世纪初由Keen P G和Morton M S等人提出，1980年Sprague R H 提出了基于数据库和模型库的DSS结构，目前各个DSS框架结构，概括起来分为基于X库和基于知识的DSS的框架结构两大类，前者以各种库及其管理系统作为DSS的核心，后者以问题处理单元作为系统的主要部分。随着研究的深入，人们发现传统的手段难以在决策中取得理想的结果，于是将AI中知识表示与知识处理的思想引入到了DSS中，产生了智能决策支持系统（Intelligent Decision Support Systems，简称IDSS）。目前在研究的各类DSS大都与计算机技术紧密关联，对计算机依赖程度过高，从而产生了很多局限，且不能解决或者有效提供对于复杂巨问题的决策支持[1]。

机器学习是人工智能研究的重要方向，已在DSS中扮演起越来越重要的角色，若将两者有机地结合起来，改进问题处理系统，增设学习系统，就成为一种基于学习的DSS体系结构，简称ML-IDSS [2]。对神经网络算法运用集成学习（Ensemble Learning ）的思想，即为神经网络集成(Neural Network Ensemble)方法，它通过训练多个神经网络并将其结果进行合成，可显著地提高神经网络系统的泛化能力。该方法易于使用且效果明显，是一种非常有效的工程化神经计算方法 [3]。

2 决策支持系统（Decision Support System）

一般认为决策支持系统是“决策”（D）、“支持”（S）、“系统”（S）三者汇集成的一体，即通过不断发展的计算机建立系统的技术（System），逐渐扩展支持能力（Support），达到更好的辅助决策（Decision）[4]。

传统DSS通过模型来操纵数据，实际上支持的仅仅是决策过程中结构化和具有明确过程性的部分，人们更希望解决半结构化和非结构化的决策问题。即传统DSS的局限性表现在：系统在决策支持中的作用是被动的，不能根据决策环境的变化提供主动支持（主动的DSS或者协同的DSS），对决策中普遍存在的非结构化问题无法提供支持，以定量数学模型为基础，对决策中常见的定性问题、模糊问题和不确定性问题缺乏相应的支持手段。

AI技术应用于DSS中后，有效地增强了DSS的效能，提高了辅助决策和支持决策的能力，极大地丰富了DSS的信息存取和信息处理手段，同时也使DSS在军事、政府、工程规划、制造等领域受到越来越多的青睐，现有的DSS除了在定量分析支持上有提升外，对于决策中的半结构化和非结构化的问题也提供了一定的定性分析支持，但是集成了专家系统的DSS，定性知识处理能力依然较弱，且基于专家系统的智能决策系统适用范围狭窄，依然无法完成全部的定性分析支持，更无法处理复杂问题的决策支持 [1]。

3 神经网络集成(Neural Network Ensemble)

3.1 机器学习（Machine Learning）

机器学习是一门新兴的边缘学科，其突出的自学习能力让人们看到了它在DSS中应用的前景。现有的DSS定性知识处理能力弱，没有自学习适应能力，而这正是机器学习应用于DSS中的突出优点。神经网络是机器学习中具有强大生命力的算法之一。

3.2 神经网络集成（NNE）

神经网络算法已经成功应用在诸多领域，但由于缺乏严密理论体系指导，其应用效果完全取决于使用者的经验。神经网络集成一般是几个神经网络的线性组合，它具有比单个神经网络更好的泛化能力。

3.2.1 问题的提出：强学习器与弱学习器

在PAC学习模型中，存在强学习与弱学习之分，且两者存在等价性问题。若存在的一个多项式级学习算法在辨别一组概念的过程中，辨别正确率很高，那么它是强可学习的；如果学习算法辨别一组概念的正确率仅比随机猜测略好，那么它是弱可学习的，并且弱、强学习算法之间存在等价性问题，即可以将弱学习算法提升成强学习算法。等价性问题是神经网络集成思想的出发点。1990年，Schapire针对此问题给出了构造性证明并提出集成方法和相应的Boosting算法。

3.2.2 神经网络集成的定义

通过训练多个神经网络并将其结果进行合成，可以显著提高神经网络系统的泛化能力，1990年，Hansen和Salamon开创性地提出了神经网络集成（Neural Network Ensemble）方法。1996年，Sollich和Krogh给出了神经网络集成的定义，即“神经网络集成是用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定”。目前这个定义已被广泛接受。