基于矩阵运算的单隐层Madaline网络批量学习

【前言】基于矩阵运算的单隐层Madaline网络批量学习由文秘帮小编整理而成，但愿对你的学习工作带来帮助。ZHANG Yin-chuan*，BAI Shu-kui College of Computer and Information， Hohai University， Nanjing Jiangsu 211100，China Abstract： In this paper， a matrix computing-based mathematic model was established for the feedforward discrete Madaline network ...

摘 要：针对前向离散型单隐层Madaline网络建立了以矩阵为基础的数学模型，结合高维空间超平面划分理论，通过对表示样本的矩阵与代表网络性质的矩阵进行分析运算，在输入样本维度较低的情况下给出了Madaline网络的批量学习方法。该方法可有效地解决离散数据的两类分类问题。

关键词：Madaline网络；矩阵运算；批量学习；两类分类

中图分类号： TP183

文献标志码：A

Matrix computing-based batch learning for Madaline network with one hidden layer

ZHANG Yin-chuan*，BAI Shu-kui

College of Computer and Information， Hohai University， Nanjing Jiangsu 211100，China

Abstract：

In this paper， a matrix computing-based mathematic model was established for the feedforward discrete Madaline network with one hidden layer. By analyzing the matrix representing samples and the matrix representing attributes of the network， and combining the hyperplane division theory in high dimensional space， a batch learning method was proposed for Madaline network with the input of lower dimensional samples. This method can effectively solve the problem of two-category classification of discrete data.

英文关键词　Key words：

Madaline network； matrix computing； batch learning； two-category classification

0 引言

随着信息技术的不断发展，现代计算机已经具有很强的信息处理能力，可以迅速可靠地解决一些人类自身所不能解决的问题，如计算量很大的数值计算。但人类在复杂环境中处理问题的能力却远远超过电子计算机，如识别文字、声音与图像，这是因为人脑具有高度复杂的、非线性的和并行的处理结构。通过模拟这种结构，人们构造出一种新的计算系统，即人工神经网络。人工神经网络是模拟生物神经系统的组织结构、处理方式和系统功能的一类人工智能简化系统[1]。

神经网络发展至今，已经广泛应用于模式识别、控制优化、智能信息处理等领域。同时网络的结构也呈现多样化，根据网络的不同特点有不同的划分方法，如前馈型网络、反馈型网络、连续型网络、离散型网络等。Madaline是一种离散型前向神经网络，适用于解决许多具有离散性质的问题，如Boole函数问题、二分问题等。对于连续型网络已经有许多有效的训练算法，但其中很多算法都涉及微积分计算，因此不能直接应用于具有离散性质的Madaline网络。20世纪60年代，Widrow等[2]针对Madaline网络的特点提出了Madaline Rule Ⅱ（MRⅡ）算法，算法的基本思想是“最小扰动原则”。该算法有其独特的优点，使得网络的泛化性能与学习性能呈正相关性，但算法的收敛能力不太理想。1995年，Kim等[3]给出了针对二进神经网络的几何学习方法，当前，包括基于敏感性的自适应规则在内的一些离散网络学习算法仍在研究中[4-5]。

本文主要讨论单隐层Madaline网络的批量学习方法。通常在实际应用中，只含一个隐层的三层网络可用于解决许多问题，如模式识别中最常见的两类分类问题。本文所提方法将所有训练样本、网络输入层、隐层和输出层的数据表示为矩阵，并在高维空间利用矩阵运算对网络进行训练，以对样本进行正确划分。

1 单隐层madaline网络

Adaline神经元是Madaline网络的基本组成元素，构成网络中的一个节点。Adaline神经元的工作原理为将R维输入向量X=（x1，x2，…，xR）T与权值W=（w1，w2，…，wR）T相乘，并加上一个偏置w0，形成一个模拟量的和，记作n，再经过激活函数得到一个数字量输出y。输入向量的每个分量和输出只取离散值1或-1，权值向量的分量和偏置可取任意实数。这里，激活函数选为对称硬极限函数：

Madaline是由多个Adaline神经元连接而成的前向网络，每层由若干个具有相同输入的神经元组成。相邻两层上的神经元互相连接，处于同一层的神经元或者不相邻的两层神经元之间没有连接。前一层的输出作为后继层每个神经元的输入，网络的输入作为第一层的输入，最后一层的输出作为网络的输出。

一般认为，增加神经网络隐层数目可以提高输出精度，从而降低网络误差，但同时也使网络结构复杂化，训练时间较长，并容易导致“过拟合”现象，即过分复杂的系统对训练样本集能获得好的结果，但不利于对新样本进行准确划分。依靠增加隐层节点数来获得较低的误差比增加隐层数更容易实现。大多数实际的神经网络仅仅只有两层到三层神经元，很少有四层或更多层[6]。具有广泛应用的单隐层感知机网络和径向基函数网络都是三层结构。

两类分类问题是模式识别与机器学习等领域常见的分类问题。两类情况是多类情况的基础，因此多类分类常常可以利用两类分类解决，目前普遍采用的方法是通过构造多个标准的两类分类器，实现多个分类函数。输出层只有一个神经元的单输出Madaline网络可用于解决两类分类问题，用输出值1或-1分别代表不同的两类。对于线性不可分问题，选取的隐层神经元个数大于输入维数，将样本特征映射到更高维度的空间，从而在高维空间中进行线性划分。一个可用于解决二分问题的单隐层Madaline网络如图1所示。