神经网络提取特征范文

神经网络提取特征篇1

关键词 数字识别；图像预处理；特征提取；神经网络

引言

目前,识别技术已经广泛地应用到了各个领域中。为了达到对一幅图像中的数字进行识别的目的，我们要对图像进行一些处理，这些处理工作的好坏直接决定了识别的质量，这些处理技术依次为图像的读取、对读取的图像进行灰度变换、按照量化指标对灰度变换后的图像进行二值化、然后对二值化后的图像中的字符信息进行切分等。在进行完上述预处理工作后进行特征提取，再输入到已经训练好的BP网络进行识别。

1 识别的流程

识别的流程按照引言中的步骤进行，主要分为两大部分，第一部分为图像的预处理、第二部分为通过神经网络进行印刷体数字的识别。预处理部分的流程：图像输入-灰度变换-图像二值化-紧缩重排-归一化调整-图像分割-特征提取。神经网络数字识别的具体流程：样本训练-字符特征输入-识别并给出结果。

2 基于神经网络的特征提取算法概述

图像在经过了前期的预处理后，由原来杂乱无章的字符变为了整齐排列的、大小相同的一列字符，在这里图像归一化后的宽度为8像素，高度为16像素，这样就大大方便了对字符特征的提取。我们把提取的特征存储在特征向量里，然后把特征向量输入到神经网络中，这样就可以对字符进行识别了。由以上的论述我们可以得出结论，特征提取的算法是整个识别过程的关键，它的好坏直接决定了识别的成败。对图像中的字符进行特征提取的算法有很多，下面对几种重要的分别进行介绍。

2.1骨架特征提取法

由于图像的来源不同，这就使得图像的线条所使用的像素不同，在图像上表现出来就是线条的粗细的不同，这样就使得它们的差别很大。如果我们将不同的图像统一到相同的像素水平，那么它们的差别也就不那么明显了。我们使用骨架特征提取算法，就会使得识别具有一定的适应广度和宽度。

2.2逐像素特征提取法

这种图像的特征提取算法是最为常用的方法，它的特点是能够保留图像中的全部特征信息，不过这种特征提取算法对图像的噪声较为敏感，对原始图像的质量要求较高，它采用逐行扫描的办法，对图像进行扫描，为整个图像建立一个以图像中的像素个数相同的特征向量矩阵。矩阵值为0或1，图像中的黑色像素记为1，白色像素记为0。

2.3垂直方向数据统计特征提取法

此算法是对逐像素提取算法的改进，他使得特征向量矩阵的维数降低，便于后期的识别。该算法首先对图像进行水平扫描，在这一过程中，统计没一列的黑色像素数，然后进行对图像进行垂直扫描，并记录每一行上的黑色像素数，对于一个字符宽度和长度为W和H的字符，他的特征向量的维数就为W+H。

2.4特征点提取法

这一特征提取算法首先对字符进行分割，利用实现设定的四条线将字符分为八个部分，分别统计每个部分中黑色像素的数目，可以得到八个特征。然后统计水平和垂直两个方向上，穿过四条线的黑色像素数，得到四个特征，最后将整个图像中黑色像素的数目作为一个特征，一共得到十三个特征。该方法具有很强的适应性，但是由于特征点较少，使得在样本的训练过程中很难收敛。

可以看出，识别算法各有特点，根据实践需要，本识别算法中的特征提取算法采用逐像素特征提取法。原因是这种算法的执行效率高，方法简单容易实现，且对于神经网络来说有很快的收敛性，具有较好的训练效果。

3 BP网络进行数字识别算法设计

BP网中中各层中的节点数是设计BP网络最基本的一点，对于神经网络的输入层而言，其节点数为经过图像预处理里后特征向量的维数。可以直接利用每个点的像素值作为特征，这里特征提取采用逐像素提取法，归一化后图像的宽度为8，高度为16，因此对于输入样本来说，每一个样本都会由128个特征，因此神经网络的输入层的特征数为128。

对于神经网络内部隐藏层的节点数来说，其节点数没有特别的规定，总的来说，隐藏层的神经元的数目与神经网络的精度成正比，与训练时间成反比。如果神经网络的神经元设置的过多，会对识别率造成较大影响，使得识别率大幅下降。因此在这里根据多年的实践经验在神经网络的隐藏层选取10神经单元。 对于输出层而言，要根据设定的输出标准来确定输入层的节点数。在本算法中采用8421的编码进行编码。对于0-9这十个数字，分别对应十个8421码，例如，0的8421码为（0,0,0,0），1的8421码为（0,0,0,1），依次类推，因此神经元的数目选定为4，就可以表示这十个数字，然而，因为神经元的激励函数（传输函数）是S型函数，期望输出只能是大于0小于1的数，而不能是1或者0，因此用0.1来代表0，0.9代表1，否则算法将不能收敛。

神经网络搭建好后，要对神经网络进行训练，也就是确定神经网络中各个参数的权值。本程序的训练样为图片。首先将图片进行预处理，然后提取特征，将特征值输入到神经网络中进行训练。在这里使用10个字符的图片进行训练，在图片里包含了ARIAL字体0-9十个数字。

通过50个相关训练样本进行训练后，BP网络对于数字字体的识别率能够达到百分之九十以上。训练好的神经网络就可以对数数据进行识别了。

4结论

本文以VC为平台，运用人工神经网络的思想（主要采用BP神经网络），实现了对印刷体数字识别。系统实现分为图像预处理和神经网络识别两大模块。首先，扫描进入电脑的图像需保存为256色位图或者是256级灰度图像。首先对图像进行预处理，然后进行特征提取，再输入BP网络进行识别。BP神经网络进行字符识别的过程主要包括网络的训练、数据的读取、字符的判定、结果的输出等。本系统通过对样本数据进行学习和训练，形成了具有良好识别能力的网络，对印刷体数字进行识别检测，达到了一定的准确度，满足了设计要求。

参考文献

[1]周渝斌.基于ORACLE8i的大型数据库技术讲座之一数据库优化篇.电脑编程技巧与维护，2002.

神经网络提取特征篇2

关键字：木材表面缺陷,神经网络,BP网络

Abstract: from now neural network in pattern recognition of the development perspective, in large network structure optimization problem and network learning problems is still open to solve and improve. Therefore, to study various neural network in the wood surface defect recognition of the practicability and accuracy, wood surface defect recognition to promote the study of the method, has very important practical significance.

Key word: wood surface defect, neural network, and BP network

中图分类号：F762.4 文献标识码：A 文章编号：

随着科学技术的发展，神经网络理论作为一门新兴学科，近年来被广泛应用于木材表面缺陷的识别分类中，以达到神经网络具有的实时性、容错性以及学习性等特点。然而，由于木材表面缺陷种类繁多，随机性比较强，这些都给分类器提出了很高的要求。现阶段，人们普遍采用都是基于误差逆传播算法（BP）的神经网络，然而BP网络的缺点是对干扰量非常敏感、隐含层节点数需要经过多次尝试、学习速度慢且易陷入局部极小点。

1．误差逆传播神经网络(BP网络)

按照误差逆传播学习算法进行训练的多阶层神经网络被直接称为误差逆传播神经网络，即BP网络。BP网络是一种具有三层神经元的阶层神经网络，不同阶层神经元之间实现权重连接，而每层内各个神经元之间不连接。

2．木材缺陷特征提取

⑴ 划分缺陷区域并确定缺陷的尺寸和位置

在二值化图像中，相互连接的黑像素的集合称为一个区域。在这部分程序设计中，通过对图像内每个区域进行标记操作(标号)，求得这样区域的数目(也就是在这幅二值图像中存在的缺陷数)，进而计算每个缺陷的边界，再按照求得条件进行区域划分，把每个缺陷均划在一个区域中，使一幅图像分成多幅图像。然后分别对每个小幅图像进行计算，确定缺陷的位置及尺寸。

⑵ 根据缺陷位置及尺寸提取灰度特征

根据M[][]数组中的缺陷位置数据，从二值化前的灰度图像中提取缺陷的灰度特征，由此依次地得到缺陷特征数组BB[Rmax-Rmin][Lmax-Lmin]。其中缺陷部分为具体的灰度值，其它均为0。

3．BP网络设计

BP神经网络是目前所有神经网络中算法最为成熟，应用最为广泛的一种神经网络，且具有简单、易于实现等特点。

⑴ 输入层和输出层的设计

BP神经网络的输入，输出层维数完全根据使用者的要求来设计。本实验研究对象为木材缺陷图像，输入为表征木材图像缺陷特征的特征向量，在图像处理过程中，我们提取了缺陷的3个特征数据：缺陷灰度均值、缺陷灰度方差和缺陷形状。

如果把它们作为网络的输入，则网络的输入层的单元个数便确定为3个，根据所达到的识别要求，对木材的十种缺陷进行有效识别，选择输出层单元的个数十个，即每个单元的输出代表一种缺陷类型，这样便确定了网络的输入和输出层单元数目，再根据这两个数据确定中间层(隐层)单元数。

⑵ 隐层的设计

1989年，RobertHeeht-Nielson证明了对于任意在闭区间内的一个连续函数都可以用含一个隐层的BP神经网络来逼近，因而一个单隐层的BP神经网络可以完成任意的n维空间到m维空间的映射，隐层神经元数目选择是一个十分复杂的问题，往往需要根据设计者的经验和多次试验来确定，不存在一个理想的解析式来计算。

⑶ 初始值的选取

由于系统是非线性的，初始值对于学习能否达到局部最小和是否能够收敛的结果关系很大。一个重要的要求是：初始值在输入累加时使每个神经元的状态值接近于零，权值一般取随机数，要比较小。输入样本也同样希望进行归一化处理，使那些比较大的输入仍落在传递函数梯度大的地方。

⑷ 传递函数的选择

BP神经网络传递函数必须是可微的，根据网络的要求和所要达到的网络输出目的，选择网络中间层的传递函数为s形函数，它主要根据值的大小作出运算和判断，它的输出性质与所要求的网络输出具有相同的性质。

⑸ 网络学习算法的构成

木材缺陷的识别应用BP神经网络模型，网络训练采用梯度下降法，使输出误差最小，直到满足给定的精度要求。利用图像处理模块部分构成网络的输入特征量，即把缺陷的灰度均值、灰度方差和形状的长宽比作为输入向量{xl、x2、x3)选择值。这一步也就是向神经网络输入的待识别图像的数字特征通过计算机利用一定的算法对这些数字化特征进行分类。当神经元的非线性函数是s型时，由神经元组成的前传型网络的传递函数是连续可微的，故误差反向传播算法可以用LMS法则进行。

⑹识别网络的系统模型及构成

板材表面特征通常是表现为存在表面缺陷和无表面缺陷两种情况，所以适合选用两级神经网络板材表面缺陷检测模型。一级神经网络用于检测图像是否存在缺陷，如果存在缺陷，则图像存入缓冲区，利用二级神经网络对缓冲区的图像进行分析处理，如果没有缺陷，则不保存图像，直接输出检测结果；二级神经网络根据缺陷图像特征参数对缺陷进行分类，确定图像中每个缺陷的位置。

将人工神经网终与有效的特征提取结合起来，有可能获得更为满意的识别效果。根据图像处理模块分析提取反映缺陷形态的特征向量，这些特征向量既可直接输入神经网络的输入节点，作为网络训练或形态识别的参数，也可导入形态识别特征数据库。另外，为了提高网络的自适应性，进一步完善识别诊断模型，还可在原有的训练的网络基础上，对神经网络模型进行再学习。

4．识别结果与讨论

训练后的BP网络是否满足需要，必须经过检验才能确定。验证网络的正确性一般采用与实际样本数据相比较的方法，即先把验证样本的数据经初始化后输入模型号，经BP网络模型计算，输出相应数据，然后将对照样本的实际值与网络输出值相比较，若误差在允讲范围内，此网络是可用的，否则要重新训练。

5．结束语

神经网络算法识别给传统模式识别法带来了巨大的挑战。它具有记忆、学习和算法多样等功能，在识别中能够得到非常准确的识别结果，所以神经网络识别在对于板材表面缺陷识别这一方面具有可行性和应用价值。由于实验尚处于对神经网络开发的初级阶段，所选择的网络算法((BP算法)是神经网络算法中比较成熟的算法，它具有构造、学习等比较容易的优点，但它的一些不可克服的缺点却影响了它在应用中效果。但是这些缺点是可以克服的，神经网络识别的强大优势和识别效果是非常吸引人的。应用一些新型的网络算法，在多次实验研究的基础上，可以根据对板材表面缺陷识别的一些特有的要求来构造有利于这一识别的新型网络，那么神经网络方法对表面缺陷的识别即可达到优于其它传统识别方法的性能。所以，神经网络算法上的改进是今后研究木材表面缺陷神经网络识别首先解决的工作。

参考文献：

[1]王业琴等 计算机视觉木材表面色差检测的研究[J] 林业科技 2005

[2]赵茂程等 基于BP网络的树形识别系统研究[J] 林业科学 2004

[3]谢永华 基于分形理论木材表面缺陷识别的研究[D] 东北林业大学 2006

神经网络提取特征篇3

关键词：名实体分类； 神经网络； DBN； 字特征

中图分类号：TP391 文献标识码：A 文章编号：2095-2163（2014）02-

Study on Chinese Named Entity Categorization based on Deep Belief Nets

CHEN Yu， ZHENG Dequan， ZHAO Tiejun

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： DBN is a classification of fast and global optimum neural network. It contains several layers of unsupervised networks and one layer of supervised network. The paper approves this novelty machine learning approach is suitable to the domain of named entity categorization. The paper applies RBM，an unsupervised learning method， to reconstruct more representative features from character-based features. Subsequently， the paper utilizes BP， a supervised learning method， to fine-tune parameters in whole network and accomplish the categorization task. In the end， the paper tests DBN on ACE 04 Chinese corpus and achieve 91.45% precision， which is much better than Support Vector Machine and Back-propagation neural network.

Key words： Named Entities Categorization； Neural Network； DBN； Character-based Feature

0引 言

传统的信息抽取任务包括名实体抽取、关系抽取和事件抽取，而名实体抽取又可分为两个子任务：一是识别消息文本中的名实体，二是将已识别的名实体进行分类，本文主要关注名实体抽取的第二个子任务。名实体是一个事物或事物集合的名称，在消息文本中，往往是信息的主要载体，所以名实体抽取是信息抽取的基础任务。名实体分类对名实体的语义表述具有重要指示意义，是名实体抽取准确与否的标准之一。按照Automatic Context Extraction （ACE）大会的定义，名实体一般分为人名、地名和机构名等。早期，研究主要聚焦于利用基于模式匹配的方法进行名实体分类，并取得了较高的准确率。Mcdonald[1]利用名词的内外部信息组成的模式对名词进行分类，Wacholder[2]则利用对不同名词类别进行聚类的方式辅助人工撰写的模式实现名词分类。但是上述方法都需要大量人工统计的模式，而一旦名实体抽取范围或者对象语言变化，即要费时费力地修改甚至重写相应的模式。此后，基于统计的机器学习方法显示了所具备的强大自学习能力，克服了基于模式方法的缺点。同时，支持向量机和反向传播神经网络是传统的机器学习分类器，可通过利用足够大量的实例进行自训练，并用训练好的模型未知实例进行分类。Zhou和Su[3]提取了4种不同的词性和句法特征表示名词的语义特征，再用隐马尔科夫模型进行分类，Isozaki[4]利用5-gram结合3种词法特征组成特征向量用于支持向量机训练模型并对名实体分类。此外，对于名词分类的研究大多只是集中于英文语料，对中文语料的研究仍相对较少，其名词分类的难度要远大于英文，主要原因是[5]：

（1词语之间没有明显的分割标志；

（2）汉语中的词存在更多歧义现象；

（3）汉语词语由字组合而成，组合的复杂度高；

（4）汉语的词法语态信息不如英语丰富[6]。例如：汉语词语没有时态、字母大小写的特征等。在已有研究中，Jing[7]提出了利用基于字的特征表征名词信息，结果表明，基于字的特征结果要优于基于词的特征，且克服了以上大部分的汉语难点。

本文提出一种基于字特征提取名词特征向量，并利用Deep Belief Nets（DBN）神经网络构造分类器进行名实体分类的方法。方法中，首先对直接反映名实体的字特征向量进行特征提取，得到更加复杂、更具表征能力的特征，再利用有监督过程对这些特征向量进行分类，获得了较直接对字特征向量进行分类更好的效果。实验结果表明，DBN方法分类效果明显优于其他传统的机器学习算法。

1 Deep Belief Nets 神经网络的介绍

DBN神经网络是一种全局最优的快速神经网络分类方法，由若干层RBM网络（Restricted Boltzmann machine）和一层反向传递网络（Back-Propagation，简称BP网络）组成，因而是一种多层神经网络[8]。DBN结合了无监督学习方法的特征提取能力和有监督学习方法的分类能力。总体来说，DBN具有以下如下几点优势：

（1）无监督的RBM方法提取输入特征向量的结构化信息，组成表征能力更好的特征向量；

（2）有监督的BP方法将错误信息反向传播到整个网络以修改网络的参数，使特征向量映射到其他空间时更为准确；

（3）DBN的多层网络结构能够自我弱化学习过程中产生的错误信息，并对特征向量在各个相异空间的重要特征信息实行优化组合，使无监督过程产生的信息更加结构化；

（4）DBN是一个快速的学习算法，RBM将整个网络的参数快速定位到最优参数的邻域，与传统的BP算法相比，收敛速度更快。

DBN的结构如图1所示，在训练模型的过程中主要可分为两步。第一步，分别单独、且无监督地训练每一层RBM，确保特征向量映射到不同特征空间时，可最多地保留特征信息。RBM网络只能确保层内的权值对该层特征向量映射达到最优，而非对整个DBN的特征向量映射均能达到最优。第二步，利用反向传播网络有监督地微调整个DBN网络，克服RBM仅能保证层间参数只对该层最优化的弊端，并对特征向量进行分类。RBM训练模型的过程可以看作是初始化BP的权值参数，使DBN方法克服了传统反向传播神经网络容易陷入局部最优和训练时间长的缺点。

图1 DBN结构图

Fig.1 The structure of a DBN

DBN方法是一种多层神经网络，底层的神经网络接收直接表示（多数为二元值）的特征向量值，在自底向上的传递过程中，从具体的特征向量逐渐转化为抽象的特征向量，在顶层的神经网络形成更易于分类的组合特征向量，增加网络层数能够将特征向量更加抽象化。而且，虽然RBM确保训练后的层内参数对特征向量映射达到最优，但是不能完全消除映射过程中产生的错误和不重要的特征信息。尤其是，多层神经网络的每一层网络均会弱化上一层网络产生的错误特征信息和次要特征信息，因此多层网络较单层网络精确度更高。在名实体分类问题中，基于特征方法的一个重要特性是特征向量的稀疏问题，DBN方法对特征的提取与结构化对稀疏特征向量具有很好的辨别能力，能很好地解决这类问题[9，10]。

2 特征选取

基于字的特征非常适用于中文信息抽取领域，因其避免了汉语词语没有边界信息等的缺点，将字与字如何组合成词语，交由机器学习模型去决定。例如：“老”与“李”组合成“老李”，并被分类为人名；“老”与“挝”组合成“老挝”，并被分类为国家。即使是在小规模的语料中，这种组合方式是极其复杂的，表示名词的特征向量的维数高。本文将语料中名词出现的字组成字典 ，将每一个名词e的基于字的特征向量表示为 ，特征向量与字典具有相同的维数，其中 的值满足等式（1），可具体表示为：

（1）

除了基于字的特征外，本文也加入了ACE语料里标注的名实体的指称信息作为特征。名实体的指称分三类，分别是命名性指称、名词性指称和代词性指称。最后，本文将名词的基于字特征和指称信息特征结合，作为名实体的特征向量。虽然名实体还有其他词法及句法特征，但是本文重在验证DBN方法在自然语言处理领域的适用性，故未涉及更多特征信息。

3 实验与分析

本文选用ACE 04的语料作为测试数据，按照语料标注说明，名实体可分为五类，每一个名词属于且只属于一类，分别为人名（Person）、组织机构名（Organization）、行政区名（Geo-political entity）、地名（Location）和设施名（Facility）。对名实体分类，即是对名实体指代进行分类。名实体指代是名实体在文档中的表述，每一个名实体指代包含主体（head）和扩展（extent）两部分，指代主体包含名实体主要信息。虽然指代的扩展部分能提供更多信息，但是也扩大了字符字典的规模，带来噪音。相关文献证明，只利用指代的主体部分的效果优于结合扩展部分[9]。

本文从语料中提取出10 228个名实体指代，利用4折交叉验证法训练模型，也就是说，7 746个指代作为训练语料用于训练模型，2 482个指代作为测试语料用于测试模型，其分布如表1所示。字符字典的维数为1 185，测试语料在本文中使用了准确率评价模型，由于本文的实验是对已识别的名实体分类，其召回率等于准确率。

本文共进行了三组不同的实验，第一组实验用于验证DBN分类器的效果，第二组实验用于验证RBM的层数对DBN提取特征的作用，第三组实验用于比较层内节点数对DBN网络效果的影响。

在第一组实验中，本文将DBN、SVM和传统的反向传播算法的名实体分类效果进行了比较，其中，DBN的网络结构是3层RBM加一层反向传播网络，进行了多组实验，选取最好的DBN模型结构，每层RBM的节点数由下至上依次为900，600，300；SVM利用的是线性核函数，惩罚系数为1，其余参数为默认值，这种结构的SVM分类效果也是比其他结构的SVM更优；反向传播算法的网络结构与DBN相同，利于与DBN的结果相比较，结果如表2所示。实验证明，DBN的效果较其他两种模型具有明显的提高，说明DBN能从基于字特征向量中对字与字之间的关系进行正确的组合与识别，提取出更具代表性的特征用于分类。

在第二组实验中，本文比较了一层、两层和三层RBM的效果，一层RBM层内节点为900，两层RBM层内节点分别为900和600，三层RBM的层内节点分别为900，600和300，结果如表3所示[10]。实验结果证明，随着层数的增加效果越来越好，说明更多的层数能够提取出更多准确的特征。另一方面，三层RBM比两层RBM的效果提高不明显，说明两层RBM对于名实体分类已经提取足够的分类特征，Hinton[8]也在其相关研究中指出，三层RBM网络已经能提取足够的特征用于分类。

在第三组实验中，本文利用一层RBM网络结合BP的模型，改变RBM层内节点数，结果如表4所示。实验结果表明，第一层RBM层内节点数为900的分类器效果最好，因为900接近输入特征向量的维数，说明神经网络节点数应对输入特征向量降维，且不宜下降过快，导致震荡和难以收敛，并且，只包含一层RBM的DBN的效果依然优于SVM和反向传播算法。

本文最后观察了每一个类别的分类效果，并用准确率，召回率和F系数去衡量，结果如表5所示。结果表明，人名、行政区名和组织结构名的效果最好，因为语料中这三个类别的实例比例较大，地名和设施名的效果较差，因为语料中这两个类别的实例比例较小，每一类别的分类的效果与此类别的实例在语料中比例成正比。

4 结论及将来的工作

DBN对于名实体分类是一种全新的机器学习算法，对高维特征向量具有很强的提取特征和进行特征分类能力。本文将基于字特征和指称特征作为表述名实体指代的特征向量，并用DBN对其进行分类，实验结果表明，DBN的分类效果要明显好于SVM和反向传播算法，是一种在信息抽取领域具有良好实用性的优秀算法。将来的工作拟在以下几个方面展开：（1） 将本文提出的方法在其它数据集上测试，以进一步验证方法的有效性；（2） 将该方法应用于关系识别方面；（3） 利用该方法多任务地进行名实体抽取与关系抽取。

参考文献：

[1] MACDONALD D. Internal and external evidence in the identification and semantic categorization of proper names[M]. Corpus Processing for Lexical Acquisition， MIT Press. 1993：61-76.

[2] WACHOLDER N， RAVIN Y， CHOI M. Disambiguation of proper names in text[C]// Proceedings of the Fifth Conference on Applied Natural Language Processing，1997.

[3] ZHOU GuoDong， SU Jian. Named entity recognition using an hmm-based chunk tagger[C]//proceedings of ACL，2002：473-480.

[4] ISOZAKI H， KAZAWA H. Efficient support vector classifiers for named entity recognition[C]//proceedings of IJCNLP，2002：1-7.

[5] ZHAO Jian， WANG Xiaolong， GUAN Yi. Comparing features combination with features fusion in Chinese named entity recognition[J]. Computer Applications. 2005， 25（11）.

[6] ZHAO Jun. A survey on named entity recognition， disambiguation and cross-lingual coreferences resolution. Journal of Chinese Information Processing[J]. 2009， 23（2）.

[7] JING Hongyan， FLORIAN R， LUO Xiaoqiang， et al. How to get a Chinese name （entity）： Segmentation and combination issues[C]//proceedings of EMNLP. 2003：200-207.

[8] HINTON G， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation. 2006，18：15271554.

[9] LI Wenjie， QIAN Donglei. Detecting， Categorizing and Clustering Entity Mentions in Chinese[C]//Text， in Proceedings of the 30th Annual International ACM SIGIR Conference （SIGIR’07），2007：647-654.

神经网络提取特征篇4

关键词： 交通标志； 识别； 卷积神经网络； 深度学习

中图分类号： TN911.73?34； TP391.41 文献标识码： A 文章编号： 1004?373X（2015）13?0101?06

Abstract： In actual traffic circumstance， the image quality of collected traffic signs is worse due to motion blur， background disturbances， weather conditions， and shooting angle. The higher requirements are proposed for accuracy， robustness and in real?time of traffic signs auto?recognition. In this situation， the traffic signs recognition method based on deep?layer convolution neural network is presented. The method adopts supervised learning model of deep?layer convolution neural network. Taking the collected traffic sign images through binarization as the inputs. The inputs are conducted multilayer process of convolution and pooling?sampling， to simulate hierarchical structure of human brain perception visual signals， and extract the characteristics of the traffic sign images automatically. Traffic signs recognition is realized by using a full connected network. The experimental results show that the method can extract the characteristics of traffic signs automatically by using deep learning ability of the convolution neural network. The method has good generalization ability and adaptive range. By using this method， the traditional artificial feature extraction is avoided， and the efficiency of traffic signs recognition is improved effectively.

Keywords： traffic sign； recognition； convolution neural network； deep learning

0 引 言

随着智能汽车的发展，道路交通标志的自动识别[1?3]作为智能汽车的基本技术之一，受到人们的高度关注。道路交通标志识别主要包括两个基本环节：首先是交通标志的检测，包括交通标志的定位、提取及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取和分类。

如今，交通标志的识别方法大多数都采用人工智能技术，主要有下述两类形式[4]。一种是采用“人工特征+机器学习”的识别方法，如基于浅层神经网络、支持向量机的特征识别等。在这种方法中，主要依靠先验知识，人工设计特征，机器学习模型仅负责特征的分类或识别，因此特征设计的好坏直接影响到整个系统性能的性能，而要发现一个好的特征，则依赖于研究人员对待解决的问题的深入理解。另一种形式是近几年发展起来的深度学习模型[5]，如基于限制波尔兹曼机和基于自编码器的深度学习模型以及卷积神经网络等。在这种方法中，无需构造任何的人工特征，而是直接将图像的像素作为输入，通过构建含有多个隐层的机器学习模型，模拟人脑认知的多层结构，逐层地进行信息特征抽取，最终形成更具推广性和表达力的特征，从而提升识别的准确性。

卷积神经网络作为深度学习模型之一，是一种多层的监督学习神经网络，它利用一系列的卷积层、池化层以及一个全连接输出层构建一个多层的网络，来模仿人脑感知视觉信号的逐层处理机制，以实现视觉特征信号的自动提取与识别。本文将深层卷积神经网络应用于道路交通标志的识别，通过构建一个由二维卷积和池化处理交替组成的6层网络来逐层地提取交通标志图像的特征，所形成的特征矢量由一个全连接输出层来实现特征的分类和识别。实验中将加入高斯噪声、经过位移、缩放和旋转处理的交通标志图像以及实际道路采集交通标志图像分别构成训练集和测试集，实验结果表明，本文所采用的方法具有良好的识别率和鲁棒性。

1 卷积神经网络的基本结构及原理

1.1 深度学习

神经科学研究表明，哺乳动物大脑皮层对信号的处理没有一个显示的过程[5]，而是通过信号在大脑皮层复杂的层次结构中的递进传播，逐层地对信号进行提取和表述，最终达到感知世界的目的。这些研究成果促进了深度学习这一新兴研究领域的迅速发展。

深度学习[4，6?7]的目的就是试图模仿人脑感知视觉信号的机制，通过构建含有多个隐层的多层网络来逐层地对信号特征进行新的提取和空间变换，以自动学习到更加有效的特征表述，最终实现视觉功能。目前深度学习已成功地应用到语音识别、图像识别和语言处理等领域。在不同学习框架下构建的深度学习结构是不同的，如卷积神经网络就是一种深度的监督学习下的机器学习模型。

1.2 卷积神经网络的基本结构及原理

卷积神经网络受视觉系统的结构启发而产生，第一个卷积神经网络计算模型是在Fukushima的神经认知机中提出的[8]，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun等人在该思想的基础上，用误差梯度设计并训练卷积神经网络[9?10]，在一些模式识别任务上得到优越的性能。

卷积神经网络本质上是一种有监督的深度学习算法，无需事先知道输入与输出之间精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以学习到输入与输出之间的一种多层的非线性关系，这是非深度学习算法不能做到的。卷积神经网络的基本结构是由一系列的卷积和池化层以及一个全连接的输出层组成，可以采用梯度下降法极小化误差函数对网络中的权值和阈值参数逐层反向调节，以得到网络权值和阈值的最优解，并可以通过增加迭代次数来提高网络训练的精度。

1.2.1 前向传播

在卷积神经网络的前向传播中，输入的原始图像经过逐层的卷积和池化处理后，提取出若干特征子图并转换成一维特征矢量，最后由全连接的输出层进行分类识别。

在卷积层中，每个卷积层都可以表示为对前一层输入图像的二维卷积和非线性激励函数，其表达式可用式（1）表示：

[Ylj=f i=1Ml-1Yl-1i?Wlij+blj] （1）

式中：[Ylj]是第l层中第[j]个卷积特征子图的输出；[Ml-1]是前一层（[l-1]层）的输出[Yl-1j]的总数；[Wlij]是第[l]层中第[j]个卷积的权值；[blj]是第[l]层中第[j]个卷积的阈值；符号“*”表示二维卷积运算；[f（?）]是非线性激励函数，其表达式如下：

[f（x）=11+e-x] （2）

式中：[x]是函数的输入。对于一幅[Nl-1x*Nl-1y] 的输入图像[Yl-1i]和[Klx*Kly]的卷积权值[Wlij，]输出[Ylj]的大小为[Nl-1x-Klx+1，Nl-1y-Kly+1。]

在池采样层中，每个池采样层通过一个非重叠的[kx×ky]矩形区对上一卷积层输出的特征子图进行采样（求矩形区内像素的均值或最大值）。经过池采样后输出的特征子图在两个维度上分别缩小[kx]和[ky]倍，其表达式为：

[Yl+1j=down（Ylj）] （3）

式中：[Yl+1j]表示第[l+1]层中第[j]个池采样的输出；[Ylj]是前一层（l层）的输出特征子图；down（）实现对[Ylj]的池采样。图1给出了上述卷积和池采样的示意图。

在输出层中，首先利用一个全连接层将输入的特征子图转换为一个一维的特征矢量，然后再应用一个BP神经网络完成特征矢量的分类识别。BP神经网络输出层的每一个神经元的输出值对应于输入图像所属不同交通标志图像的概率，表达式为：

[Yj=fi=1nWij×Yl+1i+bj] （4）

式中：[Yj]表示输出层中第[j]个输出；[Yl+1i]是前一层（[l+1]层）的输出特征（全连接的特征向量）；[n]是输出特征向量的长度；[Wij]表示输出层的权值，连接输入[i]和输出[j]；[bj]表示输出层第[j]个输出的阈值；[f（?）]是输出层的非线性激活函数。

对于一个有[C]种不同的交通标志和共计[N]个样本的情况，整个网络的误差平方代价函数[11]为：

[EN=12n=1Nk=1Ctnk-ynk2=12n=1NTn-Yn2] （5）

式中：[T=[t1， t2， …， tC]]为网络的理想输出目标矢量；[Y=[y1， y2， …， yC]]为网络的实际输出矢量；[tk=0，1，][yk∈[0，1]，][k=1，2，…，C。]

当只考虑第[n]个单个样本时，网络的误差平方代价函数可以表示为：

[En=12k=1Ctnk-ynk2=12Tn-Yn2] （6）

1.2.2 反向传播

在反向传播过程中，卷积神经网络的训练方法采用类似于BP神经网络的梯度最速下降法，即按极小化误差的方法反向传播调整权值和阈值。网络反向传播回来的误差是每个神经元的基的灵敏度[12]，也就是误差对基的变化率，即导数。下面将分别求出输出层、池采样层和卷积层的神经元的灵敏度。

（1） 输出层的灵敏度

对于误差函数式（6）来说，输出层神经元的灵敏度可表示为：

[δ=-fu×T-Y] （7）

[u=W×Yl+1+b] （8）

式中：[T]表示目标输出；[Y]表示网络的实际输出；[Yl+1]表示上一层（池采样层）的输出；[W，b]分别是输出层的权值和阈值。那么输出层的权值和阈值的导数为：

[?E?W=Yl+1×δT] （9）

[?E?b=δ] （10）

（2） 池采样层的灵敏度

池采样层没有权值和阈值，所以不存在权值和阈值的导数，只需要求出该层的灵敏度。

① 若池采样层的下一层为全连接的输出层，那么池采样层的灵敏度为：

[δl+1i=WijTδj] （11）

式中：[δil+1]表示输出层的第[j]个灵敏度；[Wij]表示输出层的权值。

② 若池采样层的下一层是卷积层，那么假设第[l+1]层为池采样层，第[l+2]层为卷积层，且卷积层的灵敏度为[δl，]有[M]个特征图。第[l+1]层中的每个特征的灵敏度等于第[l+2]层所有特征核的贡献之和，那么池采样层的灵敏度为：

[δl+1i=j=1Mδl+2j?Wl+2ij] （12）

式中：“[?]”表示卷积；[δil]表示第[l]层第[i]个特征映射的灵敏度；[δjl+1]表示第[l+1]层第[j]个特征映射的灵敏度；[Wl+1ij]表示第[l+1]层的权值，连接第[i]个特征灵敏度与第[j]个特征灵敏度。

（3） 卷积层的灵敏度

假设第[l]层为卷积层，第[l+1]层为池采样层，且池采样层的灵敏度为[δl+1，]那么卷积层的灵敏度为：

[δlj=up（（δl+1j））] （13）

[up（δl+1j）δl+1j?1kx×ky] （14）

式中：up（・）表示池采样第[l+1]层的灵敏度特征映射；[δjl]表示第[l]层第[j]个特征映射的灵敏度；[δjl+1]表示第[l+1]层第[j]个特征映射的灵敏度；[kx×ky]表示采样池的大小。

现在对于一个给定的特征映射，就可以计算出卷积层的权值和阈值的导数：

[?E?Wlij=u，v（δlj）uv（Yl-1i）uv] （15）

[?E?blj=u，v（δlj）u，v] （16）

式中：[Yl-1i]是第[l-1]层与权值[Wlij]作卷积的特征映射；输出卷积映射的[（u，v）]位置的值是由第[l-1]层的[（u，v）]位置的特征映射与权值[Wlij]卷积的结果。

1.3 网络权值和阈值的调整

所有层的权值和阈值的导数都可以用上述方法求得，然后再依据梯度下降法[13]调整权值和阈值，如下：

[ΔWijk+1=ηΔWijk+α（1-η）?E?Wijk] （17）

[Wijk+1=Wijk+ΔWij（k+1）] （18）

[Δbjk+1=ηΔbjk+α（1-η）?E?bjk] （19）

[bjk+1=bjk+Δbj（k+1）] （20）

其中：[k]表示迭代次数；[ΔWij，][Δbj]分别表示权值和阈值的调整值；[Wij，][bj]分别表示权值和阈值调整后的值；[α]为学习效率；[η]为动量因子。

在前向传播过程中，得到网络的实际输出，进而求出实际输出与目标输出之间的误差；在反向传播过程中，利用误差反向传播，采用式（17）～式（20）来调整网络的权值和阈值，极小化误差；这样，前向传播和反向传播两个过程反复交替，直到达到收敛的要求为止。

2 深层卷积神经网络的交通标志识别方法

2.1 应用原理

交通标志是一种人为设计的具有特殊颜色（如红、黄、白、蓝、黑等）和特殊形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，一般采用颜色来区分不同的类型，用形状或图形来标示具体的信息。从交通标志设计的角度来看，属于不同类型（不同颜色）的交通标志在形状或图形上有较大的差异；属于相同类型（相同颜色）的标志中同类的指示信息标志在形状或图形上比较接近，如警告标志中的平面交叉路口标志等。因此，从机器视觉的角度来分析，同类型中同类指示信息的标志之间会比不同类型的标志之间更易引起识别错误。换句话说，相比于颜色，形状或图形是正确识别交通标志的关键因素。

因此，在应用卷积神经网络识别交通标志时，从提高算法效率和降低错误率综合考虑，将交通标志转换为灰度图像并作二值化处理后作为卷积神经网络的输入图像信息。图2给出了应用卷积神经网络识别交通标志的原理图。该网络采用了6层交替的卷积层和池采样层来逐层提取交通标志的特征，形成的特征矢量由一个全连接的输出层进行识别。图中：[W1i]（i=1，2，…，m1），W1j（j=1，2，…，m2），…，[W1k]（k=1，2，…，m（n?1））分别表示卷积层[L1，L3，…，Ln-1]的卷积核；Input表示输入的交通标志图像；Pool表示每个池采样层的采样池；map表示逐层提取的特征子图；[Y]是最终的全连接输出。

交通标志识别的判别准则为：对于输入交通标志图像Input，网络的输出矢量[Y=[y1，y2，…，yC]，]有[yj=Max{y1，][y2，…，yC}，]则[Input∈j，]即判定输入的交通标志图像Input为第[j]类交通标志。

2.2 交通标志识别的基本步骤

深层神经网络识别交通标志主要包括交通标志的训练与识别，所以将交通标志识别归纳为以下4个步骤：

（1） 图像预处理：利用公式Gray=[0.299R+][0.587G+0.114B]将彩色交通标志图像转换为灰度图像，再利用邻近插值法将交通标志图像规格化，最后利用最大类间方差将交通标志图像二值化。

（2） 网络权值和阈值的初始化：利用随机分布函数将权值[W]初始化为-1～1之间的随机数；而将阈值[b]初始化为0。

（3） 网络的训练：利用经过预处理的交通标志图像构成训练集，对卷积神经网络进行训练，通过网络前向传播和反向传播的反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止。

（4） 交通标志的识别：将实际采集的交通标志图像经过预处理后，送入训练好的卷积神经网络中进行交通标志特征的提取，然后通过一个全连接的网络进行特征分类与识别，得到识别结果。

3 实验结果与分析

实验主要选取了我国道路交通标志的警告标志、指示标志和禁令标志三类中较常见的50幅图像。考虑到在实际道路中采集到的交通标志图像会含有噪声和出现几何失真以及背景干扰等现象，因此在构造网络训练集时，除了理想的交通标志以外，还增加了加入高斯噪声、经过位移、旋转和缩放处理和实际采集到的交通标志图像，因此最终的训练样本为72个。其中，加入的高斯噪声为均值为0，方差分别为0.1，0.2，0.3，图像的位移、旋转、缩放的参数分别随机的分布在±10，±5°，0.9～1.1的范围内。图3给出了训练集中的交通标志图像的示例。图4是在实际道路中采集的交通标志图像构成的测试集的示例。

在实验中构造了一个输入为48×48个神经元、输出为50个神经元的9层网络。网络的输入是像素为[48×48]的规格化的交通标志图像，输出对应于上述的50种交通标志的判别结果。网络的激活函数采用S型函数，如式（2）所示，其输出范围限制在0～1之间。

表1给出网络的结构参数，包括每一层的特征数、神经元数、卷积核尺寸和均值采样尺寸等。

图5给出一幅交通标志图像在卷积层和均值采样层的特征子图的示例。

图6是交通标志的训练总误差[EN]曲线。在训练开始的1 500次，误差能迅速地下降，在迭代2 000次以后是一个平稳的收敛过程，当迭代到10万次时，总误差[EN]可以达到0.188 2。

在交通标志的测试实验中，为了全面检验卷积神经网络的识别性能，分别针对理想的交通标志，加入高斯噪声、经过位移、旋转和比例缩放以及采集的交通标志图像进行实验，将以上测试样本分别送入到网络中识别，表2给出了测试实验结果。

综合分析上述实验结果，可以得到以下结论：

（1） 在卷积神经网络的训练学习过程中，整个网络的误差曲线快速平稳的下降，体现出卷积神经网络的训练学习具有良好的收敛性。

（2） 经逐层卷积和池采样所提取的特征具有比例缩放和旋转不变性，因此对于旋转和比例缩放后的交通标志能达到100%的识别率。

（3） 与传统的BP网络识别方法[11]相比较，卷积神经网络能够达到更深的学习深度，即在交通标志识别时能够得到更高的所属类别概率（更接近于1），识别效果更好。

（4） 卷积神经网络对实际采集的交通标志图像的识别率尚不能达到令人满意的结果，主要原因是实际道路中采集的交通标志图像中存在着较严重的背景干扰，解决的办法是增加实际采集的交通标志训练样本数，通过网络的深度学习，提高网络的识别率和鲁棒性。

4 结 论

本文将深层卷积神经网络应用于道路交通标志的识别，利用卷积神经网络的深层结构来模仿人脑感知视觉信号的机制，自动地提取交通标志图像的视觉特征并进行分类识别。实验表明，应用深层卷积神经网络识别交通标志取得了良好的识别效果。

在具体实现中，从我国交通标志的设计特点考虑，本文将经过预处理二值化的图像作为网络的输入，主要是利用了交通标志的形状信息，而基本略去了颜色信息，其优点是在保证识别率的基础上，可以简化网络的结构，降低网络的计算量。在实际道路交通标志识别中，将形状信息和颜色信息相结合，以进一步提高识别率和对道路环境的鲁棒性，是值得进一步研究的内容。此外，本文的研究没有涉及到道路交通标志的动态检测，这也是今后可以进一步研究的内容。

参考文献

[1] 刘平华，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18（5）：493?503.

[2] SAHA S K， DULAL C M， BHUIYAN A A. Neural network based sign recognition [J]. International Journal of Computer Application， 2012， 50（10）： 35?41.

[3] STALLKAMP J， SCHLIOSING M， SALMENA J， et al. Man vs. computer： benchmarking machine learning algorithms for traffic sign recognition [J]. Neural Network， 2012， 32（2）： 323?332.

[4] 中国计算机学会.深度学习：推进人工智能梦想[EB/OL].[2013?06?10].http：//.cn.

[5] 郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition： a self?organizing neural network model for a mechanism of pattern recognition unaffected by shift in position [J]. Biological Cybernetics， 1980， 36（4）：193?202.

[7] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. IEEE Journal and Magazines， 1989， 86（11）： 2278?2324.

[8] LECUN Y， BOTTOU L， BENGIO Y， et al. Backpropagation applied to handwritten zip code recognition [J]. Neural Computation， 1989， 1（4） ： 541?551.

[9] CIRESAN D， MEIER U， MASCI J， et al. Multi?column deep neural network for traffic sign classification [J]. Neural Networks， 2012， 32（2）： 333?338.

[10] NAGI J， DUCATELLE F， CARO D， et al. Max?pooling convolution neural network for vision?based hand gesture recognition [C]// 2011 IEEE International Conference on Signal and Image Processing Application. Kuala Lumpur： IEEE， 2011， 342?347.

[11] 杨斐，王坤明，马欣，等.应用BP神经网络分类器识别交通标志[J].计算机工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL]. [2006?11?12]. http：///5869/.

[13] 周开利，康耀红.神经网络模型及其Matlab仿真设计[M].北京：清华大学出版社，2005.

[14] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806?2810.

神经网络提取特征篇5

关键词：特征选择；敏感度分析；BP神经网络；图像识别

Image Feature election Based on ensitivity Analysis

ONG Yaozi,XIA Zhelei,ZAN Guoke

(China Jiliang University,angzhou,310018,China)オ

Abstract：Feature selection has been applied to several fields like data mining,image recognization and so on,which purpose is selecting these most effective features from feature vector and reducing the dimension of vectorFor image recognization system,in order to make sure the system performance we have to get a lot of information from image,which may make the training samples is not enough in contrast to the dimension of vectorIn this paper,sensitivity analysis is applied to select featuresIt has been proved that using features selected by sensitivity analysis to train BP neural net can avoid net overfitting,improve the performance of the system,greatly reduce the time consuming and make recognization system more effectively

Keywords：features selection;sensitivity analysis;BP neural net;image recognizationオ

1 特征选取的目的和重要性

特征选择在数据挖掘、图像识别等诸多方面有着广泛的应用,其目的是找出那些最有效的特征,即把特征空间从高维压缩到低维［1］。对于图像识别系统而言，为了保证识别性能要从图像中提取大量的信息，往往使得训练集数量相对特征向量的维数显得较少。那么就需要在保证识别分类准确率的前提下，去除部分特征值降低特征向量的维数。因此，特征值选取在整个识别系统中有着重要的作用。因为相对较多的特征值对识别分类系统将会产生2方面的问题。

（1） 因为特征向量中的每个分量作为输入值都会对识别分类系统产生不同的影响。以神经网络作识别系统为例，在训练过程中容易在对识别分类系统影响微弱的训练点上产生过拟合的问题，从而降低了系统的识别性能；（2） 不同特征值对识别分类系统的不同影响反映了特征值对系统的作用不同。因此，经过一定数量特征值训练的识别分类系统会对特征值对系统的影响起到解释作用。而如果特征值数量较多会使得识别分类系统的可解释性减弱。

因此，需要通过有效的方法和完整的体系对每个特征值的评估。通过分析评估可以获得不同的特征值对识别分类系统贡献的差异。本文将采用敏感度分析法来对图像特征值进行选取。

2 特征值敏感度分析

特征值敏感度，是指特征值对识别分类系统的不同作用和影响。如果某个特征值在取值范围内的微小变化对识别结果有影响，则说明该特征值的敏感度较高；相反，如果特征值的变化对识别结果影响甚微，则说明该特征值的敏感度低。本文的特征值选取通过利用神经网络对特征值的敏感度分析来实现。

21 基于神经网络的特征值敏感度分析原理

神经网络敏感度分析是指在输入特征值允许取值的范围内调整输入特征值使得输出不同的系统响应［2,3］。给定一组维数较高的特征向量集，结合交叉验证法，训练神经网络使得其识别性能达到一定的程度。然后依据敏感度衡量标准计算每个特征值敏感度。多次计算各个特征值的敏感度，并对其取平均值来降低误差。敏感度计算分析，对应较大敏感度的特征值意味着对识别结果影响较大。根据敏感度的大小依次去掉那些对识别系统影响小的特征值。保证系统性能在不断提高的前提下，以选取的特征值作为识别系统的输入向量。

22 特征值敏感度衡量方法

神经网络提取特征篇6

关键词：乳腺癌；计算机辅助诊断；肿瘤；B 神经网络

中图分类号：TB

文献标识码：A

doi：10.19311/ki.16723198.2016.26.149

1 研究背景

乳腺癌在初期常无明显临床症状，或者仅仅表征为轻微的疼痛。至今为止，乳腺癌发病的确切原因还不明确，虽然已知遗传因素、环境因素和生活方式对乳腺癌的发病有一定影响，但60%以上的乳腺癌并不存在明显的危险因素。目前还没有有效的预防乳腺癌方法，而且中、晚期乳腺癌患者的愈后效果很差，任何干预都很难见效。因此，早发现、早诊断仍是当前提高乳腺癌治愈率和降低死亡率的最有效途径。

肿瘤是乳腺癌的直接病理征象，也是乳腺癌的主要诊断依据，但尽管肿瘤是乳腺癌的一个重要早期迹象，但是医师用肉眼很难将它们与正常的乳腺组织区分开来。但计算机辅助诊断（CAD）技术可以帮助医师有效地进行对乳腺异常的检测。

近些年来，随着B 神经网络理论的飞速发展和高度成熟，B 神经网络在医学领域得到了广泛应用，如赵炳让利用B 神经网对冠心病进行来辅助诊断，取得了很好的效果。EI-Solh用B 神经网络对活动性肺结核进行辅助诊断，实验结果显示正确诊断肺结核的灵敏度为100%，其表明了B 神经网络在诊断活动性肺结核的应用效果上高于临床医生的主观评价，具备广泛的推广价值。Monica DiLuca等人通过基于B 神经网络的仿真实验对早期阿尔茨海默病进行了辅助诊断。

2 基于B 神经网络的乳腺肿瘤计算机辅助诊断方法

2.1 提取ROI

本文实验对象为选自DDSM数据库中的乳腺图像，首先将ROI从实验样本图像中提取出。

2.2 提取特征

特征的提取是所有工作中关键的一环，是模式识别和专家自动诊断系统的关键技术之一。其基本流程是：在对实验图像进行预处理（包括图像定向、图像去噪和图像增强等）后，进行图像的分割以提取出所需的ROI，最后对ROI进行特征提取。经过以上步骤提取出的特征被用于对乳腺肿瘤良恶性的诊断，从而为医师提供医疗建议。

对2.1节实验中所得到的ROI进行特征提取，提取到基于不变矩、基于图像内容等的79维特征。

2.3 辅助诊断

将2.2节实验所得的79维特征值进行归一化处理，再将经过处理的79个特征数据作为B 神经网络的79个输入。将良性乳腺肿瘤和恶性乳腺肿瘤这两个不同的乳腺肿瘤类别作为B 神经网络的期望输出。

下面通过仿真实验，记录其迭代次数、程序运行时间和诊断准确率，并取其平均值，以完成对网络性能的评价。

将样本数据随机排序并编号后，采用5-折交叉法将其分为5组。每次实验所使用的训练样本数据和测试样本数据如表1所示。

平均迭代次数为10.2次，乳腺肿瘤诊断准确率平均值为94.41434%，并且每次仿真的迭代次数和准确率都非常的接近，网络的性能优良。这说明，使用B 神经网络对乳腺肿瘤进行辅助诊断是可行的且取得了良好的诊断效果。

3 总结

本文在B 神经网络方法的基础上，对实验所用的乳腺图像样本进行了辅助诊断。主要工作为：

（1）分割出样本图像的ROI；

（2）提取了样本图像ROI的79维特征；

（3）使用B 神经网络方法对样本数据进行辅助诊断，仿真结果显示将B 神经网络用于检测乳腺肿瘤的良恶性时，网络的性能优良且有很好的诊断准确率。

参考文献

[1]胡永升.现代乳腺影像诊断学[M].北京：科学出版社，2001.

[2]刘君，方志沂.乳腺癌的早期诊断.中国全科医学，2002，5（6）：431432.

[3]郝欣，曹颖，夏顺仁.基于医学图像内容检索的计算机辅助乳腺x线影像诊断技术.中国生物医学工程学报，2009，28（6）：922930.

[4]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2007.

[5]赵炳让，胡北来，秦勤.人工神经网络在冠心病诊断中的应用.天津医药，2002，30（9）：575576.

[6]Ali A，EI-Solh，Chiu-Bin Hsiao，Susan Goodnough，et al. redicting active pulmonary tuberculosis using an artificial network.Chest，2009，（116）：968973.

[7]Monica Di Luca，Enzo Grossi，Barbara Borron，et al. Artifical neural networks allow the use of simultaneous measurements of Alzheimer Disease markers for early detection of the disease. ournal of Translational Medicine，2005，3（30）：14791483.

神经网络提取特征篇7

关键词:BP神经网络;住宅项目;特征定价

中图分类号:F293.3文献标识码:A

新建住宅项目定价能否被消费者认同，对于项目投资者来说，能够快速准确地了解项目定价的合理区间是非常重要的。目前，在实际操作中运用的市场比较法、收益还原法等基本方法在估算精度、速度乃至应用范围上都具有局限性。随着计算机技术的迅速发展，近些年来兴起的人工神经网络模型的一个明显特征就是具有通过学习最佳逼近非线性映射的能力。因此，项目特征到项目定价的非线性映射关系通过人工神经网络来进行模拟求解是可行的。

一、应用BP神经网络的原理

神经网络在回归分析中较传统方法具有相对优越性，它能从大量的离散实验数据中经过学习训练，建立起反映实际过程内在规律的系统模型，BP神经网络是其中的一种较为简单但应用广泛的方法。

(一)BP人工神经网络模型构造概述。BP神经网络，由输入层、隐含层和输出层构成，各层采用全互连接，同一层中各单元不连接。通过调整各个权值和阈值，直到达到期望的误差即可。

(二)基于LM法的BP算法改进。由于标准BP算法用的梯度下降法随着接近最优值，梯度趋于零，致使误差函数下降缓慢。LM法的优点是迭代次数少，收敛速度快，精确度高，因此在训练样本时采用LM法。

二、住宅项目定价模型构建

(一)住宅项目定价特征的选取。根据Lancaster特征价格理论，模型的一般形式是:P=F(X1，X2，X3…XN)，P为住宅项目均价，F为函数形式，X为住宅项目特征变量。住宅项目特征变量通常考虑的因素，可以分为建筑特征、区位特征、邻里特征、需求特征四大类，分别用L、M、N、R表示，如下:

P=F(Z)=F(L，M，N，R)(1)

变量应选取与项目整体相关的特征因素，对于特征的选取，采用专家评审法，邀请一家咨询公司5位工作8年以上的项目策划师，对住宅项目中影响定价的各种因素进行选取打分，最终选取的特征变量如表1所示。(表1)

(二)BP神经网络模型的建立。由于仅含有一个隐含层可以任意逼近连续函数，因此BP神经网络采用3层结构。BP神经网络的输入节点为7(对应特征变量数)，输出节点为数为1(对应项目均价)，隐层节点数根据以下公式来确定:

s=+0.51(2)

其中，m为输入层节点数;n为输出层节点数;s为隐层节点数。

将m=7，n=1带入上式，通过计算s=5，即建立7*5*1的拓扑结构。

三、应用分析

(一)研究对象。选取2008年北京、天津、沈阳、上海、南京等20个城市的78个普通住宅项目为研究对象。在选取过程中尽量保证市场的同一性，使不同城市之间的商品住宅具有可比性。

(二)变量的量化。由于样本数据较多，这里只选取测试样本数据做说明。参照表1进行量化，量化结果见表2。(表2)

(三)BP网络参数设置及训练。将规格化后的66个样本数据代入神经网络模型中，采用LM改进算法进行训练，隐含层激活函数为tansig，输出层激活函数为logsig，BP神经网络经过所设定的220次训练后，网络目标误差达到精度要求，此时的误差为:res=0.000991452。训练结束后，固定连接值和阈值并输入测试数据，测试数据的BP输出结果见表3。(表3)

(四)结果分析。样本项目的预测输出和实际值的相对误差值在0.6%～7.8%之间，平均误差为0.3828。这说明，BP神经网络在项目定价预测中具有相对的稳定性和优越性。

四、结论

与传统的住宅项目均价定价方法相比，利用BP神经网络确定新建项目均价一方面具有较高的精度;另一方面简化了计算过程，减少资源的投入，是一种快速、便捷、有效的新方法。当然，样本要尽量选取经典的，去掉一些“噪声”比较大的样本和特别复杂的项目。

(作者单位:重庆大学建设管理与房地产学院)

主要参考文献

[1]LANCASTER KJ.A new approach to consumer theory[J].Journal of Political Economy，1966.74.1.

[2]张吉礼.模糊神经网络控制原理与工程应用[M].哈尔滨:哈尔滨工业出版社，2004.

[3]王其文，吕景峰，刘广灵等.人工神经网络与线性回归的比较[J].决策与决策支持，1993.3.3.

[4]张良均，曹晶，蒋世忠.神经网络实用教程[M].北京:机械工业出版社，2008.2.

[5]温海珍，贾生华.住宅的特征与特征的价格—基于特征价格模型的分析[J].浙江大学学报(工学版)，2004.38.10.

神经网络提取特征篇8

随着科学技术的发展，现代设备的结构日趋复杂，其故障类型越来越多，反映故障的状态、特征也相应增加。在实际故障诊断过程中，为了使诊断准确可靠，总要采集尽可能多的样本，以获得足够的故障信息。但样本太多，会占用大量的存储空间和计算时间，太多的特征输入也会引起训练过程耗时费工，甚至妨碍训练网络的收敛，最终影响分类精度。因此要从样本中提取对诊断故障贡献大的有用信息。这一工作就是特征提取。

特征提取就是利用已有特征参数构造一个较低维数的特征空间，将原始特征中蕴含的有用信息映射到少数几个特征上，忽略多余的不相干信息。从数学意义上讲，就是对一个n维向量X＝[x1，x2，…，xn]T进行降维，变换为低维向量Y＝[y1，y2，…，ym]T，m

特征提取的方法有很多，常用的方法主要有欧式距离法、概率距离法、统计直方图法、散度准则法等。本文针对现有方法的局限性，研究基于BP神经网络的特征提取方法和基于互信息熵的特征提取方法。

1 基于BP神经网络的特征提取方法

要从N个特征中挑选出对诊断贡献较大的n个特征参数(n

εij=|(аYi)/(аXj)|

采用三层BP网络，输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐层单元数为q，用W B iq表示输入层单元i与隐层单元q之间的连接权；用w O qj表示隐层单元q与输出层单元j之间的连接权，则隐层第q单元的输出Oq，为：

输出层第j个单元输出yj为：

式中j=1，2，…，m；εj为阈值。

则特征参数xi对模式类别yj的灵敏度为：

代入（1）式，则特征参数Xi的灵敏度εij和特征参数Xk的灵敏度εkj之差可整理为：

大量的试验和研究表明，当网络收敛后有：a1≈a2≈…≈aq。

从上式可以看出，如果：

则必有：εij＞εki

即特征参数Xi对第j类故障的分类能力比特征参数Xk强。

将特征参数X和分类模式分类结果y组成的样本集作为BP网络的学习样本，对网络进行训练。设Wiq和Wkq分别为与特征参数Xi和Xk对应输入单元与隐层单元q之间的连接权系数，记：

│Wεi│=│Wi1│+|Wi2|+…+|Wiq|

│Wεk│=│Wk1│+|Wk2|+…+|Wkq|

如果│Wεi│>│Wεk│，则可以认为Xi的特征灵敏度εi比特征参数Xk的灵敏度εk大。这样可知特征参数Xi的分类能力比特征参数Xk的分类能力强。

2 基于互信息熵的特征提取方法

由信息特征可知，当某特征获得最大互信息熵，该特征就可获得最大识别熵增量和最小误识别概率，因而具有最优特性。特征提取过程就是在由给定的n个特征集X二{XI~X2，…，zn)所构成的初始特征集合情况下，寻找一个具有最大互信息熵的集合：X＝{X1，X2，…，Xk}，k

在一定的初始特征集合下，识别样本的后验熵是一定的。在实现特征优化过程中，随着特征的删除，会有信息的损失，使得后验熵趋于增加。因此后验熵增值大小反应了删除特征向量引起的信息损失的情况。当删除不同特征及删除特征数逐步递增时，会对应有不同的后验熵。按后验熵由小到大排列，可获得对应的特征删除序列。其过程可描述为：

(1)初始化：设原始特征集合F＝{N个特征}，令初始优化特征集合S＝[K个特征，K=N]；

(2)计算后验熵；

(3)实现递减：S＝[K-1个特征]，并计算相应的后验熵；

(4)选择优化特征集合：以多个递减特征集合所对应的后验熵为依据，选择具有最小后验熵增的特征向量集合为优化特征集合S[N-1个优化特征]；

(5)返回(3)，重新计算，直到满足分类要求，选择具有最小后验熵的优化特征集合；

(6)输出优化特征集合。

3 特征提取实例

在热电厂的发电机组工作中，发电机组主轴经常遇到如喘振、流体激励等故障。这些故障不仅会引起生产效率下降，而且会对机器造成严重危害，影响机组的安全运行。传统的诊断方法是在主轴轴承处加传感器进行振动测试，得到其频谱图；然后在频域内分析，根据基于能量分布的故障诊断理论将振动信号功率谱密度按一定的规则进行量化，利用神经网络等工具进行故障诊断。但是喘振、流体激励等故障在频域内通常表现为连续分布的有色噪声带，在频域内分析难以区分，难以进行频谱特征提取，全息谱分析方法也不甚有效。传统方法增加了系统的开销，诊断效果不理想。如果在时域内采用信息优化方法做预处理，再用传统的诊断方法进行诊断，可以收到很好的效果。

本文采用时域内故障振动信号的方差、峭度、偏斜度等参数，分别利用BP神经网络和后验熵分析对其进行特征提取，研究如何从中找出最能反映故障的特征。

表1为主轴喘振、流体激励故障时振动信号在垂直和水平方向的方差、峭度、偏斜度等6个参数的数据。

表1 主轴故障的特征参数

序号喘振流体激励　均方差峭度偏斜度均方差峭度偏斜度　垂直水平垂直水平垂直水平垂直水平垂直水平垂直水平17.509.21-0.02-0.00-0.22-0.1040.244.10.22-0.42-0.11-0.08226.115.2-0.75-0.92-0.31-0.2170.120.53.821.780.000.16313.89.21-0.81-0.72-0.290.1912.414.2-0.38-0.620.030.0146.28.5-0.01-0.04-0.22-0.238.1533.50.15-0.140.070.10536.111.2-0.61-0.01-0.230.077.2115.2-0.41-0.510.010.01611.59.71-0.81-0.93-0.31-0.1825.730.2-0.370.19-0.11-0.06733.128.2-0.79-0.85-0.07-0.4571.225.33.811.850.010.16837.226.8-0.81-0.87-0.06-0.418.1135.2-0.81-0.130.010.11设原始特征集合F＝{x1，x2，x3，x4，x5，x6}，其中x1、x2分别为垂直、水平方向的均方差，x3、x4分别为垂直和水平方向的峭度，x5、x6，分别为垂直和水平方向的偏斜度。

① 基于BP神经网络的特征提取方法：采用表1中的数据作为BP神经网络的输入，编制程序对神经网络进行训练，训练算法采用标准BP算法和Levenberg-Mar-quardt法两种方法来训练BP

网络，从而计算特征参数的特征灵敏度，确定出对结果影响最大的特征参数。喘振：

│W1│={1.5874 1.6553 25.5320 25.1765 74.4724 40.4295}

流体激励：

│W2│={1.5874 1.6553 25.5320 25.1765 74.4724 40.4295}

从结果可以看出：偏斜度对这两种故障最为敏感，反映了低频自激故障的主要特征。

② 基于互信息熵的特征提取方法：原始特征集合F＝{x1，x2，x3，x4，x5，x6}对应表1中的特征参数。在特征参数优化过程中，随着特征的删除，后验熵变化较大。当删除的特征中包含有x5、x6时，后验熵明显降低；如仅保留x5、x6时，后验熵最小。说明偏斜度对这两种故障最为敏感。

对比这两种特征提取方法，可以看出它们得到的结论是一样的。如果采用通频全息谱法来进行分析，得到的结论相同，从而验证了这两种特征提取方法的有效性。