论文实例：神经计算中若干问题的研究

作者简介：周志华，男，1973年11月出生，1998年09月师从于南京大学陈世福教授，于20__年12月获博士学位。

摘要目前，神经计算及其应用已经渗透到多个学科，并在信号处理、智能控制、模式识别、机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等领域取得了丰硕的成果。神经计算不仅是科学家的兴趣所在，还受到了各国政府和军队等权力部门的密切关注，世界上许多国家和地区的政府及工业界都十分关注并积极投资神经计算技术的研究，其进展不仅将促进科学和技术的进步，还会对各国的国力产生一定的影响。

本文针对神经计算中亟需解决的5个问题进行了研究，包括加快神经网络的学习速度、增强神经网络的可理解性、设计出易于使用的工程化神经计算方法、更好地模拟生物神经系统以及将神经计算与传统人工智能技术相结合。本文的创造性研究成果主要有：

(1)提出了一个快速神经分类器FAC和一个快速神经回归估计器FANRE，实验结果表明，这两个算法学习速度快、归纳能力强，在性能上明显优于目前常用的一些神经网络分类学习算法和回归估计算法。在此基础上，成功地将FAC应用于石油勘探岩性识别领域。

(2)提出了一个神经网络规则抽取算法STARE，实验结果表明，STARE可以从训练好的神经网络中抽取出保真度高、精确、简洁的符号规则，从而较好地增强神经网络的可理解性。在此基础上，提出了一个基于神经计算的分类规则挖掘框架NEUCRUM，并成功地将其应用于台风预报领域。

(3)提出了一种基于遗传算法的选择性神经网络集成方法GASEN，实验结果表明，GASEN的性能优于目前常用的一些方法。设计了一种多视角神经网络集成方法VS，将神经网络集成应用于多视角人脸识别，不需进行偏转角度预估计就能取得很高的识别精度。设计了一种新型结论组合方法和一种二级集成结构，将神经网络集成应用于肺癌细胞识别，并嵌入到肺癌早期诊断系统LCDS中，大大降低了肺癌细胞的漏识率。

(4)针对前馈网络的单点断路故障，提出了一种基于遗传算法的进化容错神经网络方法EFANET，实验结果表明，该方法不仅可以进化出容错性好、泛化能力强的网络，还较好地保持了网络结构、训练算法与容错处理的独立性。针对前馈网络的多点断路故障，提出了一种三阶段方法T3，并将其应用于FAC网络，实验结果表明，T3方法可以较好地在网络容错能力与结构复杂度之间达成折衷。

(5)提出了一种结合决策树与前馈神经网络的混合决策树方法HDT，描述了树的生长算法和神经处理机制。对增量学习和构造性归纳进行了研究，界定了三种不同的增量学习问题的概念，并给出了HDT的增量学习和构造性归纳算法。实验结果表明，HDT及其增量学习、构造性归纳算法都具有很好的性能。此外，还成功地将HDT应用于情报软件故障诊断。

关键词：神经计算，神经网络，机器学习，快速学习，规则抽取，集成，容错神经网络，混合学习，增量学习，构造性归纳，决策树，知识获取，数据挖掘，遗传算法，进化计算，断路故障，人脸识别，计算机辅助医疗诊断，岩性识别，故障诊断

ContributiotoSeveralIuesofNeuralComputing

Neuralcomputinganditsalicatiohavealreadycomeintomanydisciplinesandachievedplentifulfruitsindiversifiedfields,includingsignalproceing,intelligentcontrolling,patternrecognition,machinevision,nonlinearoptimization,automatictargetidentification,knowledgeproceing,remoteseing,etc.Ithasbecomenotonlythetastesofscientistsbutalsotheinterestsofgovernmentsandforces.Thegovernmentsandindustrialcommunitiesofmanycountries/regioaresokeenonneuralcomputingtechniquesthattheyhaveinvestedalargeamountofmoneyoncorreondingresearch.Thereforetheprogreofneuralcomputingwillnotonlypromotethedevelopmentofscienceandtechnologybutalsoinfluencethenationalpowers.

Inthisdiertation,5problemsstandinginneedofsolutioareinvestigated,whichincludesexpeditingthelearningeedofneuralnetworks,improvingthecompreheibilityofneuralnetworks,designingengineeringneuralcomputingmethodsthatareeasytouse,simulatingbiologicalneuralsystemsmorebetterthanever,andcombiningneuralcomputingwithtraditionalartificialintelligencetechniques.Themaincontributioofthisdiertationaresummarizedasfollows:

Firstly,afastneuralclaifiernamedFACandafastneuralregreionestimatornamedFANREareproposed.Experimentalresultsshowthatthosetwoalgorithmsthathavefastlearningabilityandstronggeneralizationabilityreectivelyoutperformsomeprevailingneuralclaificationalgorithmsandneuralregreionestimationalgorithmsatpresent.Besides,FACissuccefullyaliedinlithologyidentificationofoilexploration.

Secondly,aneuralnetworkruleextractionalgorithmnamedSTAREisproposed.ExperimentalresultsshowthatSTAREcanextractaccurateandcompactsymbolicrulesthathavehighfidelity,sothatthecompreheibilityoftrainedneuralnetworksareimproved.Additionally,aneuralcomputingbasedclaificationrulemi ningframeworknamedNEUCRUMisproposedandsuccefullyaliedtotyphoonforecastingdomain.

Thirdly,ageneticalgorithmbasedselectiveneuralnetworkeemblearoachnamedGASENisproposed.ExperimentalresultsshowthatGASENoutperformspopulareemblearoachesatpresent.Then,aviewecificeemblearoachnamedVSisdevelopedtoalyneuralnetworkeembletoviewinvariantfacerecognition,whichhastheabilityofperforminghighqualityrecognitionwithoutviewpre-estimation.Moreover,bothanoveloutput-combiningmethodandauniquetwo-layer-eemblearchitecturearedesigned,sothatneuralnetworkeembleisembeddedinthelungcancerearlystagediagnosissystemLCDStoperformlungcancercellidentification,whichgreatlylowerstherateofmiedidentificationoflungcancercells.

Fourthly,ageneticalgorithmbasedaroachnamedEFANETthatevolvesfault-tolerantneuralnetworksforsingle-nodeopenfaultisproposed.ExperimentalresultsshowthatEFANETcanevolveneuralnetworkswithbothrobustfault-tolerantabilityandstronggeneralizationabilitywhilekeepingtheindependenceamongnetworktopology,trainingalgorithm,andfault-tolerantproceing.Besides,athree-phrasearoachnamedT3isproposedformulti-nodeopenfault,whichhasbeenaliedtoFAC.ExperimentalresultsshowthatT3cantradeoffthefault-tolerantabilityandstructuralcomplexityoftheneuralnetwork.

Fifthly,ahybriddecisiontreearoachnamedHDTthatcombinesdecisiontreeandfeedforwardneuralnetworksisproposed,whosetreegrowingalgorithmandneuralproceingmechanismareprimarilydescribed.Then,incrementallearningandcotructiveinductionareinvestigated,where3differentincrementallearningproblemsaredefined,andcorreondingalgorithmsofHDTareproposed.ExperimentalresultsshowthatHDT,itsincrementallearningalgorithms,anditscotructiveinductionalgorithmworkquitewell.Moreover,HDTissuccefullyaliedtoinformationalsoftwarefaultdiagnosis.

Keywords:neuralcomputing,neuralnetworks,machinelearning,fastlearning,ruleextraction,eemble,fault-tolerantneuralnetworks,hybridlearning,incrementallearning,cotructiveinduction,decisiontree,knowledgeacquisition,datamining,geneticalgorithm,evolutionarycomputing,openfault,facerecognition,computeraidedmedicaldiagnosis,lithologyidentification,faultdiagnosis