BP神经网络算法.doc
- 文档编号:230035
- 上传时间:2022-10-07
- 格式:DOC
- 页数:38
- 大小:381.50KB
BP神经网络算法.doc
《BP神经网络算法.doc》由会员分享,可在线阅读,更多相关《BP神经网络算法.doc(38页珍藏版)》请在冰豆网上搜索。
BP神经网络算法
摘要
人工神经网络,是由大量处理单元(神经元)组成的非线性大规模自适应动力系统。
它具有自组织,自适应和自学习能力,以及具有非线性、非局域性,非定常性和非凸性等特点。
它是在现代神经科学研究成果的基础上提出的,试图通过模拟大脑神经网络处理,记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。
作为人工智能的重要组成部分,人工神经网络有较大的应用潜力。
本文阐述了神经网络的发展、现状及其原理,介绍了神经网络在航空航天业、国防工业、制造业等诸多方面的应用。
BP神经网络是目前应用较多的一种神经网络结构。
它能以任意精度逼近任意非线性函数,而且具有良好的逼近性能,并且结构简单,是一种性能优良的神经网络。
本文阐述了BP神经网络的基本原理,详细分析了标准BP算法、动量BP算法以及学习率可变的BP算法等几种流行的BP神经网络学习算法,详细的介绍了这几种算法的优缺点,并给出了各种算法的仿真程序,通过仿真结果对各种算法进行比较后有针对性的提出了BP算法的一种改进——变梯度BP算法。
对于改进的BP算法,本文不仅从理论方面对其进行了深入的分析,还介绍了该算法的详细思路和具体过程,将算法训练后的BP神经网络运用到函数逼近中去。
仿真结果表明,这种改进方案确实能够改善算法在训练过程中的收敛特性,而且提高收敛速度,取得令人满意的逼近效果。
关键词:
人工智能;BP神经网络;变梯度法;改进
Abstract
Artificialneuralnetwork,bythelargenumberofprocessingunits(neurons)composedoflarge-scaleadaptivenonlineardynamicsystems.Itisself-organization,adaptiveandself-learningability,aswellasnon-linear,non-local,non-steadyandnon-convexandsoon.Itisinmodernneuroscienceresearchonthebasisoftheresults,tryingtosimulatethebrainnetworkprocessing,memoryaboutthemeanstodesignanewmachinesothatitisthehumanbrain,astheinformationprocessingcapability.
Asanimportantcomponentofartificialintelligence,artificialneuralnetworkshavegreaterpotentialapplications.Thispaperdescribesthedevelopmentofaneuralnetwork,thestatusquoanditsprinciples,introducedaneuralnetworkintheaerospaceindustry,defenseindustry,manufacturingandmanyotheraspectsoftheapplication.BPneuralnetworkismoreofaneuralnetworkstructure.Approachingitwithanyprecisionarbitrarynonlinearfunction,butalsohasagoodapproximationperformance,andsimplestructure,isagoodperformanceofneuralnetworks.
Inthispaper,BPneuralnetworkthebasicprinciples,detailedanalysisofthestandardBPalgorithm,momentumBPalgorithmandthevariablerateoflearning,suchasBPalgorithmseveralpopularBPneuralnetworklearningalgorithm,describedindetailtheadvantagesanddisadvantagesofthesedifferentalgorithmsAndgivesavarietyofalgorithmsimulationprogram,throughthesimulationresultsofthevariousalgorithmstocomparetargetedafterBPmadeanimprovedalgorithm-BPchangegradientalgorithm.BPtoimprovethealgorithm,thepapernotonlyfromthetheoreticalaspectsoftheirin-depthanalysis,alsodescribedthealgorithmisdetailedideasandspecificprocess,methodoftrainingtouseBPneuralnetworktofunctionapproximation.Thesimulationresultsshowthatthisimprovementprogrammeistoimprovethetrainingalgorithmintheprocessofconvergencecharacteristics,andimprovetheconvergencerate,asatisfactoryapproximation.
Keywords:
Artificialintelligence;BPneuralnetwork;changegradientmethod;improve
目录
第一章绪论 1
1.1人工神经网络的发展史 1
1.2人工神经网络的应用 3
第二章人工神经网络的基本原理及模型 7
2.1神经网络构成的基本原理 7
2.1.1人工神经元模式 7
2.1.2连接权值 7
2.1.3神经网络状态 8
2.1.4神经网络的输出 8
2.2神经网络的结构 8
2.3神经网络的特点 10
2.4神经网络的学习方式 11
2.5几种典型的神经网络 11
第三章BP神经网络算法的改进及其仿真研究 15
3.1BP算法的数学描述 15
3.2BP网络学习算法 18
3.2.1标准BP算法 18
3.2.2动量BP算法 20
3.2.3学习率可变的BP算法 21
3.3BP算法的缺陷 22
3.4BP算法的一种改进——变梯度BP算法 23
3.4.1共轭梯度法 23
3.4.2改进共轭梯度法 24
3.5BP网络应用实例 26
3.5.1一般BP算法及其改进算法训练过程的不同 26
3.5.2BP神经网络的函数逼近 27
结束语 28
参考文献 29
致谢 30
附录 31
33
第一章绪论
1.1人工神经网络的发展史
早在20世纪初,人们就已经发现人脑的工作方式与现在的计算机是不同的。
人脑是由极大量基本单元(称之为神经元)经过复杂的相互连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统。
人工神经网络(artificialneuralnetwork,ANN),是借鉴人脑的结构和特点,通过大量简单处理单元(神经元或节点)互连组成的大规模并行分布式信息处理和非线性动力学系统。
它具有巨量并行性、结构可变性、高度非线性、自学习性和自组织性等特点。
因此,它能解决常规信息处理方法难以解决或无法解决的问题,尤其是那些属于思维(形象思维)、推理及意识方面的问题。
从人脑的生理结构出发来研究人的智能行为,模拟人脑信息处理的过程,即人工神经网络的研究,自20世纪40年代以来,它的发展经历了一条由兴起、萧条和兴盛三个阶段构成的曲折道路[1][2][3]。
早在1943年精神病学家和神经解剖学家McCulloch与数学家Pitts在数学生物物理学会刊《BulletinofMathematicalBiophysics》上发表文章,总结了生物神经元的一些基本生理特征,提出了形式神经元的数学描述与结构,即MP模型。
他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。
如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作,McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算函数。
这是一个有重大意义的结果,有了它就标志着神经网络和人工智能学科的诞生。
1949年生理学家D.O.Hebb出版了《TheOrganizationofBehavior》(行为组织学)一书。
该书第一次鲜明提出了神经元连接强度的Hebb规则。
他认为学习过程是在突触上发生的,突触的联系强度随其前后神经元的活动而变化。
根据这一假设提出的学习规则为神经网络的学习算法奠定了基础,使神经网络的研究进入了一个重要的发展阶段。
1954年Minsky在Princeton大学撰写了“神经网络”的博士论文,题目是《TheoryofNeural-AnalogReinforcementSystemsandItsApplicationtotheBrain-ModelProblem》。
1961年Minsky发表了早期关于人工智能(AI)的优秀论文“StepsTowardArtificialIntelligence”,论文的后半部包含了当今神经网络的大部分内容。
1967年Minsky出版了《Computation:
FiniteandInfiniteMachines》一书,它是第一本以书的形式扩展了McCulloch和Pitts1943年的结果,并把他们置于自动机理论和计算理论的背景中。
1958年,计算机科学家Rosenblatt提出感知机(Perceptron),首次把神经网络理论付诸工程实现。
这是一种学习和自组织的心理学模型,它基本上符合神经生物学的知识,模型的学习环境是有噪声的,网络构造中存在随机连接,这是符合动物学习的自然环境。
当时,人们对神经网络的研究过于乐观,认为只要将这种神经元互连成一个网络,就可以解决人脑思维的模型问题。
但是,随之而来的Minsky和Papert(1969)所著的《Perceptron》一书,利用数学证明单层感知器所能计算的根本局限,提出感知器的处理能力有限,甚至连XOR这样的问题也不能解决,并在多层感知器的总结章中,论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的。
当时人工智能的以功能模拟为目标的另一分支出现了转机,产生了以知识信息处理为基础的知识工程(KnowledgeEngineering),给人工智能从实验室走向实用带来了希望。
同时,微电子技术的发展,使传统的计算机的处理能力有很大提高,数字计算机的发展使当时科学界普遍认为它能解
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 算法