BP神经网络的发展现状综述Word文档格式.doc
- 文档编号:13160268
- 上传时间:2022-10-07
- 格式:DOC
- 页数:6
- 大小:755KB
BP神经网络的发展现状综述Word文档格式.doc
《BP神经网络的发展现状综述Word文档格式.doc》由会员分享,可在线阅读,更多相关《BP神经网络的发展现状综述Word文档格式.doc(6页珍藏版)》请在冰豆网上搜索。
发展现状
中图分类号:
TP183 文献标识码:
A
0 引言
人工神经网络(简称神经网络)具有复杂模式和进行联想、推理记忆的功能,它是解决某些传统方法所无法解决的问题的有力工具。
目前,它日益受到重视,同时其他学科的发展,为其提供了更大的机会。
1986年,Romelhart和Mc2clelland提出了误差反向传播算法(ErrorBackPropagationAlgorithm,简称BP算法),由于多层前馈网络的训练经常采用误差反向传播算法,人们也常把多层前馈网络称为BP网络。
由于具有结构简单、工作状态稳定、易于硬件实现等优点,在众多的神经网络模型中,BP网络的应用最为广泛,尤其是在模式识别及分类、系统仿真、故障智能诊断、图像处理、函数拟合、最优预测等方面1。
1 BP网络的描述
BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。
正向传播时,输入样本从输
图1 BP网络模型
Ok=f(netk) k=1,2,⋯,r
(1)
m
入层传入,经各隐层逐层处理后,传向输出层。
若输出层的
实际输出与期望的输出(教师信号)不符,则转入误差的反向
netk
=6
j=0
wikyj k=1,2,⋯,r
(2)
传播阶段。
误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获
yj=f(netj) j=1,2,⋯,m (3)
n
得各层单元的误差信号,此误差信号作为修正各单元权值的依据。
这种信号正向传播与误差反向传播的各层权值调整
netj=6
i=0
其中转移函数:
vijxi j=1,2,⋯,m (4)
过程,是周而复始地进行的。
权值不断调整的过程,也就是网络学习训练过程。
此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的学习次数为止。
BP网络模型中如图1所示的单隐层网络(三层前馈网)的应
f(x)=1
1+e-x
以上算式
(1)~(5)为三层前馈网的数学模型。
BP学习算法的权值调整计算公式为:
(5)
用最为普遍。
主要包括输入层、隐层和输出层。
Δwjk=ηδ0j
k k k k j
三层前馈网中,输入向量为X=(x1,x2,⋯,xi,⋯,
ky=η(d
r
Δvij=η(6δ0w
-0)o(1-o)y
)y(1-y)x
(6)
(7)
xn)T,如加入x0=-1,可为隐层神经元引入阈值;
隐层输出
k=0
kjk j j i
向量为Y=(y1,y2,⋯,yj,⋯,ym)T,如加入y0=-1,可为输出层神经元引入阈值;
输出层输出向量为O=(o1,o2,⋯,
ok,⋯or)T。
期望输出向量为d=(d1,d2,⋯,dk,⋯dr)T。
输入层到隐层之间的权值矩阵用V表示,V=(V1,V2,⋯,
Vj,⋯Vm),其中列向量Vj为隐层第j个神经元对应的权向
量;
隐层到输出层之间的权值矩阵用W表示,W=(W1,W2,⋯,WK,⋯,Wr),其中列向量WK为输出层第k个神经元对应的权向量。
它们之间的关系为:
其中η∈(0,1),表示学习率。
2 BP网络存在的问题
将BP算法用于具有非线性转移函数的三层前馈网络,可以以任意精度逼近任何非线性函数,这一非凡优势使三层前馈网络得到越来越广泛的应用。
然而标准的BP算法在应用中暴露出不少内在的缺陷:
1)易形成局部极小而得不到全局最优;
2)训练次数多使得学习效率低,收敛速度慢;
收稿日期:
2007-11-22 作者 周政 男 40岁 工程师
第2期 周政:
BP神经网络的发展现状综述 91
3)隐节点的选取缺乏理论指导;
4)训练时学习新样本有遗忘旧样本的趋势。
3 目前有效改进算法
由于传统的BP算法存在着以上问题,国内外已提出不少有效的改进算法:
3.1 增加动量项
一些学者指出,标准BP算法在调整权值时,只按t时刻误差的梯度降方向调整,而没有考虑t时刻前的梯度方向,从而常使训练过程发生震荡,收敛缓慢。
为了提高网络的训练速度,可以在权值调整公式中增加一动量项。
3.2 自适应调节学习率
学习率也称为步长,在标准的BP算法定为常数,然而在实际应用中,很难确定一个从始至终都合适的最佳学习率。
从误差曲面可以看出,在平坦区域内学习率太小会使训练次数增加,因而希望增大学习率;
而在误差变化剧烈的区域,学习率太大会因调整量过大而跨过较窄的“坑凹”处,使训练出现震荡,反而使迭代次数增加。
为了加速收敛过程,一个较好的思想是自适应改变学习率,使其该大时增大,该小时减小。
3.3 引入陡度因子
误差曲面上存在着平坦区域。
权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。
如果在调整进入平坦区域后,设法压缩神经元的净输入,使其输出退出转移函数的饱和区,就可以改变误差函数的形状,从而使调整脱离平坦区。
实现这一思路的具体作法是在原转移函数中引入一个陡度因子。
4 BP网络的应用
图2 用于图像压缩编码的BP网
将BP网络用于人脸识别,建立了人脸识别模型,通过对输入图像实行图像压缩、图像抽样及输入矢量标准化等图像预处理,将标准化矢量输入BP神经网络进行训练。
BP网络用于人脸识别时,网络的每一个输入节点对应样本的一个特征,而输出节点数等于类别数,一个输出节点对应一个类。
在训练阶段,如果输入训练样本的类别标点是i,则训练时的期望输出假设第i个节点为1,而其余输出节点均为0。
在识别阶段,当一个未知类别样本作用到输入端时,考察各输出节点对应的输出,并将这个样本类别判定为具有最大值的输出节点对应的类别。
如果有最大值的输出节点与其它节点之间的距离较小(小于某个阈值),则作出拒绝判断。
经过竞争选择,获得识别结果。
4.3 故障诊断
对于故障诊断而言,其核心技术是故障模式识别。
而人工神经网络由于其本身信息处理特点,如并行性、自学习、自组织性、联想记忆等,使得能够出色地解决那些传统模式识别难以圆满解决的问题,所以故障诊断是人工神经网络的重要应用领域之一,已有不少应用系统的报道。
总的说来,神经网络在诊断领域的应用研究主要集中在两个方面:
一是从模式识别的角度应用作为分类器进行故障诊断,其基本思想是:
以故障征兆作为人工神经网络的输入,诊断结果作为输出;
二是将神经网络与其他诊断方法相结合而形成的混合诊
3
BP网络作为一种很重要的神经网络模型在许多领域都
断方法
。
对用解析方法难以建立系统模型的诊断对象,人
得到了应用。
4.1 图像压缩编码
Ackley和Hinton等人提出了利用BP网络实现数据编码的基本思想。
其原理是,把一组输入模式通过少量的隐层节点映射到一组输出模式,并使输出模式等同与输入模式。
当中间隐层的节点数比输入模式维数少时,就意味着隐层能更有效地表现输入模式,并把这种表现传给输出层。
在这个过程中,输入层和隐层的变换可以看成是压缩编码的过程;
而隐层和输出层的变换可以看成是解码过程。
用多层前馈网实现图象压缩时,只需一个隐层,网络结果如图2所示。
输入层和输出层均含有n×
n个神经元,每个神经元对应于n×
n个图像分块中的一个像素。
隐层神经元的数量由图像压缩比决定,如n=16时,取隐层神经元数为m=8,则可将256像素的图像块压缩为8像素。
设用于学习的图像有N×
N个像素,训练时从中随机抽取n×
n图像块作为训练样本,并使教师模式和输入模式相等。
通过调整权值使训练集图像的重建误差达到最小。
训练后的网络就可以用来执行图像的数据压缩任务了,此时隐层输出向量便是数据压缩结果,而输出层的输出向量便是图像重建结果。
4.2 人脸识别
对人脸识别是人类最伟大的视觉功能之一,神经网络受动物神经系统启发,利用大量简单处理单元互联而构成的复杂系统,以解决复杂模式识别和行为控制问题。
文献2中
工神经网络有着很好的研究和应用前景。
4.4 最优预测
目前,前景预测已经成为许多行业不可避免的一个难题。
由于预测涉及的因素很多,往往很难建立一个合理的模型。
人工神经网络模拟人的大脑活动,具有极强的非线性逼近、大规模并行处理、自训练学习、容错能力以及外部环境的适应能力。
所以利用人工神经网络进行预测已经成为许多项目首选的方法。
目前利用BP网络进行预测的应用已经很多。
例如,可以用来建立公共卫生事件监测与预警系统、旅游业趋势预测系统、物流预测系统、资源调度系统等方面。
设计涉及训练样本集设计、网络结构设计和训练与测试三个方面。
BP网络在应用于预测预报前,需要一个网络学习过程。
其学习过程包括信息正向传播和误差反向传播两个
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 发展 现状 综述