基于扩展卡尔曼滤波器的RBF神经网络学习算法概要.docx
- 文档编号:4453672
- 上传时间:2022-12-01
- 格式:DOCX
- 页数:13
- 大小:992.29KB
基于扩展卡尔曼滤波器的RBF神经网络学习算法概要.docx
《基于扩展卡尔曼滤波器的RBF神经网络学习算法概要.docx》由会员分享,可在线阅读,更多相关《基于扩展卡尔曼滤波器的RBF神经网络学习算法概要.docx(13页珍藏版)》请在冰豆网上搜索。
基于扩展卡尔曼滤波器的RBF神经网络学习算法概要
・1682・ 计算机测量与控制.2006.14(12 ComputerMeasurement&Control
设计与应用
中华测控网chinamca.com
收稿日期:
20060329; 修回日期:
20060420。
基金项目:
国防预研基金项目(51421040103JB4902。
作者简介:
何成伟(1980,男,空军雷达学院研究生,主要从事调制类型识别、神经网络等方向的研究。
文章编号:
16714598(200612168204 中图分类号:
TP391 文献标识码:
B
基于扩展卡尔曼滤波器的RBF神经网络学习算法
何成伟,韩振铎,桑成伟,徐占刚
(空军雷达学院指挥自动化工程系,湖北武汉 430019
摘要:
径向基函数(RBF神经网络可广泛应用于解决信号处理与模式识别问题,目前存在一些学习算法用来确定RBF中心节点和训练网络,对于确定RBF中心节点向量值和网络权重值可以看作同一系统问题,因此该文提出把扩展卡尔曼滤波器(EKF用于多输入多输出的径向基函数(RBF神经网络作为其学习算法,当确定神经网络中网络节点的个数后,EKF可以同时确定中心节点向量值和网络权重矩阵,为提高收敛速度提出带有次优渐消因子的扩展卡尔曼滤波器[1](SFEKF用于RBF神经网络学习算法,仿真结果说明了在学习过程中应用EKF比常规RBF神经网络有更好的效果,学习速度比梯度下降法明显加快,减少了计算负担。
关键词:
扩展卡尔曼滤波器;径向基函数;神经网络;带有次优渐消因子的扩展卡尔曼滤波器
LearningAlgorithmofRBFNeuralNetworksBasedonExtendedKalmanfilter
HeChengwei,HanZhenduo,SangChengwei,XuZhangang
(DepartmentofCommandAutomationEngineering,AFRA,Wuhan430019,China
Abstract:
Radialbasisfunction(RBFneuralnetworksprovideattractivepossibilitiesforsolvingsignalprocessingandpatternclassifi2cationproblems.SeveralalgorithmshavebeenproposedforchoosingtheRBFprototypesandtrainingthenetwork.TheselectionoftheRBFprototypesandthenetworkweightscanbeviewedasasystemidentificationproblem.Assuch,thistheuseoftheex2tendedKalmanfilter(EKFforlearningprocedure,aftertheuserchooseshowmanyprototypesto,theKalmanfil2tersimultaneouslysolvesfortheprototypevectorsandtheweightmatrix.Into,tproposestheuseofthesuboptimalfadingextendedKalmanfilter(SFEKFforlearningsshowthattheuseofheex2tendedKalmanfilterresultsinbetterlearningthanconventionalRBFthangradientdescent,reducingcomputa2tionalburden.
Keywords:
extendedKalmanfilter;radial;;suboptimalfadingextendedKalmanfilter
0 引言
。
径向基函数神经网络简称RBF(RadialBasisFunction神经网络,与其它神经元网络相比,具有最佳逼近和能够较好地克服局部极小问题的性能[2],因此倍受人们青睐。
对于RBF神经网络的学习算法,一些学者把确定中心单元和网络权重分开来计算,这可以使训练速度加快,例如梯度下降法(Gradientdescent。
梯度下降法已被证明是比其他传统方法[3]更有效的方法,但是梯度下降法具有计算负担重的缺点,在实际应用中受到限制。
为减少网络训练时间,本文延伸了参考文献[3],阐明了基于扩展卡尔曼的RBF神经网络训练方法,并且把它应用到训练多输入多输出的RBF神经网络中,同时为进一步提高收敛速度提出了SFEKF学习算法。
仿真表明EKF训练方法比梯度下降法速度快,
时间少,同时训练效果与梯度下降法接近,SFEKF学习算法收敛速度高于EKF学习算法。
1 RBF神经网络简介
RBF神经网络是一种特殊的三层前向神经网络,网络结
构如图1所示。
RBF神经网络隐层[4]输出为:
图1 RBF神经网络结构图
hjk=g(‖xk-vj‖
2
(k=1,…,M(j=1,…,c(1其中
g(v
=(g0(v
1/(1-p
g0=av+b(a>0(b>0(2
xk为输入层第k个节点的输入,vj为隐层第j个节点的
阈值
Y=WH
(3
W
=
w10
w11
…w1cw20
w21
…w2c…
…
……
wno
wn1
…wn(4
第12期
何成伟,等:
基于扩展卡尔曼滤波器的RBF神经网络学习算法
・1683・
中华测控网
chinamca.com
H=
h01
…h0
Mh11
…h1M…
……hc1
…h h0k=1(k=1,…,M
(5
Y为RBF神经网络输出向量,W为RBF神经网络权值向量,H为RBF神经网络隐层单元函数矩阵。
2 EKF在RBF神经网络中的应用
我们可以把EKF用于最小化训练误差。
下面主要介绍
EKF算法并说明怎样应用于RBF网络优化。
非线性确定维离
散时间系统的形式为:
θk+1=f(θk
+wk(6yk=h(θk
+vk(7向量θk为系统在k时刻的状态向量,wk是过程噪声,yk
是测量向量,vk是观测噪声,f(・
和h(・对自变量而言是非线性函数。
{vk}和{wk}是独立的高斯噪声。
将方程(6和(7在状态估计值θ
^k处用Taylor级数展开:
f(θk=f(θk+Fk×(θk-θ^k+高阶项(8h(θk=h(θ
^k+HTk×(θk-θ^k+高阶项(9
式中,
Fk=
9θ|θ=θk HTk=9
θ|θ=θk分别去掉(8与(9中的高阶项可近似表达为
θk+1=Fkθk+f(θ^k-Fkθ^k+wk
(yk=HTkθk+h(θ^k
-HT
kθ^k+(状态估计向量θ
^kθ
^k=k-Kk[k-1]Kk=kk(R+HTkPkHk-1Pk+1=Fk(Pk-KkHT
k
PkFTk
+Q
(12
一般而言把优化权重矩阵W和阈值vf看作加权最小二乘问题,由图1所示RBF神经网络有m个输入,c个隐层节点,n个输出,定义y为RBF期望目标输出值,定义h(θk为第k次递推时实际输出值。
y=[y11…y1M…yn1…ynM]T
h(θ^k=[y^11…
y^1M…y^n1…y^
nM]Tk(13每一个向量y和y^都由nM个元素组成,n为RBF输出的维数
M是训练采样数。
为使计算最优化问题适合EKF,把加权矩
阵W和中心节点vj构成一个非线性系统的状态向量,使RBF
神经网络的输出成为EKF应用的非线性系统的输出。
非线性系统状态向量的表达式如下:
θ=[wT1…wT
n vT1…vTc]T
(14θ由RBF参数组成。
EKF应用的非线性系统的模型可表示为:
θk+1=θk
yk=h(θk
(15
h(θk是RBF神经网络中网络参数到输出的映射。
为了运行稳态的EKF算法,需要加入一些人工过程噪声和测量噪声,所以(15重写为
θk+1=θk+wk
yk=h(θk+vk
(16
wk和vk是人工加的噪声。
这样就可以应用EKF递推方程式
(12于RBF神经网络。
f(・定义为一种映射。
yk为RBF
神经网络的输出值。
h(θ
^k是给定RBF参数下,Kalman第k次递推的真实值。
Hk为给定RBF参数下,Kalman第k次递推后输出值的一部分,Hk表达式见方程(17。
Fk定义为一个矩阵(尽管写成函数形式,但是其为一个常量。
Q
和R矩阵分别为人工噪声wk和vk的协方差矩阵。
Hk=
HwHv
(17
其中,
H
w=
H
0…00
H
…0
…
……0
…1
(18
Hv=
-w1g′112(x1-v1
…-w11g′m12(xm-v1……
………-w1cg′1c2(x1-vc
…-w1cg′mc2(xm-vc…
-wn1g′112(x1-v1
…-wn1g′m12(xm-v1………
-wncg′1c2(x1-vc
…
-c′1c2(xm-vc
(19
得到了HkW和中心单元
vj。
:
λ(k+1=
λ0,
λ≥11,
λ0<1
(20
其中,
λ0=
tr[M(k+1]
Nk+1=Sk+1-HkQkHTk-βR
Mk+1=HkPkHT
k(21
Sk+1是残差方差矩阵,
Sk+1=γ1γT
1,
k=0ργγT1+ρ
k≥1
(22
0<ρ≤1为遗忘因子,一般取ρ=0195。
式(21中的弱化因
子β≥1是为了使状态估计值更加平滑,可凭经验选定。
基于
STF的滤波算法如下:
θ^k=f(θ^k-1+Kk[yk-h(θ^k-1]Kk=PkHk(R+HTkPkHk
-1
Pk+1=λk+1Fk(Pk-
KkHTkPkFTk+Q(23
应用过程与EKF在RBF神经网络中的应用相似。
4 仿真试验
用经典Iris分类问题测试算法[5],Iris数据有4个特征被分
成3个种类,随机从Iris数据中分别选取训练数据和测试数据,各自包含从每个种类中选取的25个样本。
令等式(2中的a=1,b=1,P分别取值为2,
3,4。
初始权重W=0,初始中心单元vj从输入数据中随机选取。
梯度下降法结束条件为误差函数
E=
2
‖Y-Y^‖2F≤011%。
扩展卡尔曼滤波参数初始化P0
・1684・ 计算机测量与控制 第14卷
中华测控网chinamca.
com
图2 用Iris数据测试RBF神经网络性能图
线性产生函数:
g0
(v=v+1,g(v=[g0(v]-1/(1-p;(ap=2;(bp=3;(cp=4
.
图3IrisF
线性产生函数:
g0
1,g(v[v-1/(1-p;(ap=2;(bp=3;(cp=4.
图4 训练达到收敛所需平均迭代次数图
线性产生函数:
g0(v=v+1,g(v=[g0(v]-1/(1-p;(ap=2;(bp=3;(cp=4.
=40I,Q=40I,R=40I,其中I为适当维的单位矩阵。
扩展卡
尔曼迭代式结束条件为误差函数E=2
‖Y-Y^‖2F≤011%。
从图2可以看出,一般来说梯度下降法比应用扩展卡尔曼滤波器作为训练函数的效果好些,但是随着隐层单元数的增加,两种训练算法的效果相似。
RBF神经网络达到的峰值效果为95%附近,这个结果没有参考文献[3]中的效果好,这个差异可能由训练结束标准或其他应用中的细节导致。
SFEKF参数初始化取ρ=0195。
β=115,P0=40I,Q=40I,R=40I,其中I为适当维的单位矩阵。
卡尔曼递推式结
束条件为误差函数E=2
‖Y-Y^‖2
F≤
011%。
图3表明应用EKF作为学习算法的效果明显好于应用SFEKF作为学习算法的RBF神经网络。
从图4中可以看出梯度下降法达到收敛需要的迭代次数远远超过了EKF学习算法和SFEKF学习算法。
这表明应用
EKF训练RBF神经网络具有比梯度下降法明显的计算优势。
同时也看出在相同条件下(E=2‖Y-Y^‖
2
F≤
011%应用SFEKF训练RBF神经网络要比应用EKF训练RBF神经网络
具有更少的迭代次数,提高了训练过程的收敛速度。
图5比较了三种方法达到收敛时所需的CPU运行时间。
(CPU运行时间以秒为单位,在PentiumIV216GCPU上运行
MATLAB。
在只有一个或两个隐层单元情况下,CPU运行
时间三种方法相差不大。
但是随着隐层单元的增加(超过两
第12期何成伟,等:
基于扩展卡尔曼滤波器的RBF神经网络学习算法 ・1685・
中华测控网chinamca.
com
图5 训练达到收敛所需平均CPU运行时间图
线性产生函数:
g0(v=v+1,g(v=[g0(v]-1/(1-p
;(ap=2;(bp=3;(cp=4.
个,梯度下降法需要的CPU运行时间大大超过其他两种方法
需要的CPU运行时间。
5 结论
神经网络结构性能很大程度上取决于有效的学习算法。
卡
尔曼滤波器理论已经应用到上百个技术领域,本文阐述的RBF神经网络训练算法也是完全应用用卡尔曼滤波器。
通过
仿真试验可以证明EKF学习算法和梯度下降法运行效果相似,但是只有部分的计算贡献,另外也可以看出SFEKF学习算法运行效果和EKF
参考文献:
[1]徐 毓,金以慧,杨瑞娟.[J].传感器技术,2002,21(3:
-[2]BinachiniM,FransconiP,GoriM.Learningwithoutlocalminima
inradialbassisfunctionnetworks[J].IEEETransactiononNeu2ralNetworks,1995,6(3:
749-755
[3]KarayiannisN.Reformulatedradialbasisneuralnetworkstrained
bygradientdescent[J].IEEETrans.NeuralNetworks,1999(3:
657-671.
[4]BirgmeierM.AfullyKalman-radialbasisfunctionnet2
workfornonlinearspeech[IEEEInternationalCon2on[hAustralia,1995:
-J,J,R,etal.WilltherealIrisdata
[J].IEEETrans.FuzzySystems,1999(7:
368-[6]何 友,王国宏,彭应宁.多传感器信息融合及应用[M].北
京:
电子工业出版社,2000:
12-19.
(上接第1681页
图5 Gi(s与Ge(s频响特性比较
Gi(s_sys1:
Wi=220rad/sec;
Mi=10dB;Ge(s_sys2:
We=188rad/sec;Me=9176dB;
对动态系统的频率响应特征点比较,实际ACT系统的谐
振频率为ωn=3812Hz,谐振峰值为M=9132dB(企业提供,数学模型仿真与辨识结果谐振频率为30~35Hz,谐振
峰值为918dB左右,采用非参数模型辨识的结果更符合实际
状况。
模型接近程度较好,如图5所示。
图中sys为辩识模型频率特性。
4 结论
在LabVIEW环境下,利用辨识工具开发的辨识系统,面板使用方便,简捷直观,能快速准确地辨识出光学头ACT数学模型,而且可测试系统动态性能指标,并为后续系统伺服方案提供较为准确的ACT控制模型。
另外,对该系统驱动电路稍加改造,可适用机电系统更大范围的系统辨识和动态特性测试,具有一定的工程实用价值。
参考文献:
[1]马建设,方 南,等.基于GPIB线的DVD光学头动态信号测试
与评价系统[J].计算机测量与控制,2002,10(4:
219-223.
[2]杨建东,裴先登.光盘机执行机构的模型处理[J].电子计算机
与外部设备,1997,21(1:
27-30.
[3]板生清,保坂宽,片桐祥雅.光微机械电子学[M].北京:
科学
出版社共立出版社,2002.
[4]李言俊,张 科.系统辨识理论及应用[M].国防工业出版社,
2003.
[5]徐端颐1高密度光盘数据存储[M]1北京:
清华大学出版社,
20031
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 扩展 卡尔 滤波器 RBF 神经网络 学习 算法 概要