智能控制课件总结版 南阳理工杨旭老师.docx
- 文档编号:30074188
- 上传时间:2023-08-04
- 格式:DOCX
- 页数:24
- 大小:409.86KB
智能控制课件总结版 南阳理工杨旭老师.docx
《智能控制课件总结版 南阳理工杨旭老师.docx》由会员分享,可在线阅读,更多相关《智能控制课件总结版 南阳理工杨旭老师.docx(24页珍藏版)》请在冰豆网上搜索。
智能控制课件总结版南阳理工杨旭老师
5.知识获取被认为是专家系统中的一个“瓶颈”问题。
9.知识表示
就是知识的形式化,就是研究用机器表示知识的可行的、有效的、通用的原则和方法。
10.常用的知识表示方法有:
逻辑表示法、语义网络法、产生式规则、特性表示法、框架表示法、与或图法、过程表示法、黑板结构、Petri网络法、神经网络等。
11.专家系统的推理机制
依据一定的原则从已有的事实推出结论的过程,这个原则就是推理的核心。
专家系统中的自动推理是知识推理。
而知识推理是指在计算机或智能机器中,在知识表达的基础上,进行机器思维,求解问题,实现知识推理的智能操作过程。
12.推理方法的分类
根据知识表示的特点,知识推理方法可分为图搜索方法和逻辑论证方法两类。
根据问题求解的推理过程中是否运用启发性知识,知识推理方法可分为启发推理和非启发推理两类。
根据问题求解的推理过程中结论是否精确,知识推理方法可分为精确推理和不精确推理两类。
根据问题求解的推理过程中特殊和一般的关系,知识推理方法可分为演绎推理、归纳推理两类。
根据问题求解的推理过程中推理的方向,知识推理方法可分为正向推理、反向推理和正反向混合推理三类。
13.专家系统建立步骤(P8)
(1)知识库的设计
(2)推理机的设计(3)人机接口的设计
14.专家控制与专家系统区别
1)通常的专家系统只完成专门领域问题的咨询功能,它的推理结果一般用于辅助用户的决策;而专家控制则要求能对控制动作进行独立的、自动的决策,它的功能一定要具有连续的可靠性和较强的抗扰性。
(2)通常的专家系统一般处于离线工作方式,而专家控制则要求在线地获取动态反馈信息,因而是一种动态系统,它应具有使用的灵活性和实时性,即能联机完成控制。
14.专家控制系统的控制要求
(1)决策能力强。
(2)运行可靠性高。
(3)使用的通用性好。
(4)拟人能力强。
(5)控制与处理的灵活性。
专家控制器的设计原则
(1)多样化的模型描述。
(2)在线处理的灵巧性。
(3)灵活性的控制策略。
(4)决策机构的递阶性。
(5)推理与决策的实时性。
PID专家控制的实质是,基于受控对象和控制规律的各种知识,无需知道被控对象的精确模型,利用专家经验来设计PID参数。
专家PID控制是一种直接型专家控制器。
神经网络
神经网络,是一种在生物神经网络的启示下建立的数据处理模型。
主要通过调整神经元之间的权值来对输入的数据进行建模,最终具备解决实际问题。
人工神经网络的可塑性表现于,其连接权值都是可调整的,它将一系列仅具有简单处理能力的节点通过权值相连,当权值调整至恰当时,就能输出正确的结果。
网络将知识存储在调整后的各权值中,这一点是神经网络的精髓。
神经网络的特点及应用
人工神经网络具有强大的模式识别和数据拟合能力
1.自学习和自适应性。
给神经网络输入新的训练样本,网络能够自动调整结构参数,改变映射关系
2.非线性性。
人工神经元处于激活或抑制状态,表现为数学上的非线性关系。
3.鲁棒性与容错性。
局部的损害会使人工神经网络的运行适度减弱,但不会产生灾难性的错误。
4.计算的并行性与存储的分布性。
每个神经元都可以根据接收到的信息进行独立运算和处理。
神经网络模型
单层网络:
单层感知器,线性网络。
多层网络:
其他网络。
前向网络:
BP、径向基网络、自组织网络等。
反馈网络:
Hopfield网络,Elman网络等。
.神经网络的学习方式
1.有监督学习(有教师学习)。
训练样本对应一个教师信号。
2.无监督学习(无教师学习)。
网络只接受一系列的输入样本,而对该样本应有的输出值一无所知。
1.Hebb学习规则:
权值的调整量与输入前一神经元输出值和后一神经元输出值的乘积成正比。
2.纠错学习规则:
权值的调整量与误差大小成正比。
3.随机学习规则:
Boltzmann机事实上就是模拟退火算法。
4.竞争学习规则:
只有一个获胜神经元可以进行权值调整,其他神经元的权值维持不变,体现了神经元之间的侧向抑制。
单神经元网络
常用的神经元非线性特性有以下3种:
阈值型。
分段线性型。
Sigmoid函数型。
单层感知器
单层感知器属于单层前向网络,即除了输入层和输出层之外只拥有一层神经元节点。
输入是一个N维向量。
其中的每一个分量都对应于一个权值,隐含层的输出叠加为一个标量值:
随后在二值阈值元件中对得到的v值进行判断,产生二值输出:
二维空间中的超平面是一条直线。
在直线下方的点,输出-1;在直线上方的点,输出1。
单层感知器的学习算法。
在实际应用中,通常采用纠错学习规则的学习算法。
感知器的局限性
单层感知器无法解决线性不可分问题,只能做近似分类。
感知器的激活函数使用阈值函数,输出值只有两种取值,限制了在分类种类上的扩展。
如果输入样本存在奇异样本,网络需要花费很长的时间。
感知器的学习算法只对单层有效。
clear,clc
closeall
n=0.2;%学习率
w=[0,0,0];
P=[-9,1,-12,-4,0,5;...
15,-8,4,5,11,9];
d=[0,1,0,0,0,1];%期望输出
P=[ones(1,6);P];
MAX=20;%最大迭代次数为20次
%%训练
i=0;
while1
v=w*P;
y=hardlim(v);%实际输出
%更新
e=(d-y);
ee(i+1)=mae(e);
if(ee(i+1)<0.001)%判断
disp('wehavegotit:
');
disp(w);
break;
end
%更新权值和偏置
w=w+n*(d-y)*P';
if(i>=MAX)%达到最大迭代次数,退出
disp('MAXtimesloop');
disp(w);
disp(ee(i+1));
break;
end
i=i+1;
end
%%显示
figure;
subplot(2,1,1);%显示待分类的点和分类结果
plot([-9,-12-40],[15,4511],'o');
holdon;
plot([1,5],[-8,9],'*');
axis([-13,6,-10,16]);
legend('第一类','第二类');
title('6个坐标点的二分类');
x=-13:
.2:
6;
y=x*(-w
(2)/w(3))-w
(1)/w(3);
plot(x,y);
holdoff;
subplot(2,1,2);%显示mae值的变化
x=0:
i;
plot(x,ee,'o-');
s=sprintf('mae的值(迭代次数:
%d)',i+1);
title(s);
线性神经网络
线性神经网络最典型的例子是自适应线性元件。
线性神经网络与感知器的主要区别在于,感知器的传输函数只能输出两种可能的值,而线性神经网络的输出可以取任意值,其传输函数是线性函数。
线性神经网络在收敛的精度和速度上较感知器都有了较大提高,但由于其线性运算规则,它也只能解决线性可分的问题。
线性神经网络的结构
若网络中包含多个神经元节点,就能形成多个输出,这种线性神经网络叫Madaline网络。
Madaline可以用一种间接的方式解决线性不可分的问题,方法是用多个线性函数对区域进行划分,然后对各个神经元的输出做逻辑运算。
线性神经网络解决线性不可分问题的另一个方法是,对神经元添加非线性输入,从而引入非线性成分,这样做会使等效的输入维度变大。
LMS学习算法
LMS算法与感知器网络的学习算法在权值调整上都基于纠错学习规则,但LMS更易实现,因此得到了广泛应用,成为自适应滤波的标准算法。
LMS算法中学习率的选择:
学习率越小,算法的运行时间就越长,算法也就记忆了更多过去的数据。
因此,学习率的倒数反映了LMS算法的记忆容量大小。
线性神经网络与感知器的对比:
网络传输函数。
感知器传输函数是一个二值阈值元件,而线性神经网络的传输函数是线性的。
这就决定了感知器只能做简单的分类,而线性神经网络还可以实现拟合或逼近。
学习算法。
LMS算法得到的分类边界往往处于两类模式的正中间,而感知器学习算法在刚刚能正确分类的位置就停下来了,从而使分类边界离一些模式距离过近,使系统对误差更敏感。
线性神经网络实现直线拟合:
对于一些离散的数据点,从中找到这些点的规律,就做一条直线,穿过尽可能多的点,使得这些数据和直线上所的估计的点的方差最小,找到的这条直线就是拟合直线,该直线代表了数据之间的线性规律。
BP神经网络
BP神经网络是包含多个隐含层的网络,具备处理线性不可分问题的能力。
误差反向传播算法(ErrorBackPropagtion,BP),解决了多层神经网络的学习问题。
是一种多层前向网络,又叫多层感知器。
BP网络是前向神经网络的核心部分,也是整个人工神经网络体系中的精华,广泛应用于分类识别、逼近、回归、压缩等领域。
在实际应用中,大约80%的神经网络模型采取了BP网络或BP网络的变化形式。
网络由多层构成,层与层之间全连接,同一层之间的神经元无连接。
包含一个多多个隐层,可以实现复杂的映射关系。
BP神经网络的结构
BP网络的传递函数必须可微。
BP网络一般使用Sigmoid函数或线性函数作为传递函数。
Sigmoid函数是光滑、可微的函数,在分类时它比线性函数更精确,容错性较好。
将输入从负无穷到正无穷的范围映射到0~1或-1~1区间内,具有非线性的放大功能。
BP网络采用误差反向传播算法(Back-PropagationAlgorithm)进行学习。
在BP网络中,数据从输入层经隐含层逐层向后传播,训练网络权值时,则沿着减少误差的方向,从输出层经过中间各层逐层向前修正网络的连接权值。
“误差反向传播”:
误差信号反向传播。
修正权值时,网络根据误差从后向前逐层进行修正。
“反馈神经网络”:
输出层的输出值又连接到输入神经元作为下一次计算的输入,如此循环迭代,直到网络的输出值进入稳定状态为止。
BP神经网络属于多层前向网络,工作信号始终正向流动,没有反馈结构
BP网络的学习算法
BP学习算法的原理与LMS算法比较类似,属于最速下降法。
最速下降法可以求某指标(目标函数)的极小值,若将目标函数取为均方误差,就得到了LMS算法。
使用梯度下降法时,应首先计算函数在某点处的梯度,再沿着梯度的反方向以一定的步长调整自变量的值。
(1)目标函数必须可微。
(2)如果最小值附近比较平坦,算法会在最小值附近停留很久,收敛缓慢。
“之”字形下降
(3)对于包含多个极小值的函数,所获得的结果依赖初始值。
算法有可能陷入局部极小值点,而没有达到全局最小值点。
BP神经网络来说,由于传递函数都是可微的,因此能满足最速下降法的使用条件。
当输出层传递函数为线性函数时,输出层与隐含层之间权值调整的规则类似于线性神经网络的权值调整规则。
BP网络的复杂之处在于,隐含层与隐含层之间、隐含层与输入层之间调整权值时,局部梯度的计算需要用到上一步计算的结果。
前一层的局部梯度是后一层局部梯度的加权和。
因此,BP网络学习权值时只能从后向前依次计算。
串行方式。
在线方式,网络每获得一个新样本,就计算一次误差并更新权值,直到样本输入完毕。
随机输入样本,不容易陷入局部最优陷阱。
批量方式:
离线方式。
网络获得所有的训练样本,计算所有样本均方误差的和作为总误差。
容易并行化,速度快。
本次权值的更新方向和幅度不但与本次计算所得的梯度有关,还与上一次更新的方向和幅度有关
(1)如果前后两次计算所得的梯度方向相同,得到的权值较大,可以加速收敛过程。
(2)如果前后两次计算所得梯度方向相反,则说明两个位置之间可能存在一个极小值,可以得到一个较小的步长,更容易找到最小值点,而不会陷入来回振荡
拟牛顿法。
牛顿法具有收敛快的优点,但需要计算误差性能函数的二阶导数,计算较为复杂。
拟牛顿法只需要知道目标函数的梯度,通过测量梯度的变化进行迭代,收敛速度大大优于最速下降法。
拟牛顿法有DFP方法、BFGS方法、SR1方法和Broyden族方法。
设计BP网络的方法
BP网络的设计主要包括网络层数、输入层节点数、隐含层节点数、输出层节点数及传输函数、训练方法、训练参数的设置等几个方面。
1.网络层数。
对于大部分应用场合,单个隐含层即可满足需要
2.输入层节点数。
输入层节点数取决于输入向量的维数。
如果输入的是的图像,则输入向量应为图像中所有的像素形成的4096维向量。
如果待解决的问题是二元函数拟合,则输入向量应为二维向量。
3.隐含层节点数。
较多的隐含层节点数可以带来更好的性能,但可能导致训练时间过长。
4.输出层神经元个数。
输出层神经元的个数同样需要根据从实际问题中得到的抽象模型来确定。
在模式分类问题中,如果共有n种类别,则输出可以采用n个神经元。
5.传递函数的选择。
一般隐含层使用Sigmoid函数,而输出层使用线性函数。
如果输出层也采用Sigmoid函数,输出值将会被限制在0~1或-1~1之间。
6.训练方法的选择
使用LM算法收敛速度最快,均方误差也较小。
LM算法对于模式识别相关问题的处理能力较弱,且需要较大的存储空间
模式识别问题,使用RPROP算法能收到较好的效果
SCG算法对于模式识别和函数逼近问题都有较好的性能表现。
7.初始权值的确定
BP神经网络的局限性
BP网络具有实现任何复杂非线性映射的能力,特别适合求解内部机制复杂的问题,但BP网络也具有一些难以克服的局限性
(1)需要的参数较多,且参数的选择没有有效的方法。
隐含层结点个数。
(2)容易陷入局部最优。
(3)样本依赖性。
如果样本集合代表性差、矛盾样本多、存在冗余样本,网络就很难达到预期的性能
(4)初始权重敏感性。
训练的第一步是给定一个较小的随机初始权重,由于权重是随机给定的,BP网络往往具有不可重现性。
径向基函数网络
径向基函数:
有多种形式,其中最为常用的,是高斯函数。
1.正则化网络是一个通用逼近器,这意味着,只要有足够多的隐含节点,它就可以以任意精度逼近任意多远连续函数。
2.给定一个未知的非线性函数f,总可以选择一组系数,使得网络对f的逼近是最优的。
正则化网络的一个特点就是:
隐含节点的个数等于输入训练样本的个数。
因此如果训练样本的个数N过大,网络的计算量将是惊人的,从而导致过低的效率甚至根本不可实现。
解决的方案是用Galerkin方法来减少隐含层神经单元的个数,此时求得的解是较低维数空间上的次优解。
这就是广义网络
在实际应用中,一般都采用广义径向基函数网络。
径向基神经网络与多层感知器的比较
径向基神经网络是三层网络(输入层、隐含层、输出层),只有一个隐含层,而多层感知器则可以有多个隐含层
径向基神经网络的隐含层和输出层完全不同,隐含层采用非线性函数(径向基函数)作为基函数,而输出层采用线性函数,两者作用不同。
径向基神经网络的基函数计算的是输入向量与基函数中心之间的欧式距离(两者取差值,再取欧几里德范数),而多层感知器的隐单元的激励函数则计算输入向量与权值的内积
多层感知器对非线性映射全局逼近,径向基函数局部逼近
概率神经网络
概率神经网络由输入层、隐含层、求和层和输出层组成
第一层为输入层,用于接收来自训练样本的值,将数据传递给隐含层
径向基层,每一个隐含层的神经元节点拥有一个中心,该层接收输入层的样本输入,计算输入向量与中心的距离,最后返回一个标量值
求和层把隐含层中属于同一类的隐含神经元的输出做加权平均
输出层取求和层中最大的一个作为输出的类别
概率神经(PNN)网络的优点:
训练容易,收敛速度快,从而非常适用于实时处理。
可以实现任意的非线性逼近,用PNN网络所形成的判决曲面与贝叶斯最优准则下的曲面非常接近。
只要有充足的样本数据,概率神经网络都能收敛到贝叶斯分类器,没有BP网络的局部极小值问题
扩充性能好。
网络的学习过程简单,增加或减少类别模式时不需要重新进行长时间的训练学习
广义回归神经网络
广义回归神经网络(GeneralRegressionNeuralNetwork,GRNN)是径向基网络的另外一种变形形式
广义回归网络以径向基网络为基础,因此具有良好的非线性逼近性能,与径向基网络相比,训练更为方便
广义回归神经网络尤其适合解决曲线拟合的问题
在MATLAB中newgrnn函数可以方便的实现GRNN网络
离散Hopfield神经网络
离散Hopfield神经网络与前向网络的根本区别
在前向神经网络(或前馈神经网络)中,各层神经元节点接受前一层输入的数据,经过处理输出到下一层,数据正向流动,没有反馈连接。
前向线性神经网络的输出仅由当前的输入和网络的权值决定,
反馈神经网络的输出除了与当前输入和网络权值有关以外,还与网络之前的输入有关
典型的反馈神经网络有Hopfield网络、Elman网络、CG网络模型、盒中脑(BSB)模型和双向联想记忆(BAM)等。
其最突出的优点是具有很强的联想记忆和优化计算功能,最重要的研究方向是反馈神经网络的稳定性。
Hopfield网络分为离散型DHNN和连续型CHNN两种网络模型
最初提出的Hopfield网络是离散网络,输出值只能取0或1,分别表示神经元的抑制和兴奋状态。
遗传算法
遗传算法的基本操作为:
(1)复制
(2)交叉(3)变异
遗传算法的特点:
(1)遗传算法是对参数的编码进行操作,而非对参数本身
(2)遗传算法同时使用多个搜索点的搜索信息
(3)遗传算法直接以目标函数作为搜索信息
(4)遗传算法使用概率搜索技术
(5)遗传算法在解空间进行高效启发式搜索,而非盲目地穷举或完全随机搜索
(6)遗传算法对于待寻优的函数基本无限制
(7)遗传算法具有并行计算的特点
遗传算法的应用领域:
(1)函数优化。
(2)组合优化
(3)生产调度问题
(4)自动控制
(5)机器人
(6)图像处理
遗传算法的构成要素:
(1)染色体编码方法
遗传算法的应用步骤:
第一步:
确定决策变量及各种约束条件,即确定出个体的表现型X和问题的解空间;
第二步:
建立优化模型,即确定出目标函数的类型及数学描述形式或量化方法;
第三步:
确定表示可行解的染色体编码方法,即确定出个体的基因型x及遗传算法的搜索空间;
第四步:
确定解码方法,即确定出由个体基因型x到个体表现型X的对应关系或转换方法;
第五步:
确定个体适应度的量化评价方法,即确定出由目标函数值到个体适应度的转换规则;
第六步:
设计遗传算子,即确定选择运算、交叉运算、变异运算等遗传算子的具体操作方法。
第七步:
确定遗传算法的有关运行参数,即M,G,Pc,Pm等参数。
求解该问题遗传算法的构造过程:
(1)确定决策变量和约束条件;
(2)建立优化模型;
(3)确定编码方法:
用长度为10位的二进制编码串来分别表示两个决策变量x1,x2。
10位二进制编码串可以表示从0到1023之间的1024个不同的数,故将x1,x2的定义域离散化为1023个均等的区域,包括两个端点在内共有1024个不同的离散点。
从离散点-2.048到离散点2.048,分别对应于从0000000000(0)到1111111111(1023)之间的二进制编码。
将x1,x2分别表示的两个10位长的二进制编码串连接在一起,组成一个20位长的二进制编码串,它就构成了这个函数优化问题的染色体编码方法。
使用这种编码方法,解空间和遗传算法的搜索空间就具有一一对应的关系。
(4)确定解码方法:
解码时需要将20位长的二进制编码串切断为两个10位长的二进制编码串,然后分别将它们转换为对应的十进制整数代码,分别记为y1和y2。
(5)确定个体评价方法:
由于Rosenbrock函数的值域总是非负的,并且优化目标是求函数的最大值,故可将个体的适应度直接取为对应的目标函数值,
(6)设计遗传算子:
选择运算使用比例选择算子,交叉运算使用单点交叉算子,变异运算使用基本位变异算子。
(7)确定遗传算法的运行参数:
群体大小M=80,终止进化代数G=100,交叉概率Pc=0.60,变异概率Pm=0.10。
遗传算法的优化过程是目标函数J和适应度函数F的变化过程。
由仿真结果可知,随着进化过程的进行,群体中适应度较低的一些个体被逐渐淘汰掉,而适应度较高的一些个体会越来越多,并且它们都集中在所求问题的最优点附近,从而搜索到问题的最优解。
求解该问题遗传算法的构造过程:
(1)确定决策变量和约束条件;
(2)建立优化模型;
(3)确定编码方法:
用2个实数分别表示两个决策变量,分别将的定义域离散化为从离散点-2.048到离散点2.048的Size个实数。
(4)确定个体评价方法:
个体的适应度直接取为对应的目标函数值,
5)设计遗传算子:
选择运算使用比例选择算子,交叉运算使用单点交叉算子,变异运算使用基本位变异算子。
(6)确定遗传算法的运行参数:
群体大小M=500,终止进化代数G=200,交叉概率Pc=0.90,采用自适应变异概率。
即变异概率与适应度有关,适应度越小,变异概率越大。
基本遗传算法(GA)
基本遗传算法的构成要素
(1)染色体编码方法
基本遗传算法使用固定长度的二进制符号串来表示群体中的个体,其等位基
因由二值符号集{0,1}组成。
初始群体中各个个体的基因值用均匀分布的随机数来生成。
如:
x;100111001000101101
就可表示一个个体,该个体的染色体长度是l=18
(2)个体适应度评价
基本遗传算法按与个体适应度成正比的概率来决定当前群体中每个个体遗传
到下一代群体中的机会多少。
为正确计算这个概率,这里要求所有个体的适应
度必须为正数或零。
这样,根据不同种类的问题,必须预先确定好由目标函数
值到个体适应度之间的转换规则,特别是要预先确定好当目标函数值为负数时
的处理方法。
(3)遗传算子
基本遗传算法使用下述三种遗传算子:
•选择运算:
使用比例选择算子;
•交叉运算:
使用单点交叉算子;
•变异运算:
使用基本位变异算子。
(4)基本遗传算法的运行参数
基本遗传算法有下述4个运行参数需要提前设定:
•M:
群体大小,即群体中所含个体的数量,一般取为20~100。
•T:
遗传运算的终止进化代数,一般取为100~500
•pc:
交叉概率,一般取为0.4~0.99
•pm:
变异概率,一般取为0.0001~0.1
[说明]
这4个运行参数对遗传算法的求解结果和求解效率都有一定的影响,但目前
尚无合理选择它们的理论依据。
在遗传算法的实际应用中,往往需要经过多次试
算后才能确定出这些参数合理的取值大小或取值范围。
1.2基本遗传算法的形式化定义
基本遗传算法可定义为一个7元组:
GA=(M,F,s,c,m,pc,pm)
M——群体大小;
F——个体适应度评价函数;
s——选择操作算于;
c——交叉操作算子:
m——变异操作算于;
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能控制课件总结版 南阳理工 杨旭老师 智能 控制 课件 总结 南阳 理工 老师