哈尔滨工业大学-模式识别课程-5.线性判别函数(ii)2学时.ppt
- 文档编号:30846766
- 上传时间:2024-02-03
- 格式:PPT
- 页数:47
- 大小:1.29MB
哈尔滨工业大学-模式识别课程-5.线性判别函数(ii)2学时.ppt
《哈尔滨工业大学-模式识别课程-5.线性判别函数(ii)2学时.ppt》由会员分享,可在线阅读,更多相关《哈尔滨工业大学-模式识别课程-5.线性判别函数(ii)2学时.ppt(47页珍藏版)》请在冰豆网上搜索。
哈尔滨工业大学哈尔滨工业大学主讲人:
李君宝主讲人:
李君宝第第44章线性判别函数章线性判别函数(II)(II)感知器设计基于距离的分段线性判别函数非线性判别函数应用系统设计感知器设计【感知准函则数】基本概念【感知准函则数】基本概念【感知准函则数】基本概念【感知准函则数】【感知准函则数】梯度下降法24239感知器的原理:
结构为【感知器原理】242310通过对W的整,可判函调实现别数g(x)=WTXRT其中RT为响应阈值定感知准函:
只考分本义则数虑错样定:
义其中x0分本为错样分生就有当类发错误时WTX0,所以J(W)是正,分愈少,总值错误类J(W)就愈小。
即求最小的。
值问题0)(XXXWWJT0)(WJ【感知器原理】242311求最小值对W求梯度代入迭代公式中Wk+1=Wk-kJ由J(W)经第K+1次迭代的时候,J(W)趋于0,收敛于所求的W值0)(XXXWWJJ01即感知器迭代公式:
XXXWWkkk【感知器原理】242312W的训练过程:
例如:
x1,x2,x31作x1,x3的垂直可得解线区(如图),起始向量设权w1=0k=1x1,x2,x3三矢量相加得矢量个2,垂直于矢量2的超平面H将x3分错.x3矢量与2相加得矢量3,垂直于矢量3的超平面H1,将x1分错.依上法得矢量4,垂直于矢量4做超平面,H2将x3分错x3矢量与4相加得矢量5,矢量5在解区内,垂直于矢量5的超平面可以把x1,x2,x3分成一类。
x1x2x32H3H14H25【感知器原理】242313感知器算法:
1.错误分类,修正wk如wkTx0且并x1wk+1=wk+kx如wkTx0且并x2wk+1=wk-kx2.正确分类,wk不修正如wkTx0且并x1如wkTx0且并x2wk+1=wk+-Hwk+1kxwk修正程权值过【感知器原理】242314k选择准则固定增量原则k固定非负数修正绝对规则k部分修正规则k=02xXxwTT|xXxwTT|【感知器原理】242315例题:
有两类样本1=(x1,x2)=(1,0,1),(0,1,1)2=(x3,x4)=(1,1,0),(0,1,0)解:
先求四本的增模式个样值x1=(1,0,1,1)x2=(0,1,1,1)x3=(1,1,0,1)x4=(0,1,0,1)假初始向量设权w1=(1,1,1,1)k=1第一次迭代:
w1Tx1=(1,1,1,1)(1,0,1,1)T=30所以不修正w1Tx2=(1,1,1,1)(0,1,1,1)T=30所以不修正w1Tx3=(1,1,1,1)(1,1,0,1)T=30所以修正w1w2=w1-x3=(0,0,1,0)w2Tx4=(0,0,1,0)T(0,1,0,1)=0所以修正w2w3=w2-x4=(0,-1,1,-1)第一次迭代后,向量权w3=(0,-1,1,-1),再行第进2,3,次迭代如下表x1x2x3x1x2x3x4111【感知器原理】16直到在一个迭代过程中权向量相同,训练结束。
可得:
w6=w=(0,-1,3,0)判别函数:
g(x)=-x2+3x3感知器算法只性可分本有收的解对线样敛,非性可对线分本集造成程的振样会训练过荡,是的缺点这它.训练样本wkTx修正式修正后的权值wk1迭代次数x11011x20111x31101x40101+0w1w1w1-x3w2-x4111111110010011-11x11011x20111x31101x401010+0-w3+x1w4w4-x3w5112011200221022-12x11011x20111x31101x40101+-w5w5+x2w6w602210130013001303x11011x20111x31101x40101+-w6w6w6w601300130013001304【感知器原理】242317线性不可分样本集的分类解(取近似解)于性可分的本集,可以用上述方法解到正确分对线样的向量。
本集性不可分,用上述方法求类权当样线时权算法不收。
值时敛如果我们把循环的权向量取平均值作为待求的权向量,或就取其中之一为权向量,一般可以解到较满意的近似结果。
例:
在样本1:
X1=(0,2)X3=(2,0)X5=(-1,-1)2:
X2=(1,1)X4=(0,-2)X6=(-2,0)求权向量的近似解x2x1x6x1x32x52x4x211H【感知器原理】242318解:
此性不可分,利用感知器法求向量为线问题权向量生循权产环(-1,2,0),(0,2,2),(-1,1,1),(-1,1,1)(-1,1,1),(0,0,0),(-1,2,0)因此算法不收,我可以取循中任一,例如取敛们环权值W=(0,2,2)T判函:
则别数为g(x)=2x1+2x2判面方程:
别为g(x)=2x1+2x20所以x1+x20由看出判面图别H把二分,但其中类开x2分到错1,类而x5分到错2,但大部分分是正确的。
类类还【感知器原理】分段线性分类器设计
(1)前面的线性分类器对于多分类问题,采用树分类器进行分类。
若在树分类器的各节点上采用线性判别规则,构成了一个分段线性分类器。
(2)在实际中,有很多实际模式识别问题并不是线性可分的,需要采用非线性分类器。
当两类样本分布具有多峰性质并互相交错,简单的线性判别函数会带来较大的分类错误。
【基于距离的分段性判函线别数】4.1.1概念的提出概念的提出由于样本在特征空间分布的复杂性,许多情况下采用线性判别函数不能取得满意的分类效果。
在这种情况下,可以采用分段线性判别或二次函数判别等方法,效果就会好得多。
与一般超曲面相比,分段线性判别函数是最为简单的形式,是非线性判别函数情况下最为常用的形式。
除此之外二次判别函数是除线性及分段线性外最简单的形式。
【基于距离的分段性判函线别数】4.1.1概念的提出概念的提出与线性判别函数相比,分段线性判别函数设计中首先要解决的问题是分段线性判别函数的分段段数问题,显然这是一个与样本集分布有关的问题。
分段段数过少,分类效果要差;但段数又要尽可能少,以免分类判别函数过于复杂,增加分类决策的计算量。
在有些实际的分类问题中,同一类样本可以用若干个子类来描述,这些子类的数目就可作为确定分段段数的依据。
【基于距离的分段性判函线别数】4.1.1概念的提出概念的提出【基于距离的分段性判函线别数】正态分布条件下,两类别问题在各特征统计独立、同方差、且先验概率相等情况下,最小错误率决策可按最小距离决策,即4.1.1概念的提出概念的提出【基于距离的分段性判函线别数】按距离分类的原理是可以推广的,即把各类别样本特征向量的均值作为各类的代表点,而样本的类别按它到各类别代表点的最小距离划分。
在这种判别函数中,决策面是两类别均值连线的垂直平分面。
最小距离分类器只有在各类别密集地分布在其均值附近时才有效。
4.1.1概念的提出概念的提出每类不只取单个代表点而是多个。
【基于距离的分段性判函线别数】步骤1.先对每一类找到与子区域中心的最小距离;步骤2.对于每一类子区域最小距离进行排序,选择最小作为决策。
1,2,.,()miniliillgxxm=-1,2,.,()min()ijjcgxgx=分段线性距离分类器:
分段线性判别函数的一般形式可定义为分段线性判别函数定义:
决策面方程:
【基于距离的分段性判函线别数】242327先求子的向量类权Wil,再求的向量总权Wi1.已知子类划分时的设计方法把每一子作立,利用每子的本个类为独类个类训练样,求每子的性判函,的判函就可得。
个类线别数总别数获子的分可用以下方法:
类划用先知直接分验识划用聚分析,聚成多子类个类2.已知子类的数目的设计方法各子的初始向量:
设个类权Wi1,Wi2WiLii=1,2,MWi中有Li子个类若第K步迭代时j本类样Xj同j某子类个类的向量权Wjn(k)的最大,即内积值Wjn(k)lxj=maxWjn(k).xjn=1,2,Lj【基于距离的分段性判函线别数】242328且足件并满条Wjn(k)xjWin(k)lxji=1,2,M类j=1,2,Li子类ij向量则权Wi1(k),Wi2(k),,WiLi(k)不影分,响类所以向量不需要修正。
权若有某或某几子不足件即:
个个类满条存在Win(k)使Wjn(k)xjWin(k)lxjij所以xj分,要修改向量。
错类权设Win(k)lxj=maxWin(k)xjn=1,2,Liij修改向量则权Wjn(k+1)=Wjn(k)kxj重以上迭代复,直到收敛,此法似于固定增量法类.【基于距离的分段性判函线别数】2423293.未知子类数目时的设计方法每分成的子也不知当类应类数时,是最一般情,方法很多,这况例如下。
举分段性分器树状线类:
情设两类况1,2。
如所示图先用两类线性判别函数求出W1,超平面H1分成两个区间,每个区间包含两类。
再利用二类分类求出W2(H2),W3(H3)。
如果每个部分仍包含两类,继续上面的过程。
【基于距离的分段性判函线别数】242330是初始向量关键权W1的选择:
一般先中距离最近的选两类两个子的均做垂直作类值连线线为H1(w1)初始再求最解。
值优w1Tx0w4Tx0w3Tx0w2Tx0YNYYNN1122NY1策框树状决图【基于距离的分段性判函线别数】局部训练法的思想是类间的分界面必然处在两类样本的交界处,因此只需找出这些交界处的样本,然后对这些邻近的不同类样本,按需要确定分界面即可。
实际上决策面都处在不同类别样本分布的交界处或邻接处所在的区域内,如图中两类物体在特征空间分布中有若干处很接近或甚至有交迭。
用这些区域中的样本来决定判别函数,就可以代替用整个样本集进行训练。
基于这种思想的样本训练法称为“局部训练法”。
【基于距离的分段性判函线别数】局部训练法参加训练的局部样本集由两类样本组成。
这些区域称之为“交遇区”,局部训练法就是基于交遇区内样本进行设计的。
要解决的几个问题是:
(1)如何从样本集中找到“交遇区”;
(2)如何利用“交遇区”中的样本设计线性分类器;(3)如何进行分类决策。
下面就这些问题分别进行讨论。
【基于距离的分段性判函线别数】局部训练法提出寻找“交遇区”的一种方法,其实质是先在每类样本集内进行分片划分,所使用的方法是聚类方法,划分的目的是使每类样本划分成小片后,找到处在本类样本占领区域边界上的小片原型。
找到边界子集的方法是通过与另一类样本子集中找近邻的方法实现的。
如果发现分属两类的两个原型互为最近邻,那么这两个原型就被认定为处在两类样本决策域的交界处,【基于距离的分段性判函线别数】算法步骤步骤1:
产生初始超平面步骤2:
初始决策面最佳化步骤3:
新决策面的产生与最佳化【基于距离的分段性判函线别数】在使用上述方法得到一超平面作分段性分器组为线类的分界面后,交遇的本集行性能有不能存仅对区样进检测时发现在的,需要使用全体本其行性能,察其能否问题样对进检验观对全体本作出合理的分样划。
【基于距离的分段性判函线别数】非线性判别函数242337位函分器电数类,用非性判函分性不可分的线别数区线类别位函分器电数类:
每特征作一点荷个为个电,把特征空作能量间为场.位分布函有下面三形式。
电数种系为数xk某一特定点为上是些函在一的形,第三是振曲,图这数维时图条荡线只有第一周期才是可用范。
围|11)K(2.2kkxxXX|sin|)K(3.22kkkxxxxXXxK(x)x321|exp-)K(1.2kkxxXX【非线性判别函数】242338位函算法的程是在逐本入,逐电数训练过个样输时渐积累位的程,于二,若干循后,如电过对类问题经过环积累位方程的算果能以正、分二本,电运结负来区类样则就可束。
训练结算法:
初始位设电为K0(x)=01.入本输样x1算累位计积电K1(x)若x1K1(x)=K0(x)+K(xx1)若x2K1(x)=K0(x)-K(xx1)设1正荷为电,2荷为负电在K0(x)=0时若x11K1(x)=K(xx1)若x12K1(x)=-K(xx1)【非线性判别函数】2423392.入本输样x2算累荷有以下几情计积电种况a.若x21且并K1(x2)0若x22且并K1(x2)0或xk+12且并Kk(xk+1)0时rk+1=0xk+11且并Kk(xk+1)0时rk+1=1xk+12且并Kk(xk+1)0不修正K2(x)=K1(x)=exp-(x12+x22)入输x3=(1,1)Tx32代入K2(x3)=exp-(12+12)0所以需要修正K3(x)=K2(x)-K(xx3)=exp-(x12+x22)-exp-(x1-1)2+(x2-1)2g(x)0g(x)0【非线性判别函数】242342入输x4=(1,-1)Tx32代入K3(x4)=e-2-e-40所以需要修正K4(x)=K3(x)-K(xx4)=exp-(x12+x22)-exp-(x1-1)2+(x2-1)2-exp-(x1-1)2+(x2+1)2第二次迭代入输x5=x1=(0,-0)Tx51代入K4(x5)=1-e-2-e-40K5(x)=K4(x)入输x6=x2=(2,0)Tx61代入K5(x6)=e-4-e-2-e-2=0所以需要修正K6(x)=K5(x)+K(xx6)=exp-(x12+x22)-exp-(x1-1)2+(x2-1)2-exp-(x1-1)2+(x2+1)2+-exp-(x1-2)2+x22【非线性判别函数】242343入输x7=x3=(1,1)Tx72代入K6(x7)=e-2-e0-e-4+e-20所以不需要修正K7(x)=K6(x)入输x8=x4=(1,-1)Tx82代入K7(x8)=e-2-e-2-e0+e-20所以不需要修正K9(x)=K8(x)【非线性判别函数】实际应用系统设计典型的用系框架应统训练根据准则函数训练最优权向量W输入训练样本集x1,x2,xN分类y=Wxyi=Wxi测试样本x输入训练样本特征y1,y2,yN输出分类结果测试样本特征y4.1.4线性判别分类器线性判别分类器【基本框架】4.1.4线性判别分类器线性判别分类器【基本框架】Title:
1.Introduction(1.大方向涉及的技术的分析、2.论文中涉及的技术的分析3.论文主要的思路以及创新点4全文的结构)2.Relatedworks(增加论文长度的最好方法)3.Proposedmethod3.1MotivationandFramework(算法的整体思路与主要流程)3.2Agorithm(整体框架涉及的技术思想,主要算法理论(包括公式)3.3Procedure(具体的步骤)3.4Discussion(理论上讨论算法可能的优势)4.Experiments4.1Experimentalsetting(数据来源、数据特性、实验条件、实验数据分组)4.2Results(算法思路的分析、算法性能评价)4.3Analysis(主要是算法实验结果的分析)4.4PracticalApplications(通过实验的数据以及结果,可以展望一下提出算法的应用,因为有的期刊要求这个)5.Conclusion本章结束本章结束
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 哈尔滨工业大学 模式识别 课程 线性 判别函数 40 ii 41 学时