模式识别第三讲统计决策理论.ppt
- 文档编号:2119646
- 上传时间:2022-10-27
- 格式:PPT
- 页数:29
- 大小:305.50KB
模式识别第三讲统计决策理论.ppt
《模式识别第三讲统计决策理论.ppt》由会员分享,可在线阅读,更多相关《模式识别第三讲统计决策理论.ppt(29页珍藏版)》请在冰豆网上搜索。
第二章第二章统计决策理论统计决策理论1北京工业大学计算机学院2.1引言PR中的分类问题是根据识别对象特征的观测值,将其分到相应的类别中去。
统计决策理论是模式分类的主要理论和工具。
这一章要讨论:
最小错误率贝叶斯决策最小风险贝叶斯决策2北京工业大学计算机学院2.2贝叶斯决策贝叶斯决策问题:
假定要识别的物理对象x有d个特征,x1,x2,xd,记作x=x1,x2,xdT,所有的特征向量构成了d维特征空间。
假定这些待识别的对象来自c个类别,i,i=1,2,c,并且每个类别出现的先验概率Pi和类条件概率密度p(x|i),i=1,2,c已知。
3北京工业大学计算机学院如果观察到一个样本,那么把分到哪一类去才是合理的呢?
这是这一章要解决的问题。
4北京工业大学计算机学院一.最小错误率贝叶斯决策在模式分类问题中,人们希望尽量减小分类的错误。
不可能不犯错误,因为样本是随机的我们希望所使用的分类规则,能使错误率达到最小。
5北京工业大学计算机学院以细胞识别为例:
细胞切片的显微图像经过一定的预处理后,抽取出d个特征。
每一细胞可用一个d维的特征向量xx表示。
希望根据xx的值分到正常类1或异常类2中去。
假定可以得到Pr1、Pr2(Pr1+Pr2=1),和p(xx|1)、p(xx|2)。
如果只有先验概率,那么合理的选择是把xx分到Pr1、Pr2大的一类中去。
一般由于Pr1Pr2,这样就把所有的细胞分到了正常的一类。
失去了意义。
6北京工业大学计算机学院如果有细胞的观测信息,那么可以改进决策的方法。
为了简单起见,假定xx是一维的特征(如胞核的总光强度)。
p(xx|1)和p(xx|2)已知:
利用贝叶斯公式:
7北京工业大学计算机学院得到的Pri|xx称为状态(正常、异常)的后验概率。
上述的贝叶斯公式,通过观测到的x,把先验概率转换为后验概率。
这时,基于错误率最小的贝叶斯决策规则为:
后面要证明这个决策规则是错误率最小的。
8北京工业大学计算机学院上面的贝叶斯决策规则还可以表示成以下几种形式:
1)若,则2)若,则9北京工业大学计算机学院称为似然比3)若,则则:
4)取的负对数,有10北京工业大学计算机学院例例11:
某一地区的统计资料,Pr1=0.9(正常),Pr2=0.1(异常),有一待识别细胞,其观测值为xx,从类条件概率密度曲线上查出,p(xx|1)=0.2,p(xx|2)=0.4。
解:
解:
利用贝叶斯公式,有应把xx归为1类,不是完全正确,但错误率最小。
11北京工业大学计算机学院例例2:
假定一维测量(特征)值y的类条件密度函数为:
而且Pr1=Pr2。
画出两类的概率密度曲线并求分类规则。
解:
解:
12北京工业大学计算机学院似然比检验上式两边取对数,再乘以2,有原因是Pr1=Pr2,且分布形式相同,又对称,只是均值有区别分界点在两均值的中点y=7,可以由确定。
,构成一个判别函数。
13北京工业大学计算机学院下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。
证明:
证明:
错误率是对所有xx的平均错误率Pre两类时的条件错误概率为:
14北京工业大学计算机学院对每个x,因为决策为后验概率最大的类别,Pre|x为最小。
因此错误率最小。
15北京工业大学计算机学院对于多类情况,最小错误率决策规则为:
若,则或若则称为判别函数(discriminantfunction)。
16北京工业大学计算机学院二.最小风险贝叶斯决策在实际工作中,有时仅考虑错误率最小是不够的。
地震预报要引入比错误率更广泛的概念风险、损失。
细胞识别17北京工业大学计算机学院要考虑行动的后果、行动的风险。
采取的决定称为决策或行动。
决策可以为分到某一个类别,或“拒绝”等。
假设一共有m个决策。
每个决策或行动都有一定的代价或损失。
损失函数表示真实状态为,采取行动为时的损失。
18北京工业大学计算机学院对于给定的xx,采取决策时的条件损失或条件风险为:
如果在采取每一决策时,其条件风险都最小,则对所有的xx作决策时,其平均(期望风险)也最小。
称为最小风险的贝叶斯决策。
对所有的xx,采取决策,风险的期望值为:
称为平均风险或期望风险19北京工业大学计算机学院最小风险的贝叶斯决策规则:
若,则采取。
20北京工业大学计算机学院对于实际问题,最小风险的贝叶斯决策可按如下步骤进行:
1.根据Prj,p(x|j),j=1,2,c,以及给出的x,计算后验概率2.计算条件风险即若,则采用决策。
3.从得到的m个条件风险中,选最小的。
21北京工业大学计算机学院例例33:
仍以例1中的细胞为例,Pr1=0.9,Pr2=0.1,p(xx|1)=0.2,p(xx|2)=0.4,=0,=6,=1,=0。
解:
解:
由例1的计算,有而22北京工业大学计算机学院和例1正好相反。
因为考虑到了损失。
损失函数的确定要针对具体情况,具体领域。
xx被划分为异常。
23北京工业大学计算机学院三.最小错误率决策和最小风险决策间的关系前者是后者的特例。
如果损失函数(不考虑“拒绝”),这样定义的损失函数称为01损失函数。
24北京工业大学计算机学院这时的条件风险为即对xx采取决策时的条件错误率。
所以使的最小风险决策等价于使最大。
最小错误率的贝叶斯决策就是01损失函数下的最小风险贝叶斯决策。
25北京工业大学计算机学院小结小结这一小节讨论了简单的统计决策方法:
最小错误率的贝叶斯决策最小风险贝叶斯决策26北京工业大学计算机学院这些决策方法都导致了似然比检验,只是阈值不同。
以上关于两类问题的决策方法可以很容易推广到多类问题。
27北京工业大学计算机学院离散特征时的贝叶斯公式决策规则与连续特征情形相似28北京工业大学计算机学院应用:
文本分类假设各个单词出现的概率是独立的某一类文本中出现某些单词的概率较大,因此较大贝叶斯信念网29北京工业大学计算机学院
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 第三 统计决策理论