1、第三章 线性分类器,线性判别函数最小距离准则Fisher 准则感知器函数准则最小平方误差准则,问题的引入,利用贝叶斯分类器需要知道类别先验概率及类条件概率密度.在许多实际问题中,由于样本特征空间的类条件概率密度的形式常常很难确定,而用统计方法估计分布需要大量的样本,并且随着特征空间维数的增加所需的样本数急剧增加.,需要用其他方法来设计分类器,解决的思路,贝叶斯分类器,关键是确定判别函数g i的形式.,绕道而行,不用估计条件概率,首先直接假设判别函数具有某种形式,然后利用样本集确定出判别函数中的未知参数.,本章研究g i(x)为线性函数时,分类器参数的估计问题,这种估计无需概率,g i(x)的具
2、体形式需根据样本集在模式空间中的分布情况或相关领域的专业知识来确定.,如何估计这些未知参数，应针对不同的实际情况，提出不同的设计要求，使得所设计的分类器尽可能好地满足这些要求。当然，由于所提要求不同，结果也相各异，这说明上述“尽可能好”是相对于所提要求而言的。,这种设计要求，往往用某个特定的函数来表达，称之为准则函数,“尽可能好”的结果对应于准则函数取最优值。,分类器设计问题就转化为求准则函数极值的问题了，因此就可以利用最优化技术解决模式识别问题。,设计贝叶斯分类器时，我们已经采用了准则函数，即错误率函数或风险函数。贝叶斯分类器的错误率或风险是最小的，所以通常称之为最优分类器，而在其它准则函数
3、下得到的分类器则称为是“次优”的。,这里的“次优”，只是相对于错误率或风险而言的，而对所提的准则函数来讲，则是最好。,虽然采用线性判别函数导致的错误率或风险可能比贝叶斯分类器大，但是，线性函数是最简单的函数，计算量小，容易实现。因此，线性判别函数是统计模式识别的基本方法之一。,3.1线性判别函数,基本概念几何意义3.线性分类器设计的主要步骤4.多类线性决策问题5.广义线性判别函数,1.基本概念,设模式x是d维的，x=(x1,x2,xd)T,类别数 m=2设线性判别函数的一般形式为,g(x)=wTx+w0,权向量 w=(w1,w2,wd)T,阈 值 w o,决策规则,g(x)0,x 1,g(x)
4、0,x 2,决策面(超平面)H,g(x)=0,它将 1类与 2类的样本分开,决策面H的方向(法向量)w,一般来说,决策面将特征空间分成两个半空间,分别对应于 1类与 2类的决策域R1,R2,由于当x 1时,g(x)0 所以决策面的方向指向R1,决策面H的正侧 R1 所在的侧,决策面H的负侧 R2 所在的侧,总之,决策面的方向由w确定,位置由阈值 w0 确定.,2.几何意义,xp,设模式x在决策面H上的投影点及对应向量均用xp表示,x=xp+x w,r(x)为x到H的有向距离,xp满足g(xp)=0,所以 g(x)=wTx+wo=r(x)|w|,其中:,线性判别函数可看作是模式x到决策面H的距离
5、的函数,总之，利用线性判别函数进行决策，就是用一个超平面把特征空间分割成两个决策区域。判别函数g(x)正比于x点到超平面的有向距离,若 w0 0，则原点在H的正侧若 w0 0，则原点在H的负侧若 w0=0，说明超平面H通过原点 此时g(x)具有齐次形式wTx，,若x为原点，则g(0)=w0，从而得到从原点到超平面H 的有向距离 r(0)=w0/|w|。,3.线性分类器设计的主要步骤,所谓设计线性分类器,就是利用训练样本集建立线性判别函数,即要估计其中的未知参数w和 wo,实际上就是寻找最好参数的过程.最好的参数往往是准则函数的极值点.这样,设计线性分类器的问题就转化为利用训练样本集寻找准则函数
6、的极值点w和 wo的问题.,主要步骤,获取训练样本集,即一组具有类别标志的样本集.X=x 1,x 2,x n X可看作确定性样本集,也可看作随机样本集,确定一个准则函数J(X,w,wo)J 的值反映分类器的性能,它的极值解则对 应于最好的决策,用最优化方法求出准则函数的极值解w*,和wo*,对未知样本x,只要计算g(x),然后根据决策规 则判定x所属类别,流程图,训练样本集,参数估计,准则函数,线性分类器,4.多类决策问题,假设已知一组容量为n的样本集，如果有一个线性分类器能把每个样本正确分类，则称这组样本集为线性可分的；否则称为线性不可分的。反过来，如果样本集是线性可分的，则必然存在一个线性
7、分类器能把每个样本正确分类,线性可分性,假设样本集是线性可分的,在多类情况下，比如m类,往往需要定义多个线性判别函数，通常有三种方案。,判别规则为:若g i(x)0,则判x属x于 i类,采用这种方案，模式空间中可能存在不确定区域，如图中的斜线区域。不确定区域中的模式无法确定其类别。,方案一:线性判别函数将属于 i类的模式与其余不属于 i类的模式分开，m类问题要有m个判别函数 g i，il，2，,m.,方案二:线性判别函数将属于 i类的模式与将属于 j类的模式的模式分开，m类问题要有n=m(m-1)/2 个判别函数 g ij，i,jl，2，,.m,采用这种方案，模式空间中同样可能存在不确定区域，
8、如图中的斜线区域。不确定区域中的模式无法确定其类别。,判别规则为:若g ij(x)0,ji jl，2，,.m则判x属x于 i类,方案三 m类问题定义m个判别函数 g i，i l，2，,m.,采用这种方案，模式空间中不存在不确定区域.处理多类问题时通常采用这种方案,判别规则为:若g i(x)g j(x),ji,jl，2，,.m则判x属于 i类,决策面H i j方程为 g i(x)=g j(x)ji,i,jl，2，,.m,Max,(x),多类问题线性分类器,训练样本集,线性函数参数估计,准则函数,分类规则,5.广义线性判别函数,设有一维样本空间S，我们希望的决策为,这说明线性判别函数虽然简单，但局
9、限性较大，不适用于非凸区域和多连通区域的划分问题。,如果x b，则x属于2类；,如果 a x b，则x属于1类。,显然没有任何一个线性判别函数能解决这个问题,线性判别函数的局限性,非线性判别函数的线性化,上图中，如果建立一个二次判别函数g(x)=(x a)(x b)则可以解决上述分类问题,二次判别函数可写成如下一般形式：g(x)=c0+c1x+c2x2,如果适当选择x y的映射，则可以把二次判别函数化为y的线性函数：,其中,g(x)=aTy 称为x的广义线性判别函数a叫做广义权向量,广义线性判别函数,线性判别函数的齐次简化,若把线性判别函数写成,其中：,上式称为线性判别函数的齐次简化 y=(1
10、,x)T叫做增广样本向量 a叫做增广权向量它们是 d+1维向量,不难看出，y与x相比，虽然增加了一维，但保持了样本空间的欧氏距离不变，变换后的样本向量仍然全部位于d维子空间y 1=1中，即原 x 空间中,它对d维子空间的划分与原决策面 wTx+0=0 对原空间的划分完全相同。,可得 y 空间中任意一点y到H的距离为：,一般来说，对于任意高次判别函数 g(x)都可以变换为广义线性判别函数来处理，但是经过变换后维数大大增加了，这将导致计算量大大增加,维数灾难!,小结:线性判别函数,基本概念 几何意义 线性分类器设计的主要步骤 多类线性决策问题 广义线性判别函数,3.2 最小距离准则,最小欧氏距离准
11、则最小马氏距离准则,1.最小欧氏距离准则,d 维空间中两个向量之间的欧氏距离,设 x=(x 1,x 2,x d)T,y=(y 1,y 2,y d)T,则x,y之间的欧氏距离D为 D 2=(x y)T(x y),同类模式在模式空间中应相互靠近,根据这一特点,我们可利用距离最小准则来设计分类器,设有m 类已知类别的模式(样本)集。计算 i类中所有样本的均值 i,记样本x到 i类的距离为 D i(x)=(x i)T(x i),i=1,2,m,按最小距离分类原理，决策规则为,若D i(x)D j(x),ji,jl，2，,.m则判x属于 i类,如图,各类的中心用黑点表示 表示待判样本,D i(x)=(x
12、 i)T(x i),=x T x 2 i T x i T i,记 g i(x)=2 i T x i T i 显然,g i(x)为线性函数,决策规则为 若gi(x)gj(x),ji,i,jl，2，,.m则判x属于 i类,最小欧氏距离分类器构造简便，使用方便,但是分类效果常常不理想。分类效果不好的原因在于判别函数的权向量及阈值仅仅利用了各类样本的均值信息，而没有充分利用样本的其它信息。,从以上分析可知,最小欧氏距离分类器的判别函数可用线性函数代替,g i(x)=2 i T x i T=wTx+w o,其中 w=2 i T,w0=i T i,所以最小距离分类器实质上是线性分类器,2.最小马氏距离准则
13、,设有m 类已知类别的模式(样本)集。i类中所有样本的均值 i，样本协方差矩阵为C i,样本x到 i类的马氏距离为 D i(x)=(x i)T C i1(x i),i=1,2,m,按最小距离分类原理，决策规则为,若D i(x)D j(x),则判x属于 i类 j i,jl，2，,.m,当各类的协方差矩阵相等时记为C1=C2=C m=C,D i(x)=(x i)T C 1(x i),=x T C 1 x 2 i T C 1 x i T i,记 g i(x)=2 i T C 1 x i T,显然,g i(x)为线性函数,决策规则为 若gi(x)gj(x),ji,i,jl，2，,.m则判x属于 i类,
14、忽略i与无关的项,注：当C=I时，马氏距离与欧氏距离相等,3.3 Fisher 准则,1.Fisher判别法要解决的问题 2.必要的基本参量 3.Fisher准则函数,1.Fisher判别法要解决的问题,应用统计方法解决模式识别问题时，在低维空间里行得通的方法，在高维情况里往往行不通。因此，降低维数有时就成为处理实际问题的关键。,我们可以考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。这条直线满足:不同类别的样本点在此直线上的投影点尽可能地分开.,问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是Fisher法所要解决的基本问题。,所谓寻找最好投影直线，在
15、数学上就是寻找最好的直线的方向向量w*的问题。,2.必要的基本参量,(1)各类样本均值向量：,(2)样本类内离散度矩阵Si和总类内离散度矩阵S:,(3)样本类间离散度矩阵Sb:,设有N个d维样本，x1,xN，其中 N1 个属于1类的样本记,为子集 X1，N2个属于2类的样本,记为X 2,(1)各类样本均值向量：,将 X1 和 X 2投影到一维y空间，得到子集Y 1和 Y 2,(2)样本类内离散度 和总类内离散度:,我们希望投影后，在一维Y空间里各类样本尽可能分得开些，即希望两类均值差越大越好；同时希望各类样本内部尽量密集，即希望类内离散度越小越好。故，定义Fisher准则函数为：,3.Fish
16、er准则函数,显然应该寻找 JF(w)的分子尽可能大，而分母尽可能小，也就是使 JF(w)尽可能大的w作为投影方向。,分子与w的关系：w,必须将JF(w)变成w的显函数，以便求得w*,T,分母与w的关系：,最后可得显式为：,注：此式与w的长度无关,JF(w)是广义Rayleigh商,可以用 Lagrange 乘子法求解。,求使JF(w)取极大值时的w*,即分母等于非零常数。,定义Lagrange函数为：,令偏导数为零，得：,式中为Lagrange乘子。对w求偏导数，得：,由于JF(w)与w的长度无关，可令,其中w*就是JF(w)的极值解。因为S非奇异，可得：,而：,式中R=(1-2)Tw*为一标量，所以Sbw*总是在向量(1-2)的方向上。由于我们的目标是寻找最好的投影方向，w*的比例因子对此无影响，因此，可得：,忽略比例因子R/，得：,上式中的w*就是d维X空间到一维y空间的最好投影方向。有了w*，就可以把d维样本xn投影到一维，这实际上是多维空间到一维空间的一种映射。,以上做的全部工作是将d维空间的样本集映射成一维样本集，这个一维空间方向w*是相对于Fisher准则JF(w)为最好
