1、李晶皎等译，模式识别（第三版），电子李晶皎等译，模式识别（第三版），电子工业出版社，工业出版社，20062006年。8讲授课程内容及安排第一章第一章 引论引论 第二章第二章 聚类分析聚类分析第三章第三章 判别域代数界面方程法判别域代数界面方程法 第四章第四章 统计判决统计判决 第五章第五章 学习、训练与错误率估计学习、训练与错误率估计 第六章第六章 最近邻方法最近邻方法第七章第七章 特征提取和选择特征提取和选择 上机实习上机实习9第一章 引论1.1 1.1 概述概述1.2 1.2 特征矢量和特征空间特征矢量和特征空间1.3 1.3 随机矢量的描述随机矢量的描述1.4 1.4 正态分布正态分布1
2、0概念概念n模式识别模式识别（Pattern Recognition）（Pattern Recognition）：确定一个确定一个样本的类别属性（模式类）的过程，即把某一样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。样本归属于多个类型中的某个类型。n样本（样本（Sample）Sample）：一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。n模式模式（Pattern）（Pattern）：对客体（研究对象）特征的描对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。
3、的某一样本的测量值的集合（或综合）。11n特征特征（Features）（Features）：能描述模式特性的量（测能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一量值）。在统计模式识别方法中，通常用一个矢量个矢量 表示，称之为特征矢量，记为表示，称之为特征矢量，记为 n模式类模式类（Class）（Class）：具有某些共同特性的模式的具有某些共同特性的模式的集合。集合。概念概念12模式识别的例子模式识别的例子计算机自动诊断疾病计算机自动诊断疾病:1.1.获取情况获取情况（信息采集信息采集）测量体温、血压、心率、测量体温、血压、心率、血液化验、血液化验、X X光透射、光透射、B B超
4、、心电图、超、心电图、CTCT等尽可等尽可能多的信息，并将这些信息数字化后输入电脑。能多的信息，并将这些信息数字化后输入电脑。当然在实际应用中要考虑采集的成本，这就是当然在实际应用中要考虑采集的成本，这就是说说特征要进行选择特征要进行选择的。的。2.2.运行在电脑中的运行在电脑中的专家系统专家系统或专用程序可以分析或专用程序可以分析这些数据并进行这些数据并进行分类分类，得出正常或不正常的判，得出正常或不正常的判断，不正常情况还要指出是什么问题。断，不正常情况还要指出是什么问题。13对象空间对象空间模式空间模式空间特征空间特征空间类型空间类型空间各类空间（各类空间（Space）Space）的概念
5、的概念模式采集：模式采集：从客观世界（对象从客观世界（对象空间）到模式空间的过程称为空间）到模式空间的过程称为模式采集。模式采集。特征提取和特征选择：由模式由模式空间到特征空间的变换和选择。空间到特征空间的变换和选择。类型判别：特征空间到类型空特征空间到类型空间所作的操作。间所作的操作。模模式式识识别别三三大大任任务务141.1 概述模式识别系统数据采集数据采集特征提取特征提取二次特征二次特征提取与选择提取与选择分类分类识别识别待识待识对象对象识别结果识别结果通常在采集信息过程中，还要去除所获取信息通常在采集信息过程中，还要去除所获取信息中的噪声，增强有用的信息等工作。这种使信息中的噪声，增强
6、有用的信息等工作。这种使信息纯化的处理过程叫做信息的纯化的处理过程叫做信息的预处理预处理。分类识别是根据事先确定的分类识别是根据事先确定的分类规则分类规则对前面选取对前面选取的特征进行的特征进行分类分类（即识别）。（即识别）。通常能描述对象的元素很多，为节约资源和提通常能描述对象的元素很多，为节约资源和提高处理速度，有时更为了可行性，在满足分类识高处理速度，有时更为了可行性，在满足分类识别正确率要求的条件下，按某种准则尽量选用对别正确率要求的条件下，按某种准则尽量选用对正确分类识别作用较大的特征。使得用较少的特正确分类识别作用较大的特征。使得用较少的特征就能完成分类识别任务。征就能完成分类识别
7、任务。预处理预处理这个环节的内容很广泛，与要解决的具这个环节的内容很广泛，与要解决的具体问题有关，例如，从体问题有关，例如，从图象图象中将中将汽车车牌汽车车牌的号码的号码识别识别出来，就需要先将出来，就需要先将车牌车牌从从图像图像中找出来，再中找出来，再对对车牌车牌进行进行划分划分，将每个，将每个数字数字分别分别划分划分开。做到开。做到这一步以后，才能对每个这一步以后，才能对每个数字数字进行进行识别识别。以上工。以上工作都应该在预处理阶段完成。作都应该在预处理阶段完成。数字化数字化比特流比特流151.1 概述模式识别系统数据采集数据采集特征提取特征提取二次特征二次特征提取与选择提取与选择分类分
8、类识别识别待识待识对象对象识别结果识别结果数据采集数据采集特征提取特征提取改进分类改进分类识别规则识别规则二次特征提二次特征提取与选择取与选择训练训练样本样本改进采集改进采集提取方法提取方法改进特征提改进特征提取与选择取与选择制定改进分制定改进分类识别规则类识别规则人工人工干预干预正确率正确率测试测试161.1 概述模式识别系统模式识别系统的主要环节：模式识别系统的主要环节：特征提取：符号表示，如长度、波形、。特征选择：选择有代表性的特征，能够正确分类选择有代表性的特征，能够正确分类学习和训练：学习和训练：利用已知样本建立分类和识别规则利用已知样本建立分类和识别规则分类识别：分类识别：对所获得
9、样本按建立的分类规则进行对所获得样本按建立的分类规则进行分类识别分类识别17纸币识别器对纸币按面额进行分类纸币识别器对纸币按面额进行分类 面额面额1.1 概述系统实例5元10元20元50元100元181.1 概述系统实例 长度长度（mm）（mm）宽度宽度（mm）（mm）5 5元元13613663631010元元14114170702020元元14614670705050元元1511517070100100元元1561567777191.1 概述系统实例磁性磁性金属条位置金属条位置（大约大约）5 5元元有有 54/8254/821010元元有有 54/8754/872020元元有有 57/895
10、7/895050元元有有 60/9160/91100100元元有有 63/9363/93205元 10元 20元 50元 100元12345678反反射射光光波波形形211.1 概述系统实例数据采集、特征提取：数据采集、特征提取：长度、宽度、磁性、磁性的位置，光反射亮度、光长度、宽度、磁性、磁性的位置，光反射亮度、光透射亮度等等透射亮度等等 特征选择：长度、磁性及位置、反射亮度长度、磁性及位置、反射亮度分类识别：确定纸币的面额及真伪确定纸币的面额及真伪221.1 概述系统实例训练集：训练集：是一个已知样本集，在监督学习方法是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。中，用它来开
11、发出模式分类器。测试集：在设计识别和分类系统时没有用过的在设计识别和分类系统时没有用过的独立样本集。独立样本集。系统评价原则：为了更好地对模式识别系统性为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。试集对系统进行测试。23例:汽车车牌识别n从摄像头获取包含车牌的彩色图象从摄像头获取包含车牌的彩色图象n车牌定位和获取车牌定位和获取n字符分割和识别字符分割和识别输入图象输入图象特征提取特征提取粗略定位粗略定位分割字符分割字符确定类型确定类型精细定位精细定位识别、输出识别、输出2425261.1 概述模式识别的基本方法一
12、、统计模式识别一、统计模式识别二、句法模式识别二、句法模式识别三、模糊模式识别三、模糊模式识别四、人工神经网络法四、人工神经网络法五、人工智能方法五、人工智能方法271.1 概述模式识别的基本方法一、统计模式识别一、统计模式识别模式描述方法：模式描述方法：特征向量特征向量 模式判定：模式判定：模式类用条件概率分布模式类用条件概率分布P（X/P（X/i i）表示表示,m,m类就有类就有m m个分布，然后判定未知模式属于哪一个分布。个分布，然后判定未知模式属于哪一个分布。281.1 概述模式识别的基本方法一、统计模式识别一、统计模式识别理论基础：理论基础：概率论，数理统计概率论，数理统计主要方法：
13、主要方法：线性、非线性分类、线性、非线性分类、BayesBayes决策、聚类分析决策、聚类分析主要优点：主要优点：1 1）比较成熟）比较成熟 2 2）能考虑干扰噪声等影响）能考虑干扰噪声等影响 3 3）识别模式基元能力强）识别模式基元能力强主要缺点：主要缺点：1 1）对结构复杂的模式抽取特征困难）对结构复杂的模式抽取特征困难2 2）不能反映模式的结构特征，难以描述模式的性质）不能反映模式的结构特征，难以描述模式的性质3 3）难以从整体角度考虑识别问题）难以从整体角度考虑识别问题291.1 概述模式识别的基本方法二、句法模式识别二、句法模式识别模式描述方法：符号串，树，图符号串，树，图模式判定：
14、是一种语言，用一个文法表示一个类，是一种语言，用一个文法表示一个类，m m类就类就有有m m个文法，然后判定未知模式遵循哪一个文法。个文法，然后判定未知模式遵循哪一个文法。30例例2 2：如下图中一幅图形，要识别图中的物体，：如下图中一幅图形，要识别图中的物体，选用句法模式识别方法选用句法模式识别方法.1.1 概述模式识别的基本方法31解：解：图形结构复杂，首先应分解为简单的子图图形结构复杂，首先应分解为简单的子图（背景、物体）。（背景、物体）。构成一个多级树结构：1.1 概述模式识别的基本方法32n在学习过程中，确定基元与基元之间的在学习过程中，确定基元与基元之间的关系，推断出生成景物的方法
15、。关系，推断出生成景物的方法。n判决过程中，首先提取基元，识别基元判决过程中，首先提取基元，识别基元之间的连接关系，使用推断的文法规则之间的连接关系，使用推断的文法规则做句法分析。若分析成立，则判断输入做句法分析。若分析成立，则判断输入的景物属于相应的类型。的景物属于相应的类型。1.1 概述模式识别的基本方法33理论基础：形式语言，自动机技术形式语言，自动机技术主要方法：自动机技术、自动机技术、CYKCYK剖析算法、剖析算法、EarlyEarly算法、转算法、转移图法移图法主要优点主要优点：1 1）识别方便，可以从简单的基元开始，由简至繁。）识别方便，可以从简单的基元开始，由简至繁。2 2）能
16、反映模式的结构特征，能描述模式的性质。）能反映模式的结构特征，能描述模式的性质。3 3）对图象畸变的抗干扰能力较强。）对图象畸变的抗干扰能力较强。当存在干扰及噪声时，抽取特征基元困难，且易失误。1.1 概述模式识别的基本方法341.1 概述模式识别的基本方法三、模糊模式识别三、模糊模式识别模式描述方法：模糊集合模糊集合 A=（A=（a a,a）,（,a）,（b b,b）,.,b）,.（n n,n）,n）模式判定：是一种集合运算。用隶属度将模糊集合划分是一种集合运算。用隶属度将模糊集合划分为若干子集，为若干子集，m m类就有类就有m m个子集，然后根据择近原个子集，然后根据择近原则分类。则分类。
17、35理论基础：模糊数学模糊数学主要方法：模糊统计法、二元对比排序法、推理法、模模糊统计法、二元对比排序法、推理法、模糊集运算规则、模糊矩阵糊集运算规则、模糊矩阵主要优点主要优点：由于隶属度函数作为样本与模板间相似程度的度量，由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体的与主体的特征，从而允许样本有故往往能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。相当程度的干扰与畸变。准确合理的隶属度函数往往难以建立，故限制了它的准确合理的隶属度函数往往难以建立，故限制了它的应用。应用。1.1 概述模式识别的基本方法361.1 概述模式识别的基本方法四、人工神经网络法四、人工
18、神经网络法模式描述方法：以不同活跃度表示的输入节点集（神经元）以不同活跃度表示的输入节点集（神经元）模式判定：是一个非线性动态系统。通过对样本的学习是一个非线性动态系统。通过对样本的学习建立起记忆，然后将未知模式判决为其最接近的建立起记忆，然后将未知模式判决为其最接近的记忆。记忆。37理论基础：神经生理学，心理学神经生理学，心理学主要方法：BPBP模型、模型、HOPHOP模型、高阶网模型、高阶网主要优点主要优点：可处理一些环境信息十分复杂，背景知识不清楚，推可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。允许样本有较大的缺损、畸变。理规则不明确的问题。模型在不断丰富与完善中，
19、目前能识别的模式类还不模型在不断丰富与完善中，目前能识别的模式类还不够多。够多。1.1 概述模式识别的基本方法381.1 概述模式识别的基本方法五、逻辑推理法（人工智能法）五、逻辑推理法（人工智能法）模式描述方法：字符串表示的事实字符串表示的事实模式判定：是一种布尔运算。从事实出发运用一系列规是一种布尔运算。从事实出发运用一系列规则，推理得到不同结果，则，推理得到不同结果，m m个类就有个类就有m m个结果。个结果。39理论基础：演绎逻辑，布尔代数演绎逻辑，布尔代数主要方法：产生式推理、语义网推理、框架推理产生式推理、语义网推理、框架推理主要优点主要优点：已建立了关于知识表示及组织，目标搜索及
20、匹配的完已建立了关于知识表示及组织，目标搜索及匹配的完整体系。对需要众多规则的推理达到识别目标确认的整体系。对需要众多规则的推理达到识别目标确认的问题，有很好的效果。问题，有很好的效果。当样本有缺损，背景不清晰，规则不明确甚至有歧义当样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好。时，效果不好。1.1 概述模式识别的基本方法401.1 概述模式识别的发展简史19291929年年 G.TauschekG.Tauschek发明阅读机发明阅读机 ，能够阅读，能够阅读0-90-9的数字。的数字。3030年代年代 FisherFisher提出统计分类理论，奠定了统提出统计分类理论，奠定了统计模
21、式识别的基础。计模式识别的基础。5050年代年代 Noam Chemsky Noam Chemsky 提出形式语言理论提出形式语言理论傅京荪提出句法傅京荪提出句法/结构模式识别。结构模式识别。6060年代年代 L.A.ZadehL.A.Zadeh提出了模糊集理论，模糊提出了模糊集理论，模糊模式识别方法得以发展和应用。模式识别方法得以发展和应用。411.1 概述模式识别的发展简史8080年代年代 以以HopfieldHopfield网、网、BPBP网为代表的神经网网为代表的神经网络模型导致人工神经元网络复活，并络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。在模式识别得到较广泛的应用
22、。9090年代年代 小样本学习理论，支持向量机也受到小样本学习理论，支持向量机也受到了很大的重视。了很大的重视。421.1 概述模式识别的应用（举例）n生物学生物学自动细胞学、染色体特性研究、遗传研究自动细胞学、染色体特性研究、遗传研究n天文学天文学天文望远镜图像分析、自动光谱学天文望远镜图像分析、自动光谱学n经济学经济学股票交易预测、企业行为分析股票交易预测、企业行为分析n医学医学心电图分析、脑电图分析、医学图像分析心电图分析、脑电图分析、医学图像分析431.1 概述主要实用系统举例n文字识别（文字识别（Character Recognition）OCR（Optical Character
23、Recognition）n智能交通（智能交通（Intelligent Traffic）车牌、车型。车牌、车型。n语音识别（语音识别（Speech recognition）翻译机，身份识别等翻译机，身份识别等n目标识别目标识别ATR（Automaic Target Recognition）44451.2 特征矢量和特征空间461.3 随机矢量的描述随机矢量：随机矢量：在模式识别过程中，要对许多具体对在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，对象
24、而言，各个特征分量都是随机变量，即许多对象的特征向量在即许多对象的特征向量在n n维空间中呈随维空间中呈随机性分布，称为随机矢量。机性分布，称为随机矢量。471.3 随机矢量的描述（一一）随机矢量的分布函数：随机矢量的分布函数：设设 为随机矢量，为随机矢量，为确定性矢量。为确定性矢量。随机矢量的联合概率分布函数定义为：式中式中 表示括号中事件同时发生的概率。表示括号中事件同时发生的概率。481.3 随机矢量的描述（一一）随机矢量的分布函数：随机矢量随机矢量 的联合概率密度函数定义为：的联合概率密度函数定义为：491.3 随机矢量的描述501.3 随机矢量的描述x xp（x）p（x）（1xp）（
25、2xp511.3 随机矢量的描述521.3 随机矢量的描述（二二）随机矢量的数字特征：随机矢量的数字特征：其中，其中，的分量：的分量：式中，式中，是是 的第的第 个分量的边缘个分量的边缘密度。随机矢量密度。随机矢量 的均值矢量的均值矢量 的各分的各分量是相应的各随机分量的均值。量是相应的各随机分量的均值。531.3 随机矢量的描述（二二）随机矢量的数字特征：条件期望条件期望在模式识别中，经常以类别在模式识别中，经常以类别 作为条件，在这作为条件，在这种情况下随机矢量种情况下随机矢量 的条件期望矢量定义为的条件期望矢量定义为541.3 随机矢量的描述随机矢量随机矢量 的自协方差矩阵表征各分量围绕
26、的自协方差矩阵表征各分量围绕其均值的散布情况及各分量间的相关关系，其均值的散布情况及各分量间的相关关系，其定义为：其定义为：（二二）随机矢量的数字特征：协方差矩阵协方差矩阵 551.3 随机矢量的描述561.3 随机矢量的描述571.3 随机矢量的描述（二二）随机矢量的数字特征：相关系数相关系数 由布尼亚科夫斯基不等式知由布尼亚科夫斯基不等式知:相关系数矩阵定义为相关系数矩阵定义为 :581.3 随机矢量的描述591.3 随机矢量的描述601.3 随机矢量的描述611.3 随机矢量的描述621.4 正态分布631.4 正态分布（1 1）一维随机变量的正态分布）一维随机变量的正态分布641.4
27、正态分布651.4 正态分布（2 2）随机矢量的正态分布）随机矢量的正态分布 正态分布随机矢量正态分布随机矢量 的概率密度函数定义为：的概率密度函数定义为：661.4 正态分布671.4 正态分布（2 2）二维随机变量的正态分布）二维随机变量的正态分布681.4 1.4 正态分布正态分布69范例范例木板木板图象图象512512d=3长度长度纹理纹理亮度亮度 c=2松木松木 桦木桦木维数维数无限无限有限有限/很大很大R有限有限d不大不大c总结：模式识别过程dR无限模式采集模式采集模式空间模式空间特征提取特征提取/选择选择类型空间类型空间分类分类特征空间特征空间客观世界客观世界待识别对待识别对象象
28、识别过程识别过程错误概率检测错误概率检测制定分类的制定分类的判决规则判决规则特征提取特征提取/选择选择方法校正方法校正学习过程学习过程采集方法校正采集方法校正已知对象已知对象预处理预处理701.试证明，对于正态分布，不相关与试证明，对于正态分布，不相关与独立是等价的。独立是等价的。2.试证明，多元正态随机矢量的线性试证明，多元正态随机矢量的线性变换仍为多元正态随机矢量。变换仍为多元正态随机矢量。3.试证明，多元正态随机矢量试证明，多元正态随机矢量X的分量的分量的线性组合是一正态随机变量。的线性组合是一正态随机变量。习题习题71模式识别主讲：电子科学与工程学院信息工程系电子科学与工程学院信息工程系72第二章第二章 聚类分析聚类分析 （Clustering Analysis）2.1 2.1 聚类分析的概念聚类分析的概念2.2 2.2 模式相似性测度模式相似性测度2.3 2.3 类的定义与类间距离类的定义与类间距离2.4 2.4 聚类的算法聚类的算法732.1 2.1 聚类分析的概念聚类分析的概念一、聚类分析的基本思想一、聚类分析的基本思想 相似的归为一类。相似的归为一类。模式相似性的度量和聚类算法。无监督分类无监督分类（Unsupervised）。二、特征量的类型二、特征量的类型 物理量物理量-（-（重量、长度、速度重量、长度、速度）次序量次序量
