数据挖掘ppt课件.ppt
- 文档编号:153226
- 上传时间:2022-10-04
- 格式:PPT
- 页数:178
- 大小:3.58MB
数据挖掘ppt课件.ppt
《数据挖掘ppt课件.ppt》由会员分享,可在线阅读,更多相关《数据挖掘ppt课件.ppt(178页珍藏版)》请在冰豆网上搜索。
数据挖掘数据挖掘自动化前沿自动化前沿自动化前沿自动化前沿第四讲数据挖掘技术及其应用第四讲数据挖掘技术及其应用主要内容主要内容主要内容主要内容数据挖掘概述数据挖掘概述数据预处理数据预处理数据挖掘算法分类与预测数据挖掘算法分类与预测数据挖掘算法聚类数据挖掘算法聚类数据挖掘算法关联分析数据挖掘算法关联分析序列模式挖掘序列模式挖掘数据挖掘软件数据挖掘软件数据挖掘应用数据挖掘应用一、数据挖掘概述一、数据挖掘概述一、数据挖掘概述一、数据挖掘概述数据挖掘概念数据挖掘概念数据挖掘概念数据挖掘概念数据挖掘数据挖掘-从大量数据中寻找其规律的技从大量数据中寻找其规律的技术,是统计学、数据库技术和人工智能技术,是统计学、数据库技术和人工智能技术的综合。
术的综合。
数据挖掘是从数据中自动地抽取模式、关联、变数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构化、异常和有意义的结构;数据挖掘大部分的价值在于利用数据挖掘技术改数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型善预测模型。
数据挖掘与数据挖掘与数据挖掘与数据挖掘与KDDKDD数据挖掘与数据挖掘与数据挖掘与数据挖掘与KDDKDD知识发现(知识发现(知识发现(知识发现(KDKD)输出的是规则输出的是规则输出的是规则输出的是规则数据挖掘(数据挖掘(数据挖掘(数据挖掘(DMDM)输出的是模型输出的是模型输出的是模型输出的是模型共同点共同点共同点共同点两种方法输入的都是学习集(两种方法输入的都是学习集(两种方法输入的都是学习集(两种方法输入的都是学习集(learningsetslearningsets)目的都是尽可能多的自动化数据挖掘过程目的都是尽可能多的自动化数据挖掘过程目的都是尽可能多的自动化数据挖掘过程目的都是尽可能多的自动化数据挖掘过程数据挖掘过程并不能完全自动化,只能半自动化数据挖掘过程并不能完全自动化,只能半自动化数据挖掘过程并不能完全自动化,只能半自动化数据挖掘过程并不能完全自动化,只能半自动化数据挖掘的社会需求数据挖掘的社会需求数据挖掘的社会需求数据挖掘的社会需求国民经济和社会的信息化社会信息化后,社会的运转是软件的运转社会信息化后,社会的运转是软件的运转社会信息化后,社会的历史是数据的历史社会信息化后,社会的历史是数据的历史数据挖掘的社会需求数据挖掘的社会需求数据挖掘的社会需求数据挖掘的社会需求数据挖掘数据挖掘数据库越来越大数据库越来越大有价值的知识有价值的知识可怕的数据可怕的数据数据挖掘的社会需求数据挖掘的社会需求数据挖掘的社会需求数据挖掘的社会需求据爆炸,知乏数识贫据爆炸,知乏数识贫苦恼:
淹没在数据中;不能制定合适的决策!
据数据数知识知识决策决策模式模式趋势趋势事实事实关系关系模型模型关联规则关联规则序列序列目标市场目标市场资金分配资金分配贸易选择贸易选择在哪儿做广告在哪儿做广告销售的地理位置销售的地理位置金融金融经济经济政府政府POS.人口统计人口统计生命周期生命周期数据挖掘的发展数据挖掘的发展数据挖掘的发展数据挖掘的发展1989IJCAI:
据中的知会议数库识发现讨论专题KnowledgeDiscoveryinDatabases(G.Piatetsky-ShapiroandW.Frawley,1991)1991-1994KDD讨论专题AdvancesinKnowledgeDiscoveryandDataMining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy,1996)1995-1998KDD国际会议(KDD95-98)JournalofDataMiningandKnowledgeDiscovery(1997)1998ACMSIGKDD,SIGKDD1999-2002会议,以及SIGKDDExplorations据掘方面更多的数挖国际会议PAKDD,PKDD,SIAM-DataMining,(IEEE)ICDM,DaWaK,SPIE-DM,etc.数据挖掘技术数据挖掘技术数据挖掘技术数据挖掘技术技分术类预言(Predication):
用历史预测未来描述(Description):
了解数据中潜在的规律据掘技数挖术关联分析序列模式分类(预言)聚集异常检测异常检测异常检测异常检测异常检测异常检测是数据挖掘中一个重要方面,用来发现异常检测是数据挖掘中一个重要方面,用来发现”小的模小的模式式”(相对于聚类相对于聚类),即数据集中间显著不同于其它数据,即数据集中间显著不同于其它数据的对象。
的对象。
异常探测应用异常探测应用电信和信用卡欺骗电信和信用卡欺骗电信和信用卡欺骗电信和信用卡欺骗贷款审批贷款审批贷款审批贷款审批药物研究药物研究药物研究药物研究气象预报气象预报气象预报气象预报金融领域金融领域金融领域金融领域客户分类客户分类客户分类客户分类网络入侵检测网络入侵检测网络入侵检测网络入侵检测故障检测与诊断等故障检测与诊断等故障检测与诊断等故障检测与诊断等什么是异常(什么是异常(什么是异常(什么是异常(outlieroutlier)?
)?
)?
)?
Hawkins(1980)Hawkins(1980)给出了异常的本质性的定义:
给出了异常的本质性的定义:
异常是在异常是在数据集中与众不同的数据,使人怀疑这些数据并非随机数据集中与众不同的数据,使人怀疑这些数据并非随机偏差,而是产生于完全不同的机制。
偏差,而是产生于完全不同的机制。
聚类算法对异常的定义:
聚类算法对异常的定义:
异常是聚类嵌于其中的背景噪异常是聚类嵌于其中的背景噪声。
声。
异常检测算法对异常的定义:
异常检测算法对异常的定义:
异常是既不属于聚类也不异常是既不属于聚类也不属于背景噪声的点。
他们的行为与正常的行为有很大不属于背景噪声的点。
他们的行为与正常的行为有很大不同。
同。
异常检测方法的分类异常检测方法的分类异常检测方法的分类异常检测方法的分类基于统计(基于统计(statistical-based)statistical-based)的方法的方法基于距离基于距离(distance-based)(distance-based)的方法的方法基于偏差基于偏差(deviation-based)(deviation-based)的方法的方法基于密度基于密度(density-based)(density-based)的方法的方法高维数据的异常探测高维数据的异常探测数据挖掘系统的特征数据挖掘系统的特征数据挖掘系统的特征数据挖掘系统的特征据的特征数据的特征数知的特征识知的特征识算法的特征算法的特征矿山(数据)挖掘工具(算法)金子(知识)数据的特征数据的特征数据的特征数据的特征大容量大容量POSPOS数据(某个超市每天要处理高达数据(某个超市每天要处理高达20002000万笔万笔交易)交易)卫星图象(卫星图象(NASANASA的地球观测卫星以每小时的地球观测卫星以每小时50GB50GB的速度发回数据)的速度发回数据)互联网数据互联网数据含噪音(不完全、不正确)含噪音(不完全、不正确)据(多据型混合的据源,异质数种数类数来据(多据型混合的据源,异质数种数类数来自互的据是典型的例子)联网数自互的据是典型的例子)联网数系统的特征系统的特征系统的特征系统的特征知系需要一前理程识发现统个处过知系需要一前理程识发现统个处过数据抽取数据抽取数据清洗数据清洗数据选择数据选择数据转换数据转换知系是一自识发现统个动知系是一自识发现统个动/半自程动过半自程动过知系要有很好的性能识发现统知系要有很好的性能识发现统知识(模式)的特征知识(模式)的特征知识(模式)的特征知识(模式)的特征知系能什知?
识发现统够发现么识知系能什知?
识发现统够发现么识计算学习理论计算学习理论COLTCOLT(ComputationalLearningComputationalLearningTheoryTheory)以以FOLFOL为基础的以发现关系为目的的归纳逻辑程序设为基础的以发现关系为目的的归纳逻辑程序设计计行的知系只能特定模式的知现识发现统发现识行的知系只能特定模式的知现识发现统发现识规则规则分类分类关联关联知识表示:
规则知识表示:
规则知识表示:
规则知识表示:
规则IFIF件条件条THENTHEN结论结论件和的粒度(抽象度)可以有多条结论种件和的粒度(抽象度)可以有多条结论种单值单值区间区间模糊值模糊值可以有确信度规则可以有确信度规则精确规则精确规则概率规则概率规则知识表示:
分类树知识表示:
分类树知识表示:
分类树知识表示:
分类树分类条件1分类条件2分类条件3类1类2类3类4数据挖掘算法的特征数据挖掘算法的特征数据挖掘算法的特征数据挖掘算法的特征成据掘算法的三要素构数挖成据掘算法的三要素构数挖模式记述语言:
反映了算法可以发现什么样的知模式记述语言:
反映了算法可以发现什么样的知识识模式评价:
反映了什么样的模式可以称为知识模式评价:
反映了什么样的模式可以称为知识模式探索:
包括针对某一特定模式对参数空间的模式探索:
包括针对某一特定模式对参数空间的探索和对模式空间的探索探索和对模式空间的探索数据挖掘的主要方法数据挖掘的主要方法数据挖掘的主要方法数据挖掘的主要方法分(类分(类ClassificationClassification)聚类聚类(Clustering)(Clustering)相关规则相关规则(AssociationRule)(AssociationRule)回归回归(Regression)(Regression)其他其他数据挖掘系统数据挖掘系统数据挖掘系统数据挖掘系统代代特征特征数据挖掘算法数据挖掘算法集成集成分布计算分布计算模型模型数据模型数据模型第一代第一代数据挖掘作为数据挖掘作为一个独立的应一个独立的应用用支持一个或者支持一个或者多个算法多个算法独立的系独立的系统统单个机单个机器器向量数据向量数据第二代第二代和数据库以及和数据库以及数据仓库集成数据仓库集成多个算法:
能够多个算法:
能够挖掘一次不能放挖掘一次不能放进内存的数据进内存的数据数据管理系数据管理系统,包括数统,包括数据库和数据据库和数据仓库仓库同质同质/局部区局部区域的计域的计算机群算机群集集有些系统支有些系统支持对象、文持对象、文本、和连续本、和连续的媒体数据的媒体数据第三代第三代和预言模型和预言模型系统集成系统集成多个算法多个算法数据管理和数据管理和预言模型系预言模型系统统intranet/extranet网网络计算络计算支持半结构支持半结构化数据和化数据和webweb数据数据第四代第四代和移动数据和移动数据/各种计算数各种计算数据联合据联合多个算法多个算法数据管理、数据管理、预言模型、预言模型、移动系统移动系统移动和各移动和各种计算设种计算设备备普遍存在普遍存在的计算模的计算模型型数据挖掘系统数据挖掘系统数据挖掘系统数据挖掘系统第一代数据挖掘系统第一代数据挖掘系统第一代数据挖掘系统第一代数据挖掘系统支持一个或少数几个数据挖掘算法,这些算法设计用支持一个或少数几个数据挖掘算法,这些算法设计用支持一个或少数几个数据挖掘算法,这些算法设计用支持一个或少数几个数据挖掘算法,这些算法设计用来挖掘向量数据(来挖掘向量数据(来挖掘向量数据(来挖掘向量数据(vector-valueddatavector-valueddatavector-valueddatavector-valueddata),这些数),这些数),这些数),这些数据模型在挖掘时候,一般一次性调进内存进行处理。
据模型在挖掘时候,一般一次性调进内存进行处理。
据模型在挖掘时候,一般一次性调进内存进行处理。
据模型在挖掘时候,一般一次性调进内存进行处理。
许多这样的系统已经商业化。
许多这样的系统已经商业化。
许多这样的系统已经商业化。
许多这样的系统已经商业化。
第二代数据挖掘系统第二代数据挖掘系统第二代数据挖掘系统第二代数据挖掘系统
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 挖掘 ppt 课件