深度学习介绍ppt课件PPT文档格式.ppt
- 文档编号:13200508
- 上传时间:2022-10-08
- 格式:PPT
- 页数:64
- 大小:8.62MB
深度学习介绍ppt课件PPT文档格式.ppt
《深度学习介绍ppt课件PPT文档格式.ppt》由会员分享,可在线阅读,更多相关《深度学习介绍ppt课件PPT文档格式.ppt(64页珍藏版)》请在冰豆网上搜索。
,1.3基本概念,5,深度学习(DeepLearning,DL):
人工神经网络:
是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。
这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。
深度神经网络:
包含多个隐含层的神经网络。
模型:
可以理解成算法和数据的合集。
模型训练:
利用模型的算法,使用深度神经网络进行权值的训练,最终得出一个最优解。
模型预测:
使用训练完成的模型进行预测,得出分类识别结果。
目录,深度学习概述深度学习常见场景深度学习常用算法介绍深度学习常用框架介绍TensorFlow入门深度学习未来和展望,6,2深度学习场景,7,当前深度学习使用的场景主要在无人驾驶,人脸识别,拍照购,智能客服,文字识别,语音识别,目标检测,图片分类等方面。
深度学习,无人驾驶,人脸识别,拍照购,智能客服,文字识别,目标检测,图像分类,语音识别,2.1深度学习场景-无人驾驶,8,无人驾驶:
深度学习利用其深层的神经网络,通过一定的算法能训练出一个识别率非常高的分类器,从而能够使环境感知部分高精度的完成,为驾驶决策模块提供正确的环境信息,保证无人驾驶正常的完成。
2.2深度学习场景-人脸识别,9,人脸识别:
人脸信息的识别,是对人脸的信息加以提取然后进行识别的办法,一个最重要的目标就是分辨不同人的信息,辨别身份。
面部识别的主要方式有:
几何结构、子空间局部特征以及深度学习。
安防领域,开户审核,考勤门禁,.,2.3深度学习场景-文字识别,10,文字识别:
基于深度学习的文字识别系统的实现方法,属于图像处理技术领域,将包含文字的图片进行预处理、切分、识别,重组成一段文本,从而实现图片到文本的转换。
涉及到图像预处理、图片切分、图片识别和文字重组。
审核,车牌识别,文档识别,.,2.4深度学习场景-图像识别,11,图片识别:
图像识别与人脸及文字识别类似,主要流程包括图像预处理,图像分割,图像特征提取和图像分类。
图像审核,拍照购,工业医疗检测,目标识别,.,2.5深度学习场景-语音识别,12,语音识别:
一个完整的语音识别系统可大致分为3部分:
语音特征提取、声学模型与模式匹配和语言模型与语言处理。
其中声学模型是识别系统的底层模型,并且是语音识别系统中最关键的一部分。
语音审核,语音转文字,语音控制,.,目录,深度学习概述深度学习常见场景深度学习常用算法介绍深度学习常用框架介绍TensorFlow入门深度学习未来和展望,13,3.1人工神经网络(ANN),14,人工神经网络(ArtificialNeuralNetworks)是一种模仿生物神经网络行为特征,进行分布式并行信息处理的算法数学模型。
这种网络依靠系统的复杂程度,通过调整内部大量节点(神经元)之间相互连接的权重,从而达到处理信息的目的。
3.1人工神经网络(ANN),15,神经网络,3.1人工神经网络(ANN),16,人工神经网络的重要概念:
1权值矩阵:
相当于神经网络的记忆!
在训练的过程中,动态调整和适应。
2激励函数:
3.1人工神经网络(ANN),17,人工神经网络的重要概念:
激励函数很重要,无论是对建立神经网络的模型,还是理解神经网络。
首先要了解,它有以下几个影响:
1如何能更好的求解目标函数的极值!
高等数学中求解函数极值的知识!
可微,单调!
2如何提升训练效率,让梯度的优化方法更稳定;
3权值的初始值,不影响训练结果!
3.1卷积神经网络(CNN),18,卷积神经网络(ConvolutionalNeuralNetworks/CNNs/ConvNets)与普通神经网络非常相似,它们都由具有可学习的权重和偏置常量(biases)的神经元组成。
每个神经元都接收一些输入,并做一些点积计算,输出是每个分类的分数,普通神经网络里的一些计算技巧到这里依旧适用。
与普通神经网络不同之处:
卷积神经网络默认输入是图像,可以让我们把特定的性质编码入网络结构,使是我们的前馈函数更加有效率,并减少了大量参数。
3.1卷积神经网络(CNN),19,卷积操作:
对图像(不同的数据窗口数据)和滤波矩阵(一组固定的权重:
因为每个神经元的权重固定,所以又可以看做一个恒定的滤波器filter)做内积(逐个元素相乘再求和)的操作就是所谓的卷积操作,也是卷积神经网络的名字来源。
3.1卷积神经网络(CNN),20,3.1卷积神经网络(CNN),21,3.1卷积神经网络(CNN),22,卷积层(Convolutionallayer),卷积神经网路中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法优化得到的。
卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网络能从低级特征中迭代提取更复杂的特征。
线性整流层(RectifiedLinearUnitslayer,ReLUlayer),这一层神经的激励函数(Activationfunction)使用线性整流(RectifiedLinearUnits,ReLU)f(x)=max(0,x)。
池化层(Poolinglayer),通常在卷积层之后会得到维度很大的特征,将特征切成几个区域,取其最大值或平均值,得到新的、维度较小的特征。
全连接层(Fully-Connectedlayer),把所有局部特征结合变成全局特征,用来计算最后每一类的得分。
3.1卷积神经网络(CNN),23,3.1卷积神经网络(CNN),24,在图像处理中,往往把图像表示为像素的向量,比如一个10001000的图像,可以表示为一个1000000的向量。
在上一节中提到的神经网络中,如果隐含层数目与输入层一样,即也是1000000时,那么输入层到隐含层的参数数据为10000001000000=1012,这样就太多了,基本没法训练。
所以图像处理要想练成神经网络大法,必先减少参数加快速度。
就跟辟邪剑谱似的,普通人练得很挫,一旦自宫后内力变强剑法变快,就变的很牛了。
3.1卷积神经网络(CNN),25,卷积神经网络有两种神器可以降低参数数目,第一种神器叫做局部感知。
在下方右图中,假如每个神经元只和1010个像素值相连,那么权值数据为1000000100个参数,减少为原来的万分之一。
而那1010个像素值对应的1010个参数,其实就相当于卷积操作。
3.1卷积神经网络(CNN),26,这样的话参数仍然过多,那么就启动第二级神器,即权值共享。
在上面的局部连接中,每个神经元都对应100个参数,一共1000000个神经元,如果这1000000个神经元的100个参数都是相等的,那么参数数目就变为100了。
怎么理解权值共享呢?
我们可以这100个参数(也就是卷积操作)看成是提取特征的方式,该方式与位置无关。
这其中隐含的原理则是:
图像的一部分的统计特性与其他部分是一样的。
这也意味着我们在这一部分学习的特征也能用在另一部分上,所以对于这个图像上的所有位置,我们都能使用同样的学习特征。
3.1卷积神经网络(CNN),27,上面所述只有100个参数时,表明只有1个100*100的卷积核,显然,特征提取是不充分的,我们可以添加多个卷积核,比如32个卷积核,可以学习32种特征。
在有多个卷积核时,如下图所示:
3.1卷积神经网络(CNN),28,池化,也称作下采样,可以实现降维。
常用有最大值池化和均值池化。
3.1卷积神经网络(CNN),29,全连接层:
连接所有的特征,将输出值送给分类器(如softmax分类器),最终得出识别结果。
3.2常见网络模型,30,LeNet,3.2常见网络模型,31,AlexNet,3.2常见网络模型,32,VGG16,3.2常见网络模型,33,GoogleNet(InceptionV4),3.2常见网络模型,34,比较,3.3其他深度学习算法,35,自动编码器(AutoEncoder)稀疏编码(SparseCoding)限制玻尔兹曼机(RBM),目录,深度学习概述深度学习常见场景深度学习常用算法介绍深度学习常用框架介绍TensorFlow入门深度学习未来和展望,36,4.1开源框架概述,37,深度学习研究的热潮持续高涨,各种开源深度学习框架也层出不穷,其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon等等。
下图是各个开源框架在GitHub上的数据统计(2017年初)。
4.1开源框架概述,38,Google、Microsoft、Facebook等巨头都参与了这场深度学习框架大战,此外,还有毕业于伯克利大学的贾扬清主导开发的Caffe,蒙特利尔大学LisaLab团队开发的Theano,以及其他个人或商业组织贡献的框架。
下表是主流深度学习框架在各个维度的评分。
4.2TensorFlow,39,TensorFlow最初是由研究人员和GoogleBrain团队针对机器学习和深度神经网络进行研究所开发的,目前开源之后可以在几乎各种领域适用。
TensorFlow灵活的架构可以部署在一个或多个CPU、GPU的台式以及服务器中,或者使用单一的API应用在移动设备中。
4.3Caffe,40,Caffe由加州大学伯克利的PHD贾扬清开发,全称ConvolutionalArchitectureforFastFeatureEmbedding,是一个清晰而高效的开源深度学习框架,目前由伯克利视觉学中心(BerkeleyVisionandLearningCenter,BVLC)进行维护。
(贾扬清曾就职于MSRA、NEC、GoogleBrain,他也是TensorFlow的作者之一,目前任职于FacebookFAIR实验室。
)Caffe2脸书(Facebook)出品,为生产环境设计,提供在各种平台(包括移动设备)的运行。
4.4Torch,41,Torch是一个有大量机器学习算法支持的科学计算框架,其诞生已经有十年之久,但是真正起势得益于Facebook开源了大量Torch的深度学习模块和扩展。
Torch另外一个特殊之处是采用了编程语言Lua(该语言曾被用来开发视频游戏)。
PyTorch是基于Torch的衍生,支持Python语言,实现了机器学习框架Torch在Python语言环境的执行。
4.5Theano,42,2008年诞生于蒙特利尔理工学院,Theano派生出了大量深度学习Python软件包,最著名的包括Blocks和Keras。
Theano的核心是一个数学表达式的编译器,它知道如何获取
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 介绍 ppt 课件