CNN-卷积神经网络介绍PPT课件下载推荐.pptx
- 文档编号:14680434
- 上传时间:2022-10-23
- 格式:PPTX
- 页数:65
- 大小:8.35MB
CNN-卷积神经网络介绍PPT课件下载推荐.pptx
《CNN-卷积神经网络介绍PPT课件下载推荐.pptx》由会员分享,可在线阅读,更多相关《CNN-卷积神经网络介绍PPT课件下载推荐.pptx(65页珍藏版)》请在冰豆网上搜索。
,动物和人的大脑如何识别图像,第二篇Cnn卷积神经网络,经典CNN结构图,计算机看到的图片,RGB三通道二维数组,CNN卷积神经网络,卷积神经网络是计算机视觉领域最有影响力的创造之一.,2012年是卷积神经网络崛起之年。
这一年,AlexKrizhevsky带着卷积神经网络参加了ImageNet竞赛(其重要程度相当于奥运会)并一鸣惊人,将识别错误率从26%降到了15%,。
从那开始,很多公司开始使用深度学习作为他们服务的核心。
CNN卷积神经网络识别图像的过程,卷积计算-矩阵相同位置相乘求和,卷积计算-矩阵相同位置相乘求和,卷积核的通道数,图像上做卷积的效果,卷积核是什么?
卷积核Kernel也叫滤波器filter,代表图像的某种特征;
也称为神经元。
比如垂直边缘,水平边缘,颜色,纹理等等,这些所有神经元加起来就好比就是整张图像的特征提取器集合。
卷积核越深越能检测图像更高级别,更高层次,更复杂,更抽象,更泛化的特征。
卷积计算为什么能检测图像的特征?
神经元激活放电,卷积计算本质就是相似度匹配,一样不一样。
不同的卷积核多角度检测图像特征,每一个卷积核代表提取不同的特征,多个卷积核提取的特征然后进行组合。
可视化卷积核,深度卷积核检测图像更高层次的特征,TechnologyProcedurePoliciesBenefits,图像卷积运算的结果,相似则输出一个明显变大的值,否则输出极小值。
图像卷积运算的结果,相似则输出一个明显变大的值,否则输出极小值。
全连接层-输出预测结果,图像特征图的“分布式特征表示”映射到样本标记空间。
在整个卷积神经网络中起到“分类器”的作用,全连接层-输出预测结果,隐含层输出的特征图,SoftMax,通过Softmax函数将多个标量映射为一个概率分布,输出分类结果的置信度。
第三篇Cnn卷积神经网络的训练,内容概述,训练什么?
怎么训练?
基础知识,训练的本质是什么?
训练什么?
训练输入的样本和分类对象是已定的,训练的深度(隐藏层的层数)和卷积核(神经元)的数量、卷积核的大小,都是训练前根据经验设定的。
如果训练参数设置不合理会导致过拟合或者欠拟合。
数据拟合,科学和工程问题可以通过诸如采样、实验等方法获得若干离散的数据,根据这些数据,我们往往希望得到一个连续的函数(也就是曲线)或者更加密集的离散方程与已知数据相吻合,这过程就叫做拟合(fitting).,拟合(fitting),数据拟合:
是指选择适当的曲线类型来拟合观测数据,并用拟合的曲线方程分析两变量间的关系。
是一种把现有数据透过数学方法来代入一条数式的表示方式。
区分两种不同的点,归纳-找到规律,演绎,拟合任意连续函数,万能近似定理Universalapproximationtheorem(Horniketal.,1989;
Cybenko,1989)已经在数学上证明了前馈神经网络,只需具备单层隐含层和有限个神经单元,就能以任意精度拟合任意复杂度的连续函数.,分类,拟合任意连续函数,非线性激活函数,拟合任意连续函数,对于sigmoid函数来说,w控制着的就是曲线的斜率,如果w特别大,那么就能够近似成为一个阶跃函数,而b则控制着到底在哪个位置开始进行阶跃,两个反向的阶跃函数的组合就能够组合成为一个小的冲击,于是我们有了这个东西之后就能够开始造世界了。
从科学方法论来看,归纳的基本要求是足够大、且覆盖全部时间空间维度的样本+科学的统计分析。
理论上归纳法不可能“完全正确”,但它是一个正的金字塔,它永远不会偏离事实太远。
现在主流的人工智能算法,是用计算机去对超大量数据进行复杂归纳。
拟合的本质=归纳,欠拟合&
过拟合,通俗对比:
欠拟合学得太少,分得太粗糙;
过拟合学得太多太细,拿着放大镜看世界,看到的都是差异看不到相同点。
激活函数,激活函数是用来加入非线性因素,解决线性模型所不能解决的问题。
激活函数的意义是“让神经网络具备强大的拟合能力”。
线性方程的复杂性有限,并且从数据中学习复杂函数映射的能力更小。
一个没有激活函数的神经网络只不过是一个线性回归模型。
从数学上来看,非线性的Sigmoid函数对中央区的信号增益较大,对两侧区的信号增益小,在信号的特征空间映射上,有很好的效果,通过对加权的输入进行非线性组合产生非线性决策边界.从神经科学上来看,中央区酷似神经元的兴奋态,两侧区酷似神经元的抑制态,因而在神经网络学习方面,可以将重点特征推向中央区,将非重点特征推向两侧区.,Sigmoid系(Logistic-Sigmoid、Tanh-Sigmoid),Relu函数,计算简单,导数简单,收敛快,单侧抑制,相对宽阔的兴奋边界,稀疏激活性;
缺点在于在训练的时候,网络很脆弱,很容易出现很多神经元值为0,从而再也训练不动。
神经元模型,神经元模型,y=f(ni=1wixi),激活函数sigmoid函数的表达式和分布图如下所示:
数据归一化,归一化就是把数据经过处理后使之限定在一定的范围内。
比如通常限制在区间0,1或者-1,1。
本质是一种线性变换。
归一化解决奇异样本数据问题,奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。
归一化的方法:
最大-最小标准化是对原始数据进行线性变换,设minA和maxA分别是属性A的最小值和最大值,将A的一个原始值通过最大-最小标准化映射到区间0,1的值,公式:
Z-score标准化是基于原始数据的均值和标准差进行的数据标准化。
将属性A的原始数据X通过Z-score标准化成。
Z-score标准化适用于属性A的最大值或者最小值未知的情况,或有超出取值范围的离散数据的情况,公式:
梯度下降法,想像你于伸手不见五指的黑夜身处一座地形复杂的山中。
你看不清山的全貌,只能根据重力感知立足之处的坡度。
如果想要下山,你该怎么做?
你根据此处的重力感觉,向下坡最陡的方向迈一步。
然后根据新位置的坡度,再向下坡最陡的方向迈出下一步。
如果来到一个位置,你感觉已经站在了平地上,再没有下坡的方向,你也就无从迈出下一步了。
此时你可能已经成功到达海拔最低的山底,但也有可能身处半山腰处一块平地或者一个盆地底部。
梯度下降法相关概念,仿射函数:
仿射函数是线性函数。
仿射函数的图形是空间中一个平面,函数可导:
若函数在某一点可导,则函数在这一点附近可用一个仿射函数很好地近似。
该仿射函数的图形(平面),就是函数在这一点的切平面。
梯度:
函数在某一点的梯度是一个自变量空间内的向量。
自变量顺着梯度方向变化时函数值上升得最快。
梯度的模(长度)是函数值上升的速率。
梯度朝某方向投影的长度是自变量顺着该方向变化时函数值的变化率。
梯度下降法,人工神经网络的训练主要采用梯度下降法。
其计算过程中采用误差反向传播的方式计算误差函数对全部权值和偏置值的梯度。
梯度下降法是一种基于函数一阶性质的优化算法。
该算法从任一点开始,沿该点梯度的反方向运动一段距离,再沿新位置的梯度反方向运行一段距离.如此迭代。
一直朝下坡最陡的方向运动,目标是找到到函数的全局最小点。
学习率,卷积(Conv)&
协相关(Cross-correlation),BP反向传播算法-反馈网络误差,BP的基本思想是通过计算输出层与期望值之间的误差来调整网络参数,从而使误差变小。
典型的三层神经网络的基本构成,LayerL1是输入层,LayerL2是隐含层,LayerL3是输出层。
BP反向传播算法-前向计算,神经元h1的输出o1:
(此处用到激活函数为sigmoid函数):
同理,可计算出神经元h2的输出o2:
计算输出层神经元o1和o2的值:
计算隐含层神经元h1和h2的值:
BP反向传播算法-反向传播,总误差:
计算梯度:
以权重参数w5为例,如果我们想知道w5对整体误差产生了多少影响,可以用整体误差对w5求偏导:
(链式法则),BP反向传播计算过程,计算:
最后三者相乘:
计算:
这样我们就计算出整体误差E(total)对w5的偏导值。
更新权值:
其中是学习速率,这里我们取0.5,BP反向传播计算过程,迭代更新权重:
误差反向传播法就完成了,最后我们再把更新的权值重新计算,不停地迭代,直到误差在要求的范围内.,cnn反向传播计算过程,本示例的神经网络结构:
传统的神经网络是全连接形式的,如果进行反向传播,只需要由下一层对前一层不断的求偏导,即求链式偏导就可以求出每一层的误差敏感项,然后求出权重和偏置项的梯度,即可更新权重。
而卷积神经网络有两个特殊的层:
卷积层和池化层。
池化层输出时不需要经过激活函数,是一个滑动窗口的最大值,一个常数,那么它的偏导是1。
池化层相当于对上层图片做了一个压缩,这个反向求误差敏感项时与传统的反向传播方式不同。
从卷积后的feature_map反向传播到前一层时,由于前向传播时是通过卷积核做卷积运算得到的feature_map,所以反向传播与传统的也不一样,需要更新卷积核的参数。
Cnn卷积层反向传播,计算第一个卷积层神经元o11的输入NetO11和输出Out011:
Neto11=conv(input,filter)=i11h11+i12h12+i21h21+i22h22=11+0
(1)+11+1
(1)=1Outo11=activators(neto11)=max(0,neto11)=1,以卷积核filter1为例(stride=1):
例子:
输入是一个4*4的image,经过两个2*2的卷积核进行卷积运算后,变成两个3*3的feature_map,Cnn卷积层反向传播,同样的方法,计算所有神经元的输入和输出:
(此处使用Relu激活函数),Outo11=activators(neto11)=max(0,neto11)Outo12=max(0,neto12)Outo13=max(0,neto13)Outo21=max(0,neto21)Outo22=max(0,neto22)Outo23=max(0,neto23)Outo31=max(0,neto31)Outo32=max(0,neto32)Outo33=max(0,neto33),neto11=i11h11+i12h12+i21h21+i22h22neto12=i12h11+i13h12+i22h21+i23h22neto13=i13h11+i14h12+i23h21+i24h22neto21=i21h11+i22h12+i31h21+i32h22neto22=i22h11+i23h12+i32h21+i33h22neto23=i23h11+i24h12+i33h21+i34h22neto31=i31h11+i32h12+i41h21+i42h22neto32=i32h11+i33h12+i42h21+i43h22neto33=i33h11+i34h12+i43h21+i44h22,示例:
计算池化层的输入和输出:
netm11=max(o11,o12,o21,o22)=1,outm11=netm11=1,Cnn卷积层反向传播,首先计算卷积的上一层的第一个元素i11的误差项11:
然后对输入元素i(i,j)求偏导:
同样的方计算其他
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CNN 卷积 神经网络 介绍