人工神经网络复习题.docx
- 文档编号:30474112
- 上传时间:2023-08-15
- 格式:DOCX
- 页数:39
- 大小:67.66KB
人工神经网络复习题.docx
《人工神经网络复习题.docx》由会员分享,可在线阅读,更多相关《人工神经网络复习题.docx(39页珍藏版)》请在冰豆网上搜索。
人工神经网络复习题
《神经网络原理》
一、填空题
1、从系统的看法讲,人工神经元网络是由大批神经元经过极其
丰富和完美的连结而构成的自适应、非线性、动力学系统。
2、神经网络的基本特征有拓扑性、学习惯和稳固收敛性。
3、神经网络按构造可分为前馈网络和反应网络,按性能可分为
失散型和连续型,按学习方式可分为有导师和无导师。
4、神经网络研究的发展大概经过了四个阶段。
5、网络稳固性指从t=0时辰初态开始,到t时辰后v(t+△t)=v(t),
(t>0),称网络稳固。
6、联想的形式有两种,它们分是自联想和异联想。
7、储存容量指网络稳固点的个数,提升储存容量的门路一是改
进网络的拓扑构造,二是改良学习方法。
8、非稳固吸引子有两种状态,一是有限环状态,二是混沌状态。
9、神经元分喜悦性神经元和克制性神经元。
10、汉明距离指两个向量中对应元素不同的个数。
二、简答题
1、人工神经元网络的特色
答:
(1)、信息散布储存和容错性。
(2)、大规模并行共同办理。
(3)、自学习、自组织和自适应。
(4)、人工神经元网络是大批的神经元的集体行为,表现为复杂
的非线性动力学特征。
(5)人式神经元网络拥有不合适高精度计算、学习算法和网络设计没有一致标准等限制性。
2、单个神经元的动作特色有哪些
答:
单个神经元的动作特色有:
(1)、空间相加性;
(2)、时间相
加性;(3)、阈值作用;(4)、不该期;(5)、可塑性;(6)疲惫。
3、如何描绘动力学系统
答:
对于失散时间系统,用一组一阶差分方程来描绘:
X(t+1)=F[X(t)];
对于连续时间系统,用一阶微分方程来描绘:
dU(t)/dt=F[U(t)]。
4、F(x)与x的关系以下列图,试述它们分别有几个均衡状态,能否
为稳固的均衡状态
F(X)F(X)
(1)
(2)
0abX0aX
答:
在图
(1)中,有两个均衡状态a、b,此中,在a点曲线斜率|F’(X)|>1,为非稳固安稳状态;在b点曲线斜率|F’(X)|<1,
为稳固安稳状态。
在图
(2)中,有一个安稳状态a,且在该点曲线斜率|F’(X)|>1,
为非稳固安稳状态。
5、对于单个神经元的失散模型,Hebb学习假定是什么,基本学
习方程是什么
答:
对于单个神经元的失散模型,Hebb学习假定是:
只有当神
经元喜悦时,与其连结的突触联合权才被增强而增大;当两个神
经元同时处于喜悦状态时,它们之间的连结权应当增强。
基本学习方程是:
wijwij(n1)wij(n)yixj
6、联想形式中的自联想和异联想有何差异
答:
自联想指的是由某种代表事物(或该事物的主要特色或可能
是部分主在特色)联想到其所表示的实质事物。
其数学模型为:
当输入X=X0+V时,输出Y=X0。
异联想指的是由某一事物(或
该事物的主要特色或可能是部分主在特色)联想到与其有关的另
一事物。
其数学模型为:
在映照X0→Y0下,当输入X=X0+V时,
输出Y=Y0。
7、网络的稳固吸引子和吸引子的吸引域分别指什么
答:
当t=0时,对网络输入模式x,网络处于状态v(0),到时辰t
网络达到状态v(t),若v(t)稳固,则称v(t)为网络的稳固吸引子。
吸引子的吸引域是指所有经过一准时间能够稳固在吸引子v(t)上
的所有初始状态的会合。
三、阐述题
1、前馈式神经元网络与反应式神经元网络有何不同
答:
(1)、前馈型神经元网络取连续或失散变量,一般不考虑输
出与输入在时间上的滞后效应,只表达输出与输入的映照关系。
反应式神经元网络能够用失散变量也能够用连续取值,考虑输出
与输入之间在时间上和延缓,需要用动向方程来描绘系统的模
型。
(2)、前馈型网络的学习主要采纳偏差修正法(如BP算法),计算过程一般比较慢,收敛速度也比较慢。
而反应型网络主要采纳
Hebb学习规则,一般状况下计算的收敛速度很快。
反应网络也有近似于前馈网络的应用,比如用作联想记忆或分
类,而在优化计算方面的应用更能显出反应网络的特色。
2、试述失散型Hopfield神经元网络的构造及工作原理。
(1)Hopfield神经元网络的构造以下:
①这种网络是一种单层网络,由n个单元构成。
②每个神精元既是输入单元,又是输出单元;各节点一般采纳相
同的转移函数,且为符号函数,即:
③x(x1,x2,,xn),x
n
1,1
y(y1,y2,,yn),y
n
1,1
v(t)(v1(t),v2(t),
vn(t)),v(t)
f1(x)f2(x)fn(x)sgn(x)
为网络的输入;
为网络的输出;
n
1,1为网络在时
刻t的状态,此中t∈{0,1,2,·}为失散时间变量。
④Wij为从Ni到Nj的连结权值,Hopfield网络为对称的即有Wij=Wji。
y1y2Yn-1yn
Wn-12
w21
V1(t)
N
N2
⋯
Nn-1
Nn
1
(t)
Vn(t)
V(t)
Vn-1
2
x1x2xn-1xn
(2)、工作原理:
①、网络经过训练后,能够以为网络处于等候工作状态,对网络
给定初始输入x时,网络就处于特定的初始状态,由此初始状态开始运转,能够获取网络的下一个输出状态。
②、这个输出状态经过反应回送到网络的输入端,作为网络下一个阶段的输入信号,这个输入信号可能与初始输入信号不同,由这个新的输入又可获取下一步的输出,这样重复。
③、假如网络是稳固的,经过若干次反应运转后网络将会达到稳态。
④、Hopfield网络的工作过程可用下式表示:
vj
(0)
xj
n
vj
(t
1)
fj(
wijvi
(t)
j
)
i1
研究生神经网络试题A卷参照答案
一、名词解说(共5题,每题5分,合计25分)
1、泛化能力
答:
泛化能力又称推行能力,是机器学习中权衡学习机性能利害的一个重要指标。
泛化能力主假如指经过训练获取的学习机对将来新加入的样本(即测试样本)数据进行正确展望的能力。
2、有监察学习
答:
有监察学习又被称为有导师学习,这种学习方式需要外界存在一个“教师”,她能够对一组给定输入供给给有的输出结果,学习系统可依据已知输出与实质输出之间的差值来调理系统参数。
3、过学习
答:
过学习(over-fitting),也叫过拟和。
在机器学习中,因为学习机器过于复杂,只管保证了分类精度很高(经验风险很小),但因为VC维太大,所以希望风险仍旧很高。
也就是说在某些状况下,训练偏差最小反而可能致使对测试样本的学习惯能不好,发生了这种状况我们称学习机(比方神经网络)发生了过学习问题。
典型的过学习是多层前向网络的BP算法
4、Hebb学习规则
答:
假如两个神经元同时喜悦(即同时被激活),则它们之间的突触连结增强。
如
果用vi、vj表示神经元i和j的激活值(输出),ij表示两个神经元之间的连结权,
则Hebb学习规则能够表示为:
wijvivj,这里表示学习速率。
Hebb
学习规则是人工神经网络学习的基本规则,几乎所有神经网络的学习规则都能够
看作Hebb学习规则的变形。
5、自学习、自组织与自适应性
答:
神经网络构造上的特色是办理单元的高度并行性与散布性,这种特色使神经网络在信息办理方面拥有信息的散布储存与并行计算并且储存与办理一体化的
特色。
而这些特色必定给神经网络带来较快的办理速度和较强的容错能力。
能力
方面的特色是神经网络的自学习、自组织与自性适应性。
自适应性是指一个系统能改变自己的性能以适应环境变化的能力,它包括自学习与自组织两层含义。
自学习是指当外界环境发生变化时,经过一段时间的训练或感知,神经网络能经过自动调整网络构造参数,使得对于给定输入能产生希望的输出。
自组织是指神经系统能在外面刺激下按必定规则调整神经元之间的突触连结,渐渐建立起神经网络。
也就是说自组织神经元的学习过程,完整部是一种自我学习的过程,不存在外面教师的示教。
二、问答题(共7题,每题8分,合计56分)
3、人工神经网络是模拟生物神经网络的产物,除同样点外,它们还存在哪些主要差异
答;1.单元上的差异对于生物神经元而言,影响突触传达信息强度的要素好多、很复杂。
如突触前微细胞的大小与多少、神经传达化学物质含量的多少、神经传达化学物质开释的速度、突触空隙的变化、树突的地点与大小等诸多要素都会对突触电位产生影响,从而影响神经元的输出脉冲响应。
而人工神经元则忽视了这些影响,输入、输出关系十分简单。
2.信息上的差异生物神经元传达的信息是脉冲,而人工神经元传达的信
息是模拟电压。
3.规模与智能上的差异目前,人工神经网络的规模还远小于生物神经网
络,网络中神经元的数目一般在104个以下,明显,其智能也没法与生物神经网
络对比。
4、感知器神经网络存在的主要缺点是什么
答:
1)因为感知器的激活函数采纳的是阀值函数,输出矢量只好取0或1,所以只好用它来解决简单的分类问题;
2)感知器仅能够线性地将输入矢量进行分类。
理论上已经证明,只需输人矢量是线性可分的,感知器在有限的时间内总能达到目标矢量;
3)感知器还有此外一个问题,当输入矢量中有一个数比其余数都大或小得好多时,可能致使较慢的收敛速度。
5、请比较前馈型神经网络与反应型神经网络的异同点。
(
8分)
答:
前馈型神经网络只表达输入输出之间的映照关系,实现非线性映照;反应型神经网络考虑输入输出之间在时间上的延缓,需要用动向方程来描绘,反应型神
经网络是一个非线性动力学系统。
(1)前馈型神经网络的学习训练主要采纳BP算法,计算过程和收敛速度比较慢;反应型神经网络的学习主要采纳Hebb规则,一般状况下计算的收敛速度很快,并且它与电子电路有明显的对应关系,使得网络易于用硬件实现。
(2)前馈型神经网络学习训练的目的是快速收敛,一般用偏差函数来判断其收敛程度;反应型神经网络的学习目的是快速找寻到稳固点,一般用能量函数来鉴别能否趋于稳固点。
(3)二者都有局部极小问题。
6、BP算法的基本思想是什么,它存在哪些不足之处(9分)
答:
BP算法(即反向流传法)的基本思想是:
学习过程由信号的正向流传与误
差的反向流传两个过程构成。
1)正向流传:
输入样本->输入层->各隐层(办理)->输出层
注1:
若输出层实质输出与希望输出(教师信号)不符,则转入2)(偏差反向流传过程)
2)偏差反向流传:
输出偏差(某种形式)->隐层(逐层)->输入层
其主要目的是经过将输出偏差反传,将偏差分摊给各层所有单元,从而获取各层单元的偏差信号,从而修正各单元的权值(其过程,是一个权值调整的过程)。
注2:
权值调整的过程,也就是网络的学习训练过程(学习也就是这么的由来,权值调整)。
固然BP算法获取宽泛的应用,但它也存在自己的限制与不足,其主要表此刻于它的训练过程的不确立上。
详细说明以下:
1)易形成局部极小(属贪心算法,局部最优)而得不到全局最优;
BP算法能够使网络权值收敛到一个解,但它其实不可以保证所求为偏差超平面
的全局最小解,很可能是一个局部极小解。
2)训练次数多使得学习效率低下,收敛速度慢(需做大批运算);
对于一些复杂的问题,BP算法可能要进行几小时甚至更长的时间的训练。
这主假如因为学习速率太小所造成的。
可采纳变化的学习速率或自适应的学习速
率来加以改良。
3)隐节点的选用缺少理论支持;
4)训练时学习新样本有忘记旧样本趋向
1、人工神经网络:
在对人脑神经网络基本认识的基础上,用数理方法从信息办理的角度对
人脑神经网络进行抽象,并成立某种简化模型,就称为人工神经网络。
2、自适应:
自适应性是指一个系统能改变自己的性能以适应环境变化的能力。
3、自学习:
当外界环境发生变化时,经过一段时间的训练或感知,神经网络能经过调整网
络构造参数,使得对给定输入能产生希望的输出。
4、自组织:
神经系统能在外面刺激下按必定规则调整神经元之间的突触连结,渐渐建立起
神经网络,这一建立过程称为网络的自组织。
5、泛化能力:
BP网络训练后将所提取的样本对中的非线性映照关系储存在权值矩阵中,
后来的工作阶段,当向网络输入训练时不曾见过的非样本数据时,网络也能达成由输入空间
向输出空间的正确映照。
在
6、模式:
模式是对某些感兴趣的客体的定量描绘或构造描绘,模式类是拥有某些共同特色的模式的会合
7、分类:
分类是在类型知识等导师信号的指导下,将待识其余输入模式分派到各自的模式类中去。
8、聚类:
无导师指导的分类称为聚类,聚类的目的是将相像的模式样本划归一类,而将不相像的分别开,其结果实现了模式样本的类内相像性和类间分别性。
9、死节点:
在训练过程中,某个节点从未获赛过且远离其余获胜节点,所以它们的权向量从未获取过调整。
10、网络吸引子:
若网络的状态X
f(WXT),则成称X为网络的吸引子。
11、人工神经网络发展阶段及标记:
可分为四个期间:
启发期间开始于
1890年对于人脑结
构与功能的研究,结束于
1969年Minsky和Papert第一版的《感知器》一书;低潮期间开始
于1969年,结束于1982
年Hopfield发布的有名的文章《神经网络和物理系统》
;中兴期间
开始于的打破性研究论文,
结束与1986年和领导的研究小组编写第一版的
《并行散布式办理》
一书。
高潮期间以
1987年首届国际神经网络学术会议为初步,快速在全球范围内掀起人
工神经网络的研究应用高潮。
12、神经网络的基本特色:
构造上的特色是办理单元的高度并行性与散布性,
这种特色使神
经网络在信息办理方面拥有信息的散布储存与并行计算、
储存与办理一体化的特色。
而这些
特色必定给神经网络带来较快的办理速度和较强的容错能力。
能力方面的特色是神经网络的
自学习、自组织和自适应性。
自适应性是指一个系统能改变自己的性能以适应环境变化的能
力,它包括自学习和自组织两层含义。
自学习是指当外界环境发生变化时,
经过一段时间的
训练或感知,神经网络能经过调整网络构造参数,
使得对给定输入能产生希望的输出。
自组
织是指神经系统能在外面刺激下按必定规则调整神经元之间的突触连结,
渐渐建立起神经网
络。
13、人脑神经元的基本构造与功能:
神经元在构造上由细胞体、树突、轴突和突触四部分组
成功能:
细胞体:
办理信息的功能
树突:
输入信息
轴突:
输出信息
突触:
传达信息的
节点
14、人脑信息传达过程:
神经
神经递质
神经递质释
递质与受体
电生理
电脉冲
产生
放
联合
反响
突触前突触空隙突触后
15、BP网络的主要能力是什么
答:
1、非线性映照能力2、泛化能力3、容错能力
16、BP算法的缺点及改良方案
BP算法的缺点
①易形成局部极小而得不到全局最优;
②训练次数多,使得学习效率低,收敛速度慢;
③隐节点的选用缺少理论指导;
④训练时学习新样本有忘记旧样本的趋向。
改良方案:
1增添动量项
2自适应调理学习率
3引入陡度因子
17、对输入、输出数据进行尺度变换的主要原由是什么
网络的各个输入数据经常拥有不同的物理意义和不同的量纲,如某输入重量在
0~1105
范围内变化,而另一输入重量则在0~1
10-5范围内变化。
尺度变换使所有重量都在
0~1或
-1~1之间变化,从而使网络训练一开始就给各输入重量以同样重要的地位;
BP网的神
经元均采纳Sigmoid转移函数,变换后可防备因净输入的绝对值过大而使神经元输出饱和,
既而使权值调整进入偏差曲面的平展区;
Sigmoid转移函数的输出在
0~1
或
-1~1
之间,
作为教师信号的希望输出数据如不进行变换办理,
必定使数值大的重量绝对偏差大,
数值小
的重量的绝对偏差小,网络训练时只针对输出的总偏差调整权值,
其结果是在总偏差中占份
额小的输出重量相对偏差较大,对输出重量进行尺度变换后这个问题可水到渠成。
18、BP网络初始值的设计的原则和方法
答:
原则:
使每个神经元一开始都工作在其转移函数变化最大的地点。
方法:
①使初始权值足够小;②使初始值为+1和-1的权值数相等。
应用中对隐层权值可采纳第一种方法,而对输出层可采纳第二种方法。
19、胜者为王学习规则的三个步骤。
①向量归一化第一将自组织网络中的目前输入模式
W(j
1,2,,m)所有进行归一化办理,获取
^
向量X和竞争层中各神经元对应的内星向量
X
j
^
^
和Wj(j1,2,,m)。
②找寻获胜神经元
当网络获取一个输入模式向量
X时,竞争层的
^
^
^
所有神经元对应的内星权向量
Wj(j
1,2,
m)均与X进行相像性比较,将与
X最相像的
^
^
^
内星权向量判为竞争获胜神经元,其权向量记为
Wj*。
丈量相像性的方法是对
Wj和X计算
^
^
min
^
^
欧式距离(或夹角余弦):
X
W
j
*
j
{X
Wj}(可增补)③网络输出与权值调
{1,2,
m}
整胜者为王竞争学习算法例定,获胜神经元输出为
1,其余输出为零。
20、SOM网权值初始化的原则和一般方法有哪些
答:
SOM网的权值一般初始化为较小的随机数,这样做的目的是使权向量充足分别在样本
空间。
但在某些应用中,样本整体上相对集中于高维空间的某个局部地区,
权向量的初始位
置却随机的分别于样本空间的广阔地区,
训练时必定是离整个样本群近来的权向量被不停调
整,并渐渐进入全体样本的中心地点,
而其余权向量因初始地点远离样本群而永久得不到调
整。
这样训练的结果可能使所有样本聚为一类。
解决这种问题的思路是尽量使权值的初始地点与输入样本的大概散布地区充足重合。
依据上述思路,一中简单易行的方法是从训练集中
随机抽取
m个输入样本作为初始权值,即:
W(j0)
Xkram
j
(1,2,
m)
式中,
kram是输入样本的次序随机数,
kram
{1,2,
P}
。
因为任何
Xk
ram必定是输入空间
某个模式类的成员,各个权向量按上式初始化后从训练一开始就分别靠近了输入空间的各模式类,占有了十分有益的“地形”。
此外一种可行的方法是先计算出全体样本的中心向量:
X1PXp
Pp1
在该中心向量基础上叠加小随机数作为权向量初始值,也可将权向量的初始地点确立在样本群中。
21、SOM网的限制性
①隐层神经元数目难以确立,所以隐层神经元常常未能充足利用,某些距离学习向量远的神经元不可以获胜,从而成为死节点;
②聚类网络的学习速率需要人为确立,学习停止常常需要人为控制,影响学习进度;
③隐层的聚类结果与初始权值有关。
22、正则化RBF网络与广义RBF网络的不同:
①径向基函数的个数M与样本的个数P不相等,且M经常远小于P。
②径向基函数的中心不再限制在数据点上,而是由训练算法确立。
③各径向基函数的扩展常数不再一致,其值由训练算法确立。
④输出函数的线性中包括阈值参数,用于赔偿基函数在样本集上的均匀值与目标值之间的差异。
23、BP网络与RBF网络的不同
①RBF网络只有一个隐层,而BP网络的隐层能够是一层也能够是多层的。
②BP网络的隐层和输出层其神经元模型是同样的;而RBF网络的隐层神经元和输出层神经元不单模型不同,并且在网络中起到的作用也不同样。
③RBF网络的隐层是非线性的,输出层是线性的。
但是,当用BP网络解决模式分类问题时,
它的隐层和输出层往常选为非线性的。
当用BP网络解决非线性回归问题时,往常选择线性输出层。
④RBF网络的基函数计算的是输入向量和中心的欧氏距离,而BP网络隐单元的激励函数计
算的是输入单元和连结权值间的内积。
⑤RBF网络使用局部指数衰减的非线性函数(如高斯函数)对非线性输入输出映照进行局部迫近。
BP网络的隐节点采纳输入模式与权向量的内积作为激活函数的自变量,而激活函
数则采纳Sigmoid函数或硬限幅函数,所以BP网络是对非线性映照的全局迫近。
RBF网络
最明显的特色是隐节点采纳输入模式与中心向量的距离(如欧式距离)作为函数的自变量,
并用径向基函数(如Gauss函数)作为激活函数。
径向基函数对于N维空间的的一此中心
点拥有径向对称性,并且神经元的输入离该中心越远,神经元的激活程度就越低。
隐层节点
的这个特征常被称为“局部特征”。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 复习题