1、人工智能导论河南工业大学 人工智能导论班 级： 自动化0901班 姓 名： 张继文 学 号： 200948280103 完成日期： 2012年6月4日 一、BP神经网络的简要介绍 一、BP神经网络的提出；在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。BP网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而
2、无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。（如图5.2）2、BP神经网络的基本算法；BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一
3、个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。具体步骤如下；1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3、计算网络实际输出与期望输出的误差。4、将误差逐层反向回
4、传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。5、対训练集中每一个输入输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。 （1）节点输出模型 隐节点输出模型：Oj=f(WijXi-qj) (1) 输出节点输出模型：Yk=f(TjkOj-qk) (2) f-非线形作用函数；q -神经单元阈值。 （2）作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数： f(x)=1
5、/(1+e) （3） （3）误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： Ep=1/2(tpi-Opi) (4) tpi- i节点的期望输出值；Opi-i节点计算输出值。 （4）自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为Wij(n+1)= h iOj+aWij(n) （5） h -学习因子；i-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因子。三、BP神经网络的优缺点；1、BP神经网络的优点：1) 非线性映射能
6、力：BP神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内部机制复杂的问题，即BP神经网络具有较强的非线性映射能力。2) 自学习和自适应能力：BP神经网络在训练时，能够通过学习自动提取输出、输出数据间的“合理规则”，并自适应的将学习内容记忆于网络的权值中。即BP神经网络具有高度自学习和自适应的能力。3) 泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网络在保证对所需分类对象进行正确分类，还要关心网络在经过训练后，能否对未见过的模式或有噪声污染的模式，进行正确的分类。也即BP神经网络具有将学习成果应用
7、于新知识的能力。4) 容错能力：BP神经网络在其局部的或者部分的神经元受到破坏后对全局的训练结果不会造成很大的影响，也就是说即使系统在受到局部损伤时还是可以正常工作的。即BP神经网络具有一定的容错能力。2、BP神经网络的缺点；虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。1) 局部极小化问题：从数学角度看，传统的 BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。加上BP神经网络对初始网络权重非常敏感，以不同的权重初
8、始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。2) BP 神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；BP神经网络模型中，为了使网络执行BP算法，不能使用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法也会引起算法低效。以上种种，导致了BP神经网络算法收敛速度慢的现象。3) BP 神经
9、网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。4) 应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。5) BP神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下
10、，训练能力差时，预测能力也差，并且一定程度上，随着训练能力地提高，预测能力会得到提高。但这种趋势不是固定的，其有一个极限，当达到此极限时，随着训练能力的提高，预测能力反而会下降，也即出现所谓“过拟合”现象。出现该现象的原因是网络学习了过多的样本细节导致，学习出的模型已不能反映样本内含的规律，所以如何把握好学习的度，解决网络预测能力和训练能力间矛盾问题也是BP神经网络的重要研究内容。6） BP神经网络样本依赖性问题：网络模型的逼近和推广能力与学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。二、支持向量机的应用 一、支持向量机介绍支持向量机是由Vapnik领导的A
11、T&TBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较艰涩，这些研究一直没有得到充分的重视。直到90年代，统计学习理论 (Statistical Learning Theory，SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等，使得SVM迅速发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等
12、其他机器学习问题中。从此迅速的发展起来，现在已经在许多领域(生物信息学，文本和手写识别等)都取得了成功的应用。 支持向量机原理；支持向量机是从数据分类问题的研究中发展起来的，它实质上是统计学习理论在实际应用中的一种实现方法，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，而且可以推广应用到函数估计等其他机器学习问题中。3、支持向量机核心思想 支持向量机实现是通过某种事先选择的非线性映射（核函数）将输入向量映射到一个高维特征空间，在这个空间中构造最优分类超平面。我们使用使用SVM进行数据集分类工作的过程首先是通过预先选定的一些非线性映射将输入空间映射到高维特征空间（如下图使得在高维
13、属性空间中有可能对训练数据实现超平面的分割，避免了在原输入空间中进行非线性曲面分割计算。SVM数据集形成的分类函数具有这样的性质：它是一组以支持向量为参数的非线性函数的线性组合，因此分类函数的表达式仅和支持向量的数量有关，而独立于空间的维度。在处理高维输入空间的分类时，这种方法尤其有效。其工作原理如下图数据挖掘分类技术介绍数据挖掘是机器学习、数据库和统计学三者相结合的产物。数据挖掘首先要确定挖掘的任务或目的，确定了挖掘任务后，就要决定使用什么样的挖掘算法，选择了算法后就可以实施数据挖掘操作，获取有用的模式。分类作为数据挖掘中一项非常重要的任务,目前在商业上应用最多（比如分析型CRM里面的客户分
14、类模型，客户流失模型，客户盈利等等，其本质属于分类问题）。分类的目的是学会一个分类函数或分类模型(也常常称作分类器),该模型能把数据库中的数据项映射到给定类别中的某一个，从而可以用于预测。目前，分类方法的研究成果较多，判别方法的好坏可以从三个方面进行：1）预测准确度（对非样本数据的判别准确度）；2）计算复杂度（方法实现时对时间和空间的复杂度）；3)模式的简洁度（在同样效果情况下，希望决策树小或规则少）。近年来，对数据挖掘中分类算法的研究是该领域中一个热点，对不同分类方法都有许多对比研究成果。没有一个分类方法在对所有数据集上进行分类学习均是最优的。目前在数据挖掘软件中运用的最早也是最多的分类算法
15、是神经网络，它具有对非线性数据快速建模的能力，通过对训练集的反复学习来调节自身的网络结构和连接权值，并对未知的数据进行分类和预测。但是由于神经网络是基于经验最小化原理，它有如下几个固有的缺陷：1）结构复杂（神经元的结构，还有输入层，隐含层，输出层组合起来的复杂结构）2）容易陷入局部极小3)容易出现过学习问题，也就是训练出来的模型推广能力不强为了克服传统神经网络的以上缺点，Vapnik提出了一种新的基于统计学习理论的机器学习算法支持向量机，正式奠定了SVM的理论基础，由于SVM扎实的理论基础，其目前已经成为继神经网络之后的的机器学习领域研究热点之一。三、支持向量机在数据挖掘中的应用鉴于支持向量机
16、扎实的理论基础，并且和传统的学习算法想比较（比如人工神经网络），SVM通过提高数据的维度把非线性分类问题转换成线性分类问题，较好解决了传统算法中训练集误差最小而测试集误差仍较大的问题，算法的效率和精度都比较高。所以近年来该方法成为构造数据挖掘分类器的一项新型技术，在分类和回归模型中得到了很好的应用。但由于支持向量机出现的时间在90年代中期，人们对支持向量机的应用主要集中在模式识别方面，对于将支持向量机应用于数据挖掘的研究刚处于起步阶段。目前，用SVM构造数据挖掘中的分类器来处理海量数据主要面临以下两个困难：(1)SVM算法对大规模训练样本难以实施由于SVM是借助二次规划来求解支持向量，而求解二
17、次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法(2)用SVM解决多分类问题存在困难经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算
18、法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器四、考虑一点商业智能中应用支持向量机是基于统计学习理论的新一代学习机器，具有很多吸引人的特点，它在函数表达能力、推广能力和学习效率上都要优于传统的人工神经网络，在实际应用中也解决了许多问题，但由于SVM的出现比较晚，还处于发展阶段，尤其是其算法实现方面存在着效率低下的问题，这也是限制SVM很好地应用于数据挖掘中的一个瓶颈。可以考虑对传统支持向量机进行扩展，实现多分类支持向量机。可以考虑运用于现在的客户智能系统当中，现有客户智能系统采用的分类技术都是传统的数据挖掘技术：比如神经网络，决策树，回归分析等等。
19、根据最后的图，大家可以看到现在的分析型CRM的整个功能和技术架构，如果把这种新兴的数据挖掘技术-支持向量机，运用于商业智能，相信是种不错的尝试 支持向量机作为刚刚兴起的一种机器学习方法，由于它具有精度高、速度快、自适应能力强、不受高维维数限制等优点，越来越受到各个研究领域的关注。但的研究热潮才刚刚兴起，还有许多亟待解决的问题和难点：一是方法在选择核函数时，没有很好的方法指导，而核函数的选择好坏又很大地影响了的性能；二是惩罚系数的确定；三是训练和检测的规模和速度等。 总之，在理论上的突出优势，会促进它在各个领域的应用研究，其中在工业控制中的应用值得特别重视和加强，若把的优势在工业控制中（如过程控
20、制、优化和诊断等）体现出来，将会对整个工业控制的水平提高产生很好的效果。 三、遗传算法的应用 遗传算法（Genetic Algorithm）是一类借鉴生物界的进化规律演化而来的随机化搜索方法。它是由美国的J.Holland教授1975年首先提出，其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。遗传算法的这些性质，已被人们广泛地应用于组合优化、机器学习、信号处理、自适应控制和人工生命等领域。它是现代有关智能计算中的关键技术。 与人工神经网络类似，
21、遗传算法模型也是从生物学领域获得启发的。从进化的自然选择理论中得到的启发，模仿这样一个选择进化适者生存的演化过程。如同这里有一个兔子部落，在这里生长、繁衍、死亡，在大自然的残酷法则下，它们必须面临来自肉食动物的捕食、有限食物资源和配偶的竞争以及饥饿灾荒和疾病的挑战，并非所有的兔子都能够顺利成熟并繁衍的。假设一种大耳朵的兔子更适合于应对这些外部环境的挑战，于是慢慢地他们繁衍的数量就会比小耳朵的要多得多。而一对兔子夫妇的后代继承了它们的基因后，会继承和加强大耳朵这一特征。这样在自然的选择下，兔子的耳朵就会越来越长。这个过程相当于这个兔子部落具有对环境适应的学习能力，学习如何增长自己的耳朵。 遗传算
22、法正是在模仿这种遗传选择和自然淘汰生物进化过程的基础上发展起来的，它对于复杂问题寻找最优解特别适用。如著名的旅行推销员问题：一个推销员希望设计一个送货车的路线计划，送货车需要送到许多商店，商店的先后顺序并不重要，主要是如何确定路线使得总里程最节省。人们已经发现这个问题没有常规的解决策略。然而，通过模拟一大批智能车，开始每辆车都随机地选择行驶路径，通过比较他们完成任务所必须的里程数的长短进行类似自然淘汰的过程（短的在竞争中胜出），然后从这些竞争中胜出的车辆中随机地选择配对，混合他们的路径选择产生新一代的车辆，这样新生代车辆中含有上一代车辆双方的部分特征，那些产生的后代比自己还短的车辆配偶被保留下
23、来，这样慢慢地车辆会变得越来越聪明，选择的路径也越来越优化。 由于遗传算法的整体搜索策略和优化搜索方法在计算是不依赖于梯度信息或其它辅助知识，而只需要影响搜索方向的目标函数和相应的适应度函数，所以遗传算法提供了一种求解复杂系统问题的通用框架，它不依赖于问题的具体领域，对问题的种类有很强的鲁棒性，所以广泛应用于许多科学，下面我们将介绍遗传算法的一些主要应用领域： （2）函数优化函数优化是遗传算法的经典应用领域，也是对遗传算法进行性能评价的常用算例。很多人构造出了各种各样的复杂形式的测试函数。有连续函数也有离散函数，有凸函数也有凹函数，有低维函数也有高维函数，有确定函数也有随机函数，有单峰值函数也
24、有多峰值函数等。用这些几何特性各具特色的函数来评价遗传算法的性能，更能反映算法的本质效果而对于一些非线性、多模型、多目标的函数优化问题，用其他优化方法较难求解。而遗传算法却可以方便地得到较好的结果。 2.组合优化 随着问题规模的增大，组合优化问题的搜索空间也急剧扩大。有时在目前的计算机上用枚举法很难或不可能求出其精确最优解。对这类复杂问题，人们已意识到应把主要精力放在寻求其满意解上，而遗传算法是寻求这种满意解的最佳工具之一。实践证明，遗传算法已经在求解旅行商问题、背包问题、装箱问题、布局优化、图形划分问题等各种具有NP难度的问题得到成功的应用。3.生产调度问题生产调度问题在很多情况下建立起来的
25、数学模难以精确求解，即使经过一些简化之后可以进行求解.也会因简化得太多而使得求解结果与实际相差甚远。目前在现实生产中主要是靠一些经验来进行调度。现在遗传算法已成为解决复杂调度问题的有效下具。在单件生产车间调度、流水线生产间调度、生产规划、任务分配等方面遗传算法都得到了有效的应用。4.自动控制在自动控制领域中有很多与优化相关的问题需要求解。遗传算法已在其中得到了初步的应用，并显示出良好的效果。例如用遗传算法进行航空控制系统的优化、使用遗传算法设计空间交会控制器、基于遗传算法的模糊控制器的优化设计、基于遗传算法的参数辨识、基于遗传算法的模糊控制规则的学习、利用遗传算法进行人工神经网络的结构优化设计
26、和权值学习等。都显出了遗传算法在这此领域中应用的可能性。5. 机器人学机器人是一类复杂的难以精确建模的人工系统，而遗传算法的起源就来自于人工自适应系统的研究。所以，机器人学理所当然地成为遗传算法的一个重要应用领域。例如，遗传算法已经在移动机器人路径规划、关节机器人运动轨迹规划、机器人逆运动学求解、细胞机器人的结构优化和行为协调等方而得到研究和应用。 6. 图像处理图像处理是计算机视觉中的一个重要研究领域。在图像处理过程中，如扫描、特征提取、图像分割等不可避免地会存在一此误差，从而影响图像的效果。如何使这些误差最小是使计算机视觉达到实用化的重要要求。遗传算法在这些图像处理中的优化计算方面找到了用
27、武之地。目前已在模式识别(包括汉字识别)、图像恢复、图像边缘特征提取等方而得到了应用。7. 人工生命人下生命是用计算机、机械等人下媒体模拟或构造出的具有自然生物系统特有行为的人造系统。自组织能力和自学习能力是人下生命的两大主要特征。人下生命与遗传算法有着密切的关系。基于遗传算法的进化模型是研究人下生命现象的重要基础理论。虽然人下生命的研究尚处于启蒙阶段，但遗传算法已在其进化模型、学习模型、行为模型、自组织模型等方面显示出了初步的应用能力，并且必将得到更为深入的应用和发展。人工生命与遗传算法相辅相成，遗传算法为人下生命的研究提供一个有效的下具，人下生命的研究也必将促进遗传算法的进一步发展。8.遗
28、传编程1989年，美国Standford大学的Koza教授发展了遗传编程的概念,其基木思想是:采用树型结构表示计算机程序,运用遗传算法的思想,通过自动生成计算机程序来解决问题。虽然遗传编程的理论尚米成热,应用也有一此限制,但它已成功地应用于人工智能、机器学习等领域。目前公开的遗传编程实验系统有十多个。例如，Koza开发的ADF系统，While开发的GPELST系统等。9. 机器学习学习能力是高级自适应系统所具备的能力之一，基于遗传算法的机器学习，特别是分类器系统，在很多领域中都得到了应用。例如，遗传算法被用于学习模糊控制规则，利用遗传算法来学习隶属度函数，从而更好地改进了模糊系统的性能；基于遗
29、传算法的机器学习可用来调整人工神经网络的连接权，也可用于人工神经网络结构优化设计；分类器系统也在学习式多机器人路径规划系统中得到了成功的应用。10.数据挖掘。Sunil已成功地开发了一个基于遗传算法的数据挖掘下具。利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验，结果表明遗传算法是进行数据挖掘的有效方法之一。四、介绍群智能理论的内容 群智能(Swarm Intelligence，SI)的概念最早由Beni，Hackwood和Wang在分子自动机系统中提出。分子自动机中的主体在一维或二维网格空间中与相邻个体相互作用从而实现自组织。1999年，Bonabeau，Dorigo和Theraula
30、z在(Swarm Inte11igence：From Natural to Artificial Systems)t21对群智能进行了详细的论述和分析给出了群智能的一种不严格定义：任何一种由昆虫体或其它动物社会行为机制而激发设计出的算法或分布式解决问题的策略均属于群智能。这里Swa咖可被描述为一些相互作用相邻个体的集合体，蜂群、蚁群、鸟群都是Swa哪的典型例子。一只蜜蜂或蚂蚁的行为能力非常有限它几乎不可能独立存在于自然世界中，而多个蜜蜂或蚂蚁形成的Swarm 则具有非常强的生存能力，且这种能力不是多个个体之间的能力通过简单叠加所获得的。社会性动物群体所拥有的这种特性能帮助个体很好地适应环境，个
31、体所能获得的信息远比它通过自身感觉器官所取得的多，其根本原因在于个体之间存在着信息交互能力。信息的交互过程不仅仅在群体内传播了信息，而且群内个体还能处理信息，并根据所获得的信息(包括环境信息和附近其它个体的信息)改变自身的一些行为模式和规范。这样就使得群体涌现出一些单个个体所不具备的能力和特性尤其是对环境的适应能力 这种对环境变化所具有的适应能力可以被认为是一种智能也就是说动物个体通过聚集成群而涌现出了智能 因此，Bonabeau将SI的定义进一步推广为：无智能或简单智能的主体通过任何形式的聚集协同而表现出智能行为的特性 这里我们关心的不是个体之间的竞争而是它们之间的协同目前尽管群智能理论还非
32、常不成熟但它已成为有别于传统人工智能中连接主义、行为主义和符号主义的一种新的关于智能的描述方法并成为人工智能领域的新研究热点 2003年IEEE第一届国际群智能研讨会在美国印第安纳州首府召开以后将每年举办一次群智能国际研讨会。 群智能思想起源：群智能思想的产生主要源于复杂适应系统理论以及人工生命的研究复杂适应系统(Complex Adaptive System，CAS)理论是在1994年由Ho11and教授正式提出的f31。CAS中成员称为具有适应性的主体，简称主体。主体的适应性，是指它能够与环境以及其它主体进行交流在这种交流的过程中“学习”或“积累经验”。并且根据学到的经验改变自身的结构和行为方式。整个系统的演变或进化，包括新层次的产生分化和多样性的出现新的、聚合而成的、更大的主体的出现等等都是在这个基础上出现的。CAS具有四个基本特点：(1)首先，主体是主动的、活的实体。具有适应性的主体的概念把个体主动
