1、关于的关于的梯度法梯度法迭代计算步骤迭代计算步骤见教材。见教材。解：由由梯度的定义梯度的定义，该目标函数该目标函数的的梯度梯度为：为：例例2-A 已知已知一目标函数一目标函数为为，试求试求在点在点 的梯度的梯度。则则该该函数函数在在点点的梯度的梯度为为梯度法的终止条件梯度法的终止条件：梯度法的特点梯度法的特点：（1）（1）算法简单；算法简单；（2）前后两次迭代方向前后两次迭代方向正交正交，所以，所以搜索路线搜索路线是是呈直角锯齿形呈直角锯齿形；（3）开始搜索时，收敛速度较快，但当靠近开始搜索时，收敛速度较快，但当靠近极小点极小点附近，收敛速附近，收敛速度越来越慢，这是度越来越慢，这是梯度法梯度
2、法的较大缺点。的较大缺点。（2-41）2.4.4 牛顿法牛顿法 原始牛顿法原始牛顿法原始牛顿法原始牛顿法和和阻尼牛顿法阻尼牛顿法阻尼牛顿法阻尼牛顿法两种。两种。其其迭代过程迭代过程是在求目标函数是在求目标函数 的极小值时，的极小值时，先将它在点先将它在点 附近附近作泰勒展开作泰勒展开，并取，并取二次近似函数式二次近似函数式；然后求出这个二次函数的然后求出这个二次函数的极小点极小点，并以，并以该极小点该极小点作为原作为原目标函数的目标函数的极小点极小点X*的一次的一次近似解近似解近似解近似解；该算法的该算法的基本思路基本思路：它是以它是以二次函数二次函数来逼近来逼近原目标函数原目标函数。牛顿法牛
3、顿法牛顿法牛顿法也是一种也是一种解析法解析法，它是，它是梯度法梯度法的进一步发展。的进一步发展。该法的搜索方向的构造该法的搜索方向的构造：是根据是根据目标函数目标函数的的负梯度负梯度和和二阶偏导数二阶偏导数矩阵矩阵来构造的。来构造的。牛顿法分为牛顿法分为：若若此解此解不满足精度要求，则不满足精度要求，则可可以此近似解以此近似解作为下一次迭代的作为下一次迭代的初始点初始点，仿照上面的做法，求出仿照上面的做法，求出二次近似解二次近似解；照此迭代下去，直至所求出的照此迭代下去，直至所求出的近似极小点近似极小点满足精度要求。满足精度要求。现用现用二维问题二维问题来加以说明，来加以说明，将将目标函数目标
4、函数 在给定点在给定点 作作泰勒展开泰勒展开，并取，并取二次近似式二次近似式：（2-42）为求得为求得二次近似式二次近似式 的的极小点极小点 ，对上式求梯度，并令对上式求梯度，并令解之可解之可求得求得：式中式中:为为海森海森（Hessian）矩阵矩阵的逆矩阵。的逆矩阵。在一般情况下，在一般情况下，不一定是不一定是二次函数二次函数，则所求得的则所求得的极小点极小点 也不一定是也不一定是原目标函数原目标函数 的的真正极小点真正极小点。但由于在但由于在 点点附近，函数附近，函数 和和 是近似的，是近似的，因而因而 可作为可作为 的的近似极小点近似极小点。为为求得求得满足精度要求的满足精度要求的近似极
5、小点近似极小点，可将可将 作为下一次迭代的作为下一次迭代的起始点起始点 ，即得，即得（2-44）由上由上式式（2-44）可知，可知，牛顿法的搜索方向牛顿法的搜索方向牛顿法的搜索方向牛顿法的搜索方向为为（2-45）上式就是上式就是原始牛顿法的迭代公式原始牛顿法的迭代公式原始牛顿法的迭代公式原始牛顿法的迭代公式。上式中的上式中的搜索方向搜索方向称为称为牛顿方向牛顿方向，可可见见原原始始牛牛顿顿法法的的步步长长因因子子恒恒取取：，因因此此，原原始始牛牛顿顿法法是是一一种种定步长定步长的迭代过程。的迭代过程。牛顿算法牛顿算法牛顿算法牛顿算法对于对于二次函数二次函数是非常有效的，是非常有效的，迭代一步迭
6、代一步就可达到就可达到极值点极值点，而而这一步这一步根本不需要进行根本不需要进行一维搜索一维搜索。对于对于高次函数高次函数，只有当迭代靠近，只有当迭代靠近极值点极值点附近，附近，目标函数目标函数近似近似二次函二次函数数时，才会保证时，才会保证很快收敛很快收敛，否则也可能导致算法失败。，否则也可能导致算法失败。为了克服这一缺点，便将为了克服这一缺点，便将迭代公式迭代公式（2-44）修改为：修改为：（2-46）上式为上式为修正牛顿法修正牛顿法的迭代公式的迭代公式。式中，式中，步长因子步长因子 又称又称阻尼因子阻尼因子。修正牛顿法的修正牛顿法的修正牛顿法的修正牛顿法的迭代步骤迭代步骤迭代步骤迭代步骤
7、详见教材。详见教材。是在克服了是在克服了梯度法收敛慢梯度法收敛慢梯度法收敛慢梯度法收敛慢 和和牛顿法计算量大牛顿法计算量大牛顿法计算量大牛顿法计算量大 的的缺点缺点基础上而发展起来的基础上而发展起来的一种最有效的解析法一种最有效的解析法。现已得到广泛应用。利用利用牛顿法的迭代形式牛顿法的迭代形式，但并不直接计算但并不直接计算 ，而是用一个而是用一个对称正定矩阵对称正定矩阵 近似地代替近似地代替 。它在它在迭代过程中迭代过程中不断地改进，最后逼近不断地改进，最后逼近 。这种算法这种算法，省去了，省去了海森矩阵海森矩阵的计算和求逆，的计算和求逆，使之使之计算量计算量大为减少，大为减少，并且还保持了
8、并且还保持了牛顿法牛顿法牛顿法牛顿法收敛快的优点。收敛快的优点。变尺度法变尺度法变尺度法变尺度法：在在变尺度法变尺度法 中，较为常用的有：中，较为常用的有：变尺度法变尺度法变尺度法变尺度法特点特点特点特点：DFP变尺度法变尺度法 BFGS变尺度法变尺度法。变尺度法变尺度法变尺度法变尺度法基本思想基本思想基本思想基本思想：2.4.5 变尺度法变尺度法1.DFP变尺度法变尺度法 DFPDFP变尺度法变尺度法变尺度法变尺度法是最为常用的一种是最为常用的一种变尺度算法变尺度算法。该算法的迭代公式该算法的迭代公式该算法的迭代公式该算法的迭代公式为：（2-47）式中式中:变尺度矩阵变尺度矩阵，是一，是一n
9、n阶阶对称正定矩阵对称正定矩阵，在迭代过程中在迭代过程中,它是它是逐次形成逐次形成并并不断修正不断修正，即从一次迭代到另一次迭代是变化的，故称即从一次迭代到另一次迭代是变化的，故称变尺度矩阵变尺度矩阵。由由式式（2-47），不难看出：不难看出：当当 （单位矩阵）时：（单位矩阵）时：式式（2-47）变为变为梯度法的迭代公式梯度法的迭代公式梯度法的迭代公式梯度法的迭代公式；当当 时：时：式式（2-47）就变为就变为牛顿法的迭代公式牛顿法的迭代公式牛顿法的迭代公式牛顿法的迭代公式。由此可见，由此可见，梯度法梯度法梯度法梯度法和和牛顿法牛顿法牛顿法牛顿法可以看作可以看作变尺度法变尺度法的一种的一种特例
10、特例。变尺度矩阵变尺度矩阵可用下式迭代下式迭代：式中，式中，称作称作校正矩阵校正矩阵，在在DFP变尺度法变尺度法中中它它可用可用下式下式来计算：来计算：第第 k 次迭代中前后迭代点的次迭代中前后迭代点的向量差向量差；前后迭代点的前后迭代点的梯度向量差梯度向量差。迭代开始迭代开始（k0）规定规定：。（2-55）（2-54）式式（2-55）称为称为DFPDFP公式公式公式公式，由，由该式该式该式该式可以看出，可以看出，变尺度矩阵变尺度矩阵 的确定的确定取决于取决于在第在第 k 次迭代中的次迭代中的下列信息下列信息：不仅不需求不仅不需求海森矩阵海森矩阵 及其及其求逆矩阵求逆矩阵的计算，的计算，而且保
11、持了而且保持了牛顿法收敛速度快牛顿法收敛速度快和和梯度法计算简单梯度法计算简单的优点。的优点。上次的变尺度矩阵上次的变尺度矩阵 ，迭代点的向量差迭代点的向量差 和迭代点的梯度向量差和迭代点的梯度向量差 。利用利用上式上式求得的求得的校正矩阵校正矩阵代入代入式式（2-54），可得到可得到变尺度矩阵的变尺度矩阵的变尺度矩阵的变尺度矩阵的DFPDFP递推公式递推公式递推公式递推公式：（2-56）上式上式常称常称DFP公式公式。通过通过式式（2-47）可可确定确定新的搜索方向新的搜索方向 ，进行，进行第第k+1次迭代次迭代的一维搜索。的一维搜索。因此，因此，DFPDFP变尺度法：变尺度法：DFPDFP
12、变尺度法的迭代步骤变尺度法的迭代步骤变尺度法的迭代步骤变尺度法的迭代步骤为：（1）给定给定初始点和收敛精度初始点和收敛精度，维数维数n；（2）计算计算梯度，取梯度，取A（0）=I（单位矩阵单位矩阵），置置k=0=0，（3）构造构造搜索方向搜索方向（4）沿沿 方向进行方向进行一维搜索一维搜索，求，求最优步长最优步长 ，使，使得到得到新迭代点新迭代点（5）计算计算 ，进行进行收敛判断收敛判断：若若 ，则令，则令 ，停止迭代，停止迭代，输出输出最优解；最优解；否则，转下一步否则，转下一步（6）；（6）检查检查迭代次数，若迭代次数，若k=n，则令则令 ，并转入，并转入步骤步骤（2）；若若k n，则转则
13、转下步下步（7）；DFPDFP变尺度法的计算框图变尺度法的计算框图变尺度法的计算框图变尺度法的计算框图，见见图图2-32。并令并令 ，转，转步骤步骤（3）。（7）计算计算：构造构造新的新的变尺度矩阵变尺度矩阵和和搜索方向搜索方向：图图2-32 DFP变尺度法变尺度法 的计算框图的计算框图2.BFGS 变尺度法变尺度法计算实践计算实践表明：表明：由于由于DFP变尺度法变尺度法在计算在计算变尺度矩阵变尺度矩阵的公式中，的公式中，其分母其分母含有近含有近似矩阵似矩阵 A（k），使之计算中容易引起，使之计算中容易引起数值不稳定数值不稳定，甚至有可能得到，甚至有可能得到奇异矩阵奇异矩阵A（k）。BFGS
14、变尺度法变尺度法与与DFP变尺度法变尺度法的的迭代步骤迭代步骤相同，不同之点，只相同，不同之点，只是是校正矩阵校正矩阵的计算公式不一样。的计算公式不一样。BFGS变尺度法变尺度法的变尺度矩阵的变尺度矩阵迭代公式迭代公式仍为仍为（2-57）为了克服为了克服DFPDFP变尺度法变尺度法变尺度法变尺度法计算稳定性不够理想的缺点，计算稳定性不够理想的缺点，Broydon 等人在等人在 DFPDFP法法法法 的基础上的基础上提出了提出了另一种变尺度法另一种变尺度法 称为称为BFGSBFGS变变变变尺度法尺度法尺度法尺度法。但其中的但其中的校正矩阵校正矩阵校正矩阵校正矩阵的的的的计算公式计算公式计算公式计算公式为为（2-58）上式中上式中，所使用的基本变量，所使用的基本变量、与与DFP变尺度法变尺度法相相同。同。由上式可见，由上式可见，BFGSBFGS变尺度法的变尺度法的变尺度法的变尺度法的校正矩阵校正矩阵校正矩阵校正矩阵 的分母中不再含有的分母中不再含有近似矩阵近似矩阵 。BFGSBFGS法法法法 与与 DFPDFP法法法法具有相同性质，具有相同性质，这两种方法这两种方法都是使每次迭代中目标函数值减少，都是使每
