由网友(她心似深海)分享简介：拟牛顿法是1种以牛顿法为根蒂根基设计的，求解非线性方程组或者持续的最劣化答题函数的0点或者极大、微小值的算法。当牛顿法中所要求计较的俗可比矩阵或者Hessian矩阵难以甚至难以估计时，拟牛顿法即可派上用场。搜刮极值取牛顿法不异, 拟牛顿法是用1个2次函数以类似方针函数. 的2阶泰勒睁开是此中, 暗示的梯度, 暗示Hessian矩...

拟牛顿法是一种以牛顿法为基础设计的，求解非线性方程组或连续的最优化问题函数的零点或极大、极小值的算法。当牛顿法中所要求计算的雅可比矩阵或Hessian矩阵难以甚至无法计算时，拟牛顿法便可派上用场。

搜索极值

与牛顿法相同, 拟牛顿法是用一个二次函数以近似目标函数. 的二阶泰勒展开是

其中, 表示的梯度, 表示Hessian矩阵的近似. 梯度可进一步近似为下列形式

令上式等于, 计算出Newton步长,

然后构造的近似满足

上式称作割线方程组. 但当是定义在多维空间上的函数时, 从该式计算将成为一个不定问题 (未知数个数比方程式个数多). 此时, 构造, 根据Newton步长更新当前解的处理需要回归到求解割线方程. 几乎不同的拟牛顿法就有不同的选择割线方程的方法. 而大多数的方法都假定具有对称性 (即满足). 另外, 下表所示的方法可用于求解; 在此, 于某些范数与尽量接近. 即对于某些正定矩阵, 以以下方式更新:

近似Hessian矩阵一般以单位矩阵等作为初期值. 最优化问题的解由根据近似所得的计算出的Newton步长更新得出.

以下为该算法的总结:

计算新一个迭代点下的梯度

令

利用, 直接近似Hessian矩阵的逆矩阵. 近似的方法如下表:

Method
DFP法
BFGS法
Broyden法
Broyden族
SR1法

与逆矩阵的关联

若是一个凸二次函数，且Hessian矩阵正定，我们总是希望由拟牛顿法生成的矩阵收敛于Hessian矩阵的逆。这是基于迭代值更新最小 (least-change update) 的拟牛顿法系列的一个实例。

实现

拟牛顿法是现在普遍使用的一种最优化算法, 存在多种编程语言的实现方法.