Метод Ньютона. В градиентном методе минимизации основой является идея локальной аппроксимации минимизируемой функции

В градиентном методе минимизации основой является идея локальной аппроксимации минимизируемой функции. Если функция дважды дифференцируема, то можно для поиска последовательных приближений использовать ее квадратичное приближение в точке .

.

При условии функция имеет единственную точку минимума.

,

которую можно принять в качестве последующего приближения, либо использовать для получения направления спуска . Суммируя сказанное, получим метод Ньютона

(5.8.1)

где величина , либо определяется из условия одномерной минимизации (5.4.8).

При условии минимизации сильно выпуклой функции, градиент которой удовлетворяет условию Липшица, для последовательности , генерируемой процессом (5.8.1) при условии (5.4.8), справедлива оценка (5.7.2). Если дополнительно матрица Гессе удовлетворяет условию Липшица, то последовательность , генерируемая процессом (2.8.3), сходится к квадратично.

Последнее свойство является следствием использования квадратичной модели для приближения минимизируемой функции. Подавляющее большинство эффективных методов минимизации гладких функций основано на использовании квадратичной модели для последующих приближений минимума, параметры которой оцениваются в процессе минимизации.