Градиентный метод

Метод спуска, в котором направление , называется методом градиентного спуска. В этом методе для решения задачи (5.4.1) последовательные приближения строятся по формуле:

(5.7.1)

начиная из некоторой начальной точки (заданной) , а параметры определяются из условий одномерной минимизации (5.4.8). К методу (5.7.1) можно прийти, основываясь на приближении функции в точке линейной моделью (5.4.4), отыскивая решение вспомогательной задачи:

.

При минимизации сильно выпуклых функций, градиент которых удовлетворяет условию Липшица, согласно оценкам (5.5.1)-(5.5.2), сходимость к точке минимума последовательности , генерируемой процессом (5.7.1), определяется неравенством:

. (5.7.2)

Процедура минимизации (5.7.1) редко применяется на практике вследствие медленной сходимости. Она служит моделью для более эффективных методов.