勾配降下法 - じゆうちょう

勾配降下法

Gradient Descent; GD

関数$ f(x) の極小値を求める

$ x を勾配を利用して更新していく

勾配降下法のアルゴリズム

①: $ x の値を適当にとる

②: $ f'(x) を計算する

$ f'(x) : グラフの傾き

③: $ x を更新する

実定数$ \lambda>0 に対して$ x\larr (x-\lambda f'(x))

学習によって変化しないから

④: ②に戻る

成り立っているかを確認する

$ \lambda が十分小さい数のとき

$ f(x+\Delta x)\simeq f(x)+f'(x)\Delta x に$ \Delta x=-\lambda f'(x) を代入する

$ f(x-\lambda f'(x))\simeq f(x)-\lambda (f'(x))^2\leq f(x)