勾配降下法

勾配降下法

例え）

ある簡単な損失関数で、一つの買いに向かって徐々に値が小さくなるとき。

知ることができるのはある解を入力した時の損失関数の値と、その解における関数の傾きだけ。 損失関数の勾配を下る方向に降りていく、傾きが下に行く方向にしていき勾配が平らになった時、その場所が損失関数の最小値であると考え最適化する。

勾配降下法

誤差逆伝播法は勾配降下法の一種で、勾配（偏微分のベクトル）を使って最適な重みを見つける方法です。