勾配法 - main-custard

勾配法

関連: 勾配法って?

勾配を頼りに最適化を目指す手法

機械学習では概ね勾配降下法

関数の値を減らし,徐々に最小値を目指す

ある地点で勾配を計算

少し先で勾配を計算

勾配の方向に移動

変数の値を減らしていくことで実現

変数 = パラメータ

勾配降下法の更新式を見るとよく分かる

更新の程度は学習率で決まる

局所最適解に引っかからないような設定が必要

なぜ適切な学習率の設定が必要なのか理論から考える

一旦置いて次に行く

この関連書籍ならいくらでも読めそう

これなら分かる最適化数学: 基礎原理から計算手法までを読もう

分からない部分は適宜勉強する