勾配法って?
#2025/6/7 #重要&緊急
あぁ!
cf. https://gihyo.jp/dev/serial/01/machine-learning/0016
あるグラフの極小値を考える
グラフを左か右に動き,最小点に辿りきたい
グラフ全体は把握不可
傾きを手がかりにする
単純な比例の関係を仮定?
傾きが大きいと最小から遠い
小さいと近い
比例定数をおく
傾きを求めれば最小の点に近いか判断可能
傾きが負なら左,正なら右という感じで移動
最小を通り越す心配がない
ある点からある点までの距離を,ある点の値 - 比例定数*傾きで求める
ここまで2次元で考えている
多次元の場合を考える
次元ごとに偏微分すればよい
それぞれで傾きを求め最小の点に近づく
各次元の偏微分の結果をまとめたのが勾配
傾きのまとまり
最小値までの距離の行列が勾配ベクトル
問題もある
局所解に引っかかる
計算のコストが高い
次
確率的勾配降下法