確率的勾配降下法
Stochastic Gradient Descent; SGD 確率的勾配降下法のアルゴリズム
①パラメータWの値を適当にとる
②正解付きの入力データの集合からミニバッチをランダムに選ぶ
いくつかのサンプル
③入力データそれぞれに対して予測値を計算する
④パラメータ$ W を更新する
実定数$ \lambda\gt0 に対して$ W\larr \left(W-\lambda \frac{\partial E}{\partial W}\right)
⑤②に戻る
勾配降下法とは違い、ループごとに異なるデータを利用する いくつかのデータをランダムに選んで行う学習法
全てのデータを一度に用いて行う学習