SGD
from Neural Network
stochastic gradient descent
確率的勾配降下法
ミニバッチ学習を用いた勾配降下法のこと
勾配降下法の課題を解決する
ミニバッチ学習を用いることで計算量が減る
また、少ないサンプルをランダムに選ぶことで、勾配が更新される向きが毎回変わる
ので、極小値から抜けることが期待できる
つまり、ミニバッチ学習を用いずに全データで一気に学習すると、勾配を更新する向きが一方向に決定されてしまうので、それが間違っていた場合、絶対に最適解にたどり着けないことがある
https://tutorials.chainer.org/ja/13_Basics_of_Neural_Networks.html#目的関数の最適化