ミニバッチ学習
すべてのデータを一気に使わずに、いくつかのデータを選んでまとめて入力にする
それぞれの勾配を計算し、パラメータの更新をする
一つ一つのデータを入れてパラメータを更新するわけではなく。
順々に取り出していき、一応すべてのデータを当たるのか
https://tutorials.chainer.org/ja/_images/13_14.png
この図の$ N_b一つ一つが一つのバッチ。
この$ N_b一つをまとめて入力にし、$ N_b個のの目的関数の値の平均に対して各パラメータを更新する
このサンプル数$ N_bのことを「バッチサイズ」と呼ぶ
ミニバッチ
一回の計算に使うデータセットのこと
ミニバッチサイズ
一回の学習のために使うデータのサンプル数のこと
32~256の値を取ることが多い
バッチ学習
データを分割せずにデータ全体を一度に用いて一回の更新をする学習の仕方
参考