バッチサイズが大きすぎると accuracy が下がる問題がある。

レイヤーごとの重みノルムと、gradient update のノルムの日が問題になる。

バッチサイズが大きすぎると学習が不安定になる。（パラメータ更新の数が減る）

バッチサイズが小さすぎると学習が停滞する（局所解に陥りやすくなる。バッチのスコアの分散が大きくなる）

これらの問題は、learning_rate のスケジューリングによって解決する場合もある

参考