バッチ正規化
各
層
で
活性化関数
をかける前に
標準化
することを
バッチ正規化
という
正規化
ではないことに注意
asRagi.icon
キレそう
勾配消失問題
を軽減できる．
計算
が
高速
になる
学習率
を大きくすることができる
RNN
には適用できない
レイヤー正規化
データ
ごとに全チャネルをまとめて
正規化
インスタンス正規化
データ
ごとに各
チャネル
をまとめて
正規化
グループ正規化
データ
ごとに複数の
チャネル
をまとめて正規化