Batch (Re)Normalization, Layer Normalization
https://mlexplained.com/2018/11/30/an-overview-of-normalization-methods-in-deep-learning/
BN
,
LN
など
normalization
関係のまとめ。
Batch Normalization
は
バッチサイズ
小やnon
i.i.d.
の状況では学習時と推論時の差が縮まらないので、そういう状況では
Batch Renormalization
という選択肢がある。
Layer Normalization
は
再帰
計算で嬉しい。
https://twitter.com/cute_na_piglets/status/1154282106488365056?s=20