Normalization

https://scrapbox.io/files/65af2e5a613cae0024829d38.png

ただし，各特徴（サンプル）ごとに行っている

https://scrapbox.io/files/65af2e84fcd8fe0024efcb8e.png

channel方向に対するnormalizeをしている，正攻法がbatch normalize

Layer normalizeは，各サンプルに対しておこなう．

https://scrapbox.io/files/65af2eec6ef76e0022005df1.png

つまり，系列方向かchannel方向かで異なるというのが重要

https://scrapbox.io/files/65af2ffcdb76fb002415e85a.png

ReCoの場合，特徴量方向にL2normするとちゃんと書いている

pytorchで提供されるLayerNormは以下

https://scrapbox.io/files/65af308fa791fe0025614190.png

https://scrapbox.io/files/65af30b72471c90023b26f20.png