恒等写像を学習する

1行まとめ: 3層パーセプトロンの中間層にニューロンが2個あればone-hotベクトルの恒等写像は何次元であっても構成可能

つまり任意次元のone-hotベクトルは、パーセプトロンで元に戻せる形で2次元空間に埋め込める。

---

100次元のone-hotを入力として受け取り、100次元の同じone-hotを出力する恒等写像を

中間層のサイズが6の3層パーセプトロンは学習することができる。

size=7ではだいたい学習成功し、size=6では時々学習が成功する。

6は下限なのか、そうではないのか？

中間層のサイズを2にして、何次元のone-hotの恒等写像を学習できるか実験したところ

12次元の恒等写像を学習することができた。

2次元なので各入力に対する中間層の値を可視化できる:

https://gyazo.com/6c69f70790025de635ab2d5fa532c44f

https://gyazo.com/44fb288e9a5fd6384ee6775e9ccf63db

というわけで理論上は何次元のone-hotベクトルであっても、2個の中間層があれば、恒等写像を作ることができる。

学習がうまくいくかどうかは別の話だが、人間が適切な重みを構成することもできる。

その場合は浮動小数点数の精度によって表現できる次元の限界がくるだろう。