Reformer
小説をそのまま, まるごと入力することができる
類似度を計算しさえすれば良い
ベクトルを回転させてバケツにブチこむ
バケツごとに処理
バケツ内は互いに近いベクトルのはず
https://gyazo.com/9a2bf1939cfd7fd3bea5864b9664eed2
https://gyazo.com/1f835a47f13834a46f55221b8c7690dd
Transformerを多層化するとそれだけの途中の状態を保存する必用がありますが、Reformerでしたら多層化してもそれぞれの層で状態を再計算できるため、メモリに保持する必用がなく、層の数だけメモリを削減できます。