シンボル列をより短いシンボル列に圧縮する
https://gyazo.com/2d52857e9fa35f358ad9ee550b247390
というものを考えた時に、まずシンボル列Yからシンボル列Xに戻す不定長の出力を出せる装置が必要だよなと思った。
図ではRNN風になっているが、現状のメジャーな実装は「単語IDを入れると不定長の文字列が出てくる辞書オブジェクト」だ
https://gyazo.com/2048c3993943878690e2f36e76e0ed1c
もう一点、こうやってシンボル列を出したとして、それはそのあとどうなるのかって考えたら、シンボルをベクトルに埋め込むわけだよね。で、この装置の最終段では、埋め込み表現からシンボルを作り出しているわけで、だったらシンボルに変えないでそのまま伝達した方が良くない？人間に理解できる形にするためだけに「シンボルとして出力する」が必要になってない？と思った。人間のIOがヘボい。 https://gyazo.com/b05ac038bb05df43f1cb30bbe678d203