4ab46088eec4,040

http://nhiro.org.s3.amazonaws.com/2/1/210f866c5f84a018f8d1bfdba0abfe1c.jpg https://gyazo.com/210f866c5f84a018f8d1bfdba0abfe1c

(OCR text)

41

Transformer&RNN

Transformerは入力を

RNNのように順次入れるのではなく

まとめて一度に入れてしまう

系列変換

モデルにおいては入力w_iの時の正解が

w_{i+1}なのでこれを参照されたら学習にならない

*そこで隠すためにマスクをかける

NG