4ab46088eec4,023

http://nhiro.org.s3.amazonaws.com/1/9/19a753c50abff932f360598d756a11f4.jpg https://gyazo.com/19a753c50abff932f360598d756a11f4

(OCR text)

24

Positional Encoding

·入力にその入力の位置情報を埋め込んでしまう

個人的にTransformer論文の中で一番

萌える

*これによって注意機構が「文頭付近の名詞」

「1つ前の単語」など位置情報を利用した取り

出しをできるようになった

会場では「文頭マーカーを埋め込めば?」という案があったがより汎用的な解決