4ab46088eec4,021

http://nhiro.org.s3.amazonaws.com/7/4/7431f213fabfa82a2a38ec7d38807f40.jpg https://gyazo.com/7431f213fabfa82a2a38ec7d38807f40

(OCR text)

22

注意機構は位置情報を持たない

注意機構は入力の位置情報を持たない

=入力の順番をシャッフルしても影響がない*

「一つ手前の単語」も

「20個後の単語」も同じ扱い

流石に自然言語処理としてどうなのか

どこにもKeysの順序に影響をうける項がない:

*再掲。

Attention(query, Keys, Values)

Normalize(F(query, Keys)) Values