4ab46088eec4,024

http://nhiro.org.s3.amazonaws.com/a/1/a12fbbe5d54925513ef0a00f2ba32900.jpg https://gyazo.com/a12fbbe5d54925513ef0a00f2ba32900

(OCR text)

25

Positional Encoding

回転する単位ベクトルをd/2個埋め込む

各単位ベクトルの回転周期は等比級数的に拡大

「位置+x」が単純な行列の掛け算で表現される

sin li)

Cos C)

i/k)

CoS Cirk)

dnadel

補足:dはgiven(256とか)で

Cos (iltovoo)

k 10000 ** (1/ (d / 2 - 1))

LO