4ab46088eec4,009

http://nhiro.org.s3.amazonaws.com/8/1/819de4d3ae69afa72ee65575e5e70ff7.jpg https://gyazo.com/819de4d3ae69afa72ee65575e5e70ff7

(OCR text)

10

加法注意(2014)と内積注意(2015)

Addi Tive Attetioh

Kes nd

4ery

00-0

key

Tuery

FPM

tey

Func

D.t-Prodact Attetion

d-d'

0-

Buery

queryとkeyを引数とする関数を学習

しようって時に素朴に考えると

fef

Feed-Forward Network E

2014年の加法注意になる。後にそれを

内積で置き換えたら意外とうまくいった