ソースターゲット注意と自己注意

https://gyazo.com/bd9850f5401a04d93402bd081f419e1a

そもそもkeyとvalueが区別されていなかったのが、2016から分けられるようになった

https://gyazo.com/413be039f18e971a8baaa98dd3985260

さらに、以前は

query

デコーダからクエリを接続

keyとvalue（以前は分けられてなかった）記憶

エンコーダから記憶を接続

の２種類が、別々のところから接続されていた

これとちがい、３つが同じところ？からやってくるものを、ソースターゲット注意でないものとして、自己注意と呼ばれるようになった

https://gyazo.com/cc045b0db5f2f88b62c163e25a1f95cb

https://gyazo.com/35860268a0280ba38536b808d24818c1

https://gyazo.com/dc8a509f47fb39823d0495050b41cdad

「ソースターゲット注意じゃないもの」の他の例を見つけられてないので分からんが、そうらしい

実装見るしか無い