Attention(LLM)
自己注意
今見ている
token
が、他のどの token をどれくらい参照するかを計算する装置。
https://devio2023-media.developers.io/wp-content/uploads/2023/12/16-01.png
queryとkeyとvalueで全て同じ入力データを使う場合を
Self Attention
と言います。keyとvalueのセットと、queryでデータが異なる場合は
Source Target Attention
と言います。
上級編 LLMへ至る道~画期的な機構！Attentionさん~ 16日目 | DevelopersIO
https://gyazo.com/01426c5da0ab2c2cd6576ad7804cd208
by gpt-5.5
TRANSFORMER EXPLAINER
を見るのが早い