LLM講座2024年「Day10. LLMの分析と理論」（後半パート）
https://speakerdeck.com/kogoro/llmjiang-zuo-2024nian-day10-llmnofen-xi-toli-lun-hou-ban-pato
probe
/
probing
の説明。
https://scrapbox.io/files/6740b1ee8ee3d734e41fa22c.png
Attention Map
/
attention head
/ a
Attention Scores
。
ここでは
attention weights
。
https://scrapbox.io/files/6740b2b1b82f5f68bcf8300c.png
Induction Head
。
https://scrapbox.io/files/6740b31023528dfbae99561f.png