知識蒸留
https://sakana.ai/taid-jp/
新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開
https://gyazo.com/367b3a2577b89fbeed02e090d6f0ec5b
知識蒸留は、高性能な
LLM
（教師モデル）が自身の知識を
SLM
（生徒モデル）へ転移させる技術であり、ゼロからSLMを学習するよりも、効率的かつ高性能なSLMを作ることができることで知られています。
知識蒸留の面白い点は、単に「正解」を教えるだけでなく、教師モデルの「考え方」も生徒モデルへ教示できる点です。