つくりながら学ぶ！LLM自作入門
つくりながら学ぶ！LLM自作入門
Build A Large Language Model (From Scratch)
Ray Tracing in One Weekendの方針でメモしていくappbird.icon
方針
VSCodeを使う
指示にはできるだけ従う　やりきることだけを目指す
あまり深く掘り下げない
下のメモは初見で読んでわかるように書いていない（時間がかかるので）
referenceを読み進めると同時に下のメモを使うのがちょうど良いと思うappbird.icon
1章
創発的行動 (emergent behavior)っていうんだそれappbird.icon
モデルが明示的な訓練を受けていないタスクを実行する能力のこと
2章
カテゴリカルデータって言い方あるのか 埋め込み
Retrieval-Augmented Generation
これ検索ってWeb検索のこと限定かと思ってたけど、知識データベースであればRetrievalなのね
トークナイズ！