Transformerを実装して少し理解した気になる会
学習ができるようなTransformerを各モジュールから自作する
2025.11.09・2025.11.27・2025.12.14
主催: y-chan.icon
参加者: sushichan044.icon helkun.icon
トピック
0. なぜTransformerを学ぶのか
1. Transformerに使われている基礎的なモジュール(LinearやEmbeddingなど)について理解して実装する
2. Transformerの重要なモジュールについて理解して実装する
3. TransformerのDecoder部分を利用し、SimpleStoriesデータセットで学習を行う
4. 学習したTransformerで推論をする
リポジトリ
https://github.com/y-chan/learn-and-make-slm/
https://huggingface.co/y-chan/learn-and-make-slm/
#Transformerを実装して少し理解した気になる会(その1)
#Transformerを実装して少し理解した気になる会(その2)
#Transformerを実装して少し理解した気になる会(その3)
#Transformerを実装して少し理解した気になる会(その4)
---
memo
https://medium.com/@shravankoninti/build-a-small-language-model-slm-from-scratch-3ddd13fa6470