LLM作成
Large Language Model
分散学習
CS324 Large Language Model
GENIAC
https://www.youtube.com/watch?v=Wh9rwDn_2nE
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1
https://zenn.dev/turing_motors/articles/04c1328bf6095a
LLMの開発は難しい？簡単？Stability AIの現場から (2023/10/11, W&B Fully Connected)
https://speakerdeck.com/iwiwi/11-w-and-b-fully-connected?slide=25
ストックマーク、ビジネスでも信頼できる130億パラメータLLMをオープンソースで公開
https://stockmark.co.jp/news/20231027
llm-jp
LLMへ至る道 Advent Calendar 2023
https://qiita.com/advent-calendar/2023/road-to-llm
Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems
https://arxiv.org/abs/2312.15234
https://github.com/rasbt/LLMs-from-scratch
作って学び日本語大規模言語モデル
https://docs.google.com/presentation/d/1iROcbUOOBZlqIgmbySS_LYcrJsk8RRJxoHzhmkGV-Wk/mobilepresent?fbclid=IwAR0TUdRTI6P4FW9gsCdjV8wznjSP1otVn8rYYEn4-0cZw8pQAIVG9rogap4&slide=id.p
Stockmark Tech Meetup #07　〜ソフトウェアエンジニアのためのLLM自作・活用勉強会〜
https://www.youtube.com/watch?v=e2mh46UonZQ&t=829s
GENIAC: 172B 事前学習知見
https://zenn.dev/tokyotech_lm/articles/deb8012251bb68
0.5BパラメータのLLMを一から作ろうとして心が折れかけた話
https://zenn.dev/yuki127/articles/813e72d026f230
https://llmsystem.github.io/llmsystem2025spring/docs/Syllabus/
最短 3 時間でゼロから開始することを目指しています。サイズがわずか 26.88M の小型言語モデルであるMiniMind をトレーニングできます。
https://github.com/jingyaogong/minimind