TinyLlama-1.1B
https://gyazo.com/cd7b3bdfba7ccdfb59ed3fb75a89e51d
https://huggingface.co/papers/2401.02385TinyLlama: An Open-Source Small Language Model
https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3TTinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T
https://github.com/jzhang38/TinyLlamajzhang38/TinyLlama
3兆トークンから1.1BのLlamaモデルを学習する
16台のNvidia A100 40GBで90日間での学習完了を目指す
2023/9/1に開始
RemindMe! 雑談 2023年11月
https://gyazo.com/9cce08d06a16136f435f256594dc12e9
全体的に伸び続けている？