TinyLlama
GitHub - jzhang38/TinyLlama: The TinyLlama project is an open endeavor to pretrain a 1.1B Llama model on 3 trillion tokens.
1.1BパラメーターのLLM
計算資源
A100 40GB GPU x 16（640GB VRAM）
90 days
学習データ（1.2TB, 950 billion tokens）
ベースモデル
SlimPajama（895GB）
cerebras/SlimPajama-627B · Datasets at Hugging Face
starcoderdata（311GB）
bigcode/starcoderdata · Datasets at Hugging Face
チャットモデル
ultrafeedback_binarized（650MB）
HuggingFaceH4/ultrafeedback_binarized · Datasets at Hugging Face
ultrachat_200k（1.62GB）
HuggingFaceH4/ultrachat_200k · Datasets at Hugging Face