Stable LM 3B
https://stability.ai/blog/stable-lm-3b-sustainable-high-performance-language-models-smart-devices
Introducing Stable LM 3B: Bringing Sustainable, High-Performance Language Models to Smart Devices
https://huggingface.co/stabilityai/stablelm-3b-4e1t
stablelm-3b-4e1t
https://github.com/Stability-AI/StableLM#stablelm-3b-4e1t
StableLM-3B-4E1T
StableLM-3B-4E1Tは、反復トークンがダウンストリームのパフォーマンスに与える影響を調べるために、マルチエポックシステムの下で事前に訓練された30億(3B)パラメータの言語モデルである。
1兆(1T)トークンを4エポック学習する。
StableLM