Stable Code 3B
https://ja.stability.ai/blog/stable-code-3b
Stable Code 3B - エッジでのコーディング — Stability AI Japan
https://gyazo.com/0194a5b433c29e76bee4d6036476e6d7
自然言語データ(
StableLM-3B-4e1t
) で事前に訓練されたLMから始め、
CommitPack
、GitHub Issues、
StarCoder
、その他の数学データセットなど、複数のコードやコード関連データセットで、教師なしファインチューニングを行います。第2ステップでは、
Code LLama
で提案された基本的な修正を加えた16,384トークンの長いシーケンスでモデルをさらに微調整しました。
StableCode