[. https://huggingface.co/mosaicml/mpt-30b]モデル1Tトークンの英語テキストとコードで学習ライセンス[Apache 2.0]ファインチューニングモデル

MosaicML Pretrained Transformer[MosaicML]開発の[LLM]シリーズ派生モデル[japanese-mpt-7b]

[. https://www.mosaicml.com/blog/mpt-7b] Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs[. https://github.com/mosaicml/llm-foundry] MPT/モデルリンク[. https://huggingface.co/spaces/mosaicml/mpt-7b-instruct] Demo

[. https://www.mosaicml.com/blog/mosaicbert][. https://github.com/mosaicml/examples/tree/main/examples/bert][. https://huggingface.co/mosaicml/mosaic-bert-base]>このブログでは、最適化された MosaicBERT アーキテクチャを紹介し、20 ドルで [MosaicML] プラットフォーム上で高品質の [BERT] モデルをゼロから事前トレーニングする方法を示します。これにより、研究者やエンジニアが、既存の汎用モデルを微調整するだけでなく、ドメイン固有のデータで独自のモデルを事前トレーニングすることに自信を持つようになることを願っています。