MPT-7B
https://www.mosaicml.com/blog/mpt-7b
Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs
https://github.com/mosaicml/llm-foundry
MPT/モデルリンク
https://huggingface.co/spaces/mosaicml/mpt-7b-instruct
Demo
MPT
シリーズ
1Tトークンで学習
ALiBi
を採用し入力トークン数65k(最大84k)で学習
モデル郡
MPT-7B Base
decoder-style transformer
decoder only?
📜
Apache 2.0
MPT-7B-StoryWriter-65k+
超長コンテキスト長で物語を読み書きするように設計されたモデル
the_pile_books3
でファインチューニング
📜Apache 2.0
MPT-7B-Instruct
dolly_hhrlhf
でファインチューニング
📜
CC BY-SA 3.0
MPT-7B-Chat
チャットボットのためのモデル
複数の(非商用を含む)データセットでファインチューニング
📜
CC BY-NC-SA 4.0
量子化モデル
https://huggingface.co/OccamRazor/mpt-7b-storywriter-4bit-128g
mpt-7b-storywriter-4bit-128g
#MosaicML