LLMのオープン性
arankomatsuzaki A Survey of Large Language Models
https://arxiv.org/abs/2303.18223
https://gyazo.com/c8a97b7fd455f4efdc27a2c6ae34b81a
https://gyazo.com/05f0d312cc88f516035d79ec9093f5f9https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/
関連：オープンソースLLM一覧
table:LLMs
Model アーキテクチャ トレーニングデータ モデル配布 checkpoints 最適化トレーニング? ライセンス
OpenAI GPT-2
OpenAI GPT-3
OpenAI GPT-4 ✕ ✕ ✕ ✕ ✕ ✕
Microsoft Megatron-Turing NLG
Microsoft Prometheus
Meta OPT-IML
Stability LLM(仮)
LINE HyperCLOVA
LAION Open Assistant
Allenai COSMO
百度 ERINE
百度 Wu Dao
Google Flan-PaLM
Google Flan-U-PaLM
Google Flan-T5
Google Flan-UL2
Google LaMDA
Google PaLM
BigScience BLOOM
Alpa OPT
DeepMind Gopher
DeepMind Chinchilla
DeepMind Sparrow
AI21 Labs Jurassic-1
Huawei PanGu-Alpha
Aleph Alpha Luminous-Supreme
Aleph Alpha Luminous-World
Meta LLaMA
Stanford Alpaca
GALACTICA CC BY-NC 4.0
Gpt4all ○ ○ 研究目的のみ
abeja gpt-neox-japanese
EleutherAI gpt-j
EleutherAI gpt-NeoXT
BERT
THUDM ChatGLM
ChatGLM
BlinkDL Raven ○ ○ 商用不可
BlinkDL RWKV ○ ○ ○ Apache 2.0
Cerebras-GPT ○ ○ ○ ○ ○ Apache 2.0
GeoV
Pythia ○ ○ ○ ○ MITライセンス
Dolly ○ 研究目的のみ
Dolly 2.0 ○ ○ ○ 商用可
Polyglot ○ ○ Apache 2.0
StableLM CC BY-SA 4.0
MPT-7B Base Apache 2.0
MPT-7B-StoryWriter-65k+ Apache 2.0
MPT-7B-Instruct CC BY-SA 3.0
MPT-7B-Chat CC BY-NC-SA 4.0
OpenLLaMA ○ Apache 2.0