Cerebras-GPT

Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras

Cerebras-GPTファミリーは、オープンなアーキテクチャとデータセットを用いたLLMのスケーリング法則の研究を促進し、CerebrasソフトウェアとハードウェアスタックでLLMをトレーニングすることの簡便性とスケーラビリティを実証するためにリリースされました。Cerebras-GPTの全モデルは、Hugging Faceで利用可能です。

ファミリーは、111M、256M、590M、1.3B、2.7B、6.7B、13Bのモデルがあります。

Cerebras-GPTファミリーのすべてのモデルは、計算機最適化であるChinchillaスケーリング法則（モデルパラメータあたり20トークン）に従って学習されています。

cerebras

cerebras/Cerebras-GPT-13B

cerebras/Cerebras-GPT-6.7B

cerebras/Cerebras-GPT-2.7B

cerebras/Cerebras-GPT-1.3B

cerebras/Cerebras-GPT-590M

cerebras/Cerebras-GPT-256M

cerebras/Cerebras-GPT-111M

https://gyazo.com/87844cdc45afc91e32bd0471b2e712cb

https://www.marktechpost.com/2023/03/30/cerebras-releases-7-gpt-based-large-language-models-for-generative-ai/Cerebras Releases 7 GPT-based Large Language Models for Generative AI

16台のCS-2で学習させた

GPUを使わないで学習させたLLMのパイオニアである。

LLM