Pythia
GitHub : https://github.com/EleutherAI/pythia
同じ公開データ∧同じ順序で学習させた16個のモデル郡
70Mから12Bまでのパラメータ幅
パラメータを増やせば性能が上がることは分かっていたが、比較検証のための要件を満たす公開されたLLMが無かった
これを解決するためにEleutherAIが提案
LLM
MITライセンス