LLM360

https://gyazo.com/850a3e3c68e423548e06e6b054828a2d

私たちは、トレーニング中に収集されたすべての中間チェックポイント（最大360個！）、すべてのトレーニングデータ（およびチェックポイントへのマッピング）、収集されたすべてのメトリクス（損失、勾配ノルム、評価結果など）を公開することを約束します

モデル