ColossalChat

以下の内容を収録しています：

デモ：登録やウェイティングリストへの参加なしに、オンラインで試せるインタラクティブなデモです。

トレーニングコード7Bおよび13Bモデルを含む、オープンソースの完全なRLHFトレーニングコードです。

データセット：オープンソースの中国語と英語の104Kバイリンガルデータセット。

推論：70億パラメータモデルの4ビット量子化推論で、4GBのGPUメモリしか必要としません。

モデルウェイト：1台のサーバーでわずかな計算能力で迅速な再現を実現します。

より大規模なモデルやデータセット、その他の最適化については、今後急速に更新・追加していく予定です。

https://gyazo.com/4b97214fa113ffbdd6b003bf99dcc51b