RedPajama
https://www.together.xyz/blog/redpajama-models-v1RedPajama-INCITE
https://huggingface.co/togethercomputer/RedPajama-INCITE-Base-3B-v1RedPajama-3B
ベンチマークで他の同じサイズのオープンモデルを上回るベースモデル
https://huggingface.co/togethercomputer/RedPajama-INCITE-Chat-3B-v1RedPajama Chat-3B
Dolly 2.0 および Open Assistant のデータを使用して RedPajama-INCITE-Base-3B-v1 ベースモデルをファインチューニングしたチャットモデル
https://huggingface.co/togethercomputer/RedPajama-INCITE-Instruct-3B-v1RedPajama Instruct-3B
フューショットプロンプトに最適化されたモデルで、RedPajama-INCITE-Base-3B-v1ベースモデル上でGPT-JTと同じ式を使用してファインチューニングされました（ただし、HELMベンチマークと重複するすべてのデータセットを除外）
https://huggingface.co/togethercomputer/RedPajama-INCITE-Base-7B-v0.1RedPajama-7B
訓練の途中で約8000億トークンを完了し、品質が訓練中に改善するにつれ、RedPajama 7Bの初期プレビュー版
https://huggingface.co/togethercomputer/RedPajama-INCITE-Chat-7B-v0.1RedPajama Chat-7B
RedPajama-INCITE-Base-7B-previewで訓練されたチャットモデルの初期プレビュー版
https://huggingface.co/togethercomputer/RedPajama-INCITE-Instruct-7B-v0.1RedPajama Instruct-7B
RedPajama-INCITE-Base-7B-previewで訓練されたフューショットプロンプト用に設計されたモデルの初期プレビュー版
https://images.squarespace-cdn.com/content/v1/6358bea282189a0adf57fe16/f8b07fd1-d7b8-4729-94b8-364dcc47890a/RedPajama.png?format=1000w
https://www.together.xyz/blog/redpajama
GitHub : https://github.com/togethercomputer/RedPajama-Data
データセット : https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1TRedPajama-Data-1T
完全オープンソースなLLaMaの製作を目指すプロジェクト
LLaMaは研究目的のみ使用可
データスライスの構成をhttps://arxiv.org/abs/2302.13971に記載されたトークン数とほぼ一致するように調整
RedPajama の概要｜npaka｜note
#Together