OpenLLaMA
https://github.com/openlm-research/open_llama
https://huggingface.co/openlm-research/open_llama_7b_preview_200bt
open_llama_7b_preview_200bt
LLaMA
をオープンライセンスで再現する
EasyLM
を使い学習
RedPajama
のデータセットを使用
今回は200億トークンだが、今後1.2兆トークンでも学習予定
ライセンス
Apache 2.0