LLM-jp
https://youtu.be/aWFqtuNpcjQ
LLM 勉強会 - LLM 勉強会
公開しているモデル・コーパス・ツール - LLM 勉強会
172B 以外は Apache 2.0 ライセンス
中国語の漢字が出力されるのを抑えるためかなり中国語・韓国語の学習量が少ない
https://huggingface.co/llm-jp/llm-jp-3-3.7b-instruct#pre-training