PolyLM
https://modelscope.cn/models/damo/nlp_polylm_13b_text_generation/summaryPolyLM-文本生成模型-多语言-13B
https://huggingface.co/DAMO-NLP-MTモデル
https://huggingface.co/datasets/DAMO-NLP-MT/multialpacaデータセット
640Bトークンで訓練された多言語LLM
バイリンガルデータをトレーニングデータに統合
プレトレーニング中に非英語データの割合を最初の段階で30％から最終段階で60％まで増加させるカリキュラム学習戦略を採用
ライセンス
Apache 2.0