Dolly
GitHub :
https://github.com/databrickslabs/dolly
ブログ :
https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html
GPT-J
6Bを
Stanford Alpaca
のデータセットで微調整したモデル
注目するポイントはGPT-Jという古い∧小規模(パラメーター数6B)モデルでも、Alpacaのような高品質なデータセットでチューニングすると
ChatGPT
のような性能を発揮する点
https://gyazo.com/57d4a5b48ffe6603f27ab9270754ae53
https://gyazo.com/f723c7e653fd41349342b0ce10d960b6
指示(プロンプト)にちゃんと従うかどうかの能力を
instruction-following capabilities
というらしい
Stanford Alpacaのデータセットを使っているのでDollyは研究用途のみ使用可