Dolly
GitHub : https://github.com/databrickslabs/dolly
ブログ : https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html
GPT-J 6BをStanford Alpacaのデータセットで微調整したモデル
注目するポイントはGPT-Jという古い∧小規模(パラメーター数6B)モデルでも、Alpacaのような高品質なデータセットでチューニングするとChatGPTのような性能を発揮する点
https://gyazo.com/57d4a5b48ffe6603f27ab9270754ae53https://gyazo.com/f723c7e653fd41349342b0ce10d960b6
指示(プロンプト)にちゃんと従うかどうかの能力をinstruction-following capabilitiesというらしい
Stanford Alpacaのデータセットを使っているのでDollyは研究用途のみ使用可