Alpaca.cppについて
ローカルのLaptopでも動かせるChatGPT風のmodel + インタラクティブインターフェースのCLIがまとまったやつ
alpaca.cppのREADMEに書いているようにmodel(約4GB)をwgetでダウンロードして./chatと叩いてCLIを立ち上げるだけで動かせるので気軽でよい。性能的にはStanford AlpacaのREADMEを読む感じだとtext-davinci-003程度っぽい。
下記は./chatでCLIを立ち上げて「大谷翔平について教えて下さい」と聞いたら全く見当違いの架空の人物を説明されたシーン。
https://scrapbox.io/files/64145b6f335dae001c059862.png
ちなみに英語で質問するともう少し回答の精度は上がるようだが、それでも半分くらい嘘を言う。gpt3.5-turboレベルのモデル性能欲しい...
https://scrapbox.io/files/64145bfb8706fb001b8614d4.png
実行速度はもちろん遅いが、とはいえそれほど悪くもないので今後性能が上がるなら結構使えそう。ローカルでGPT-3.5以上のレベルの性能のモデルが動かせるようになるのも夢じゃなさそう。
まぁただDisclamerにもあるようにこれ自体(というか元のモデル)は商用利用ができず研究目的でしか使えないとのことなのでお遊びでどうぞという感じ。
リンク