Alpaca.cppについて
antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
ローカルのLaptopでも動かせるChatGPT風のmodel + インタラクティブインターフェースのCLIがまとまったやつ
modelはFacebookの開発しているfacebookresearch/llama: Inference code for LLaMA modelsをファインチューニングしたtatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data.を元にしている
alpaca.cppのREADMEに書いているようにmodel(約4GB)をwgetでダウンロードして./chatと叩いてCLIを立ち上げるだけで動かせるので気軽でよい。性能的にはStanford AlpacaのREADMEを読む感じだとtext-davinci-003程度っぽい。
下記は./chatでCLIを立ち上げて「大谷翔平について教えて下さい」と聞いたら全く見当違いの架空の人物を説明されたシーン。
https://scrapbox.io/files/64145b6f335dae001c059862.png
ちなみに英語で質問するともう少し回答の精度は上がるようだが、それでも半分くらい嘘を言う。gpt3.5-turboレベルのモデル性能欲しい...
https://scrapbox.io/files/64145bfb8706fb001b8614d4.png
実行速度はもちろん遅いが、とはいえそれほど悪くもないので今後性能が上がるなら結構使えそう。ローカルでGPT-3.5以上のレベルの性能のモデルが動かせるようになるのも夢じゃなさそう。
まぁただDisclamerにもあるようにこれ自体(というか元のモデル)は商用利用ができず研究目的でしか使えないとのことなのでお遊びでどうぞという感じ。
リンク
antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
facebookresearch/llama: Inference code for LLaMA models
tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data.
GPT-3.5に匹敵するチャットAIを構築可能なモデル「Alpaca 7B」をスタンフォード大学が公開、オープンソースで安価に再現可能 - GIGAZINE
llm