oobabooga/text-generation-webui
Claude 3 Opus.icon
Text Generation Web UIは、LLMの実験や活用に適した強力なツールだと言えます。モデルの管理だけでなく、推論や会話のUI、各種設定まで一貫して利用できる点が優れています。ローカルで手元のリソースを使いつつ、最新のLLMを試したい場合には特におすすめのツールです。
特徴
複数のLLMのサポート
GPT-JやLlama、Pythia、T5など、様々なLLMをサポートしています。モデルのダウンロードも内蔵されたダウンローダーで簡単に行えます。
直感的なチャットUI
プロンプトの入力や会話の履歴管理がスムーズに行えます。チャット中のパラメータ調整もUIから可能です。
柔軟なオプション設定
サンプリング方式や確率の調整、コンテキストサイズの変更など、各種パラメータを詳細に設定できます。これにより、生成されるテキストの品質を向上させられます。
ローカル実行
Windows install
Use installer
Update available
To get the latest updates in the future, just re-run the "install" script.
This will only install the updates, so it should be much faster.
model install
code:powershell
A) Pygmalion 6B original
B) Pygmalion 6B main
C) Pygmalion 6B dev
D) Pygmalion 2.7B
E) Pygmalion 1.3B
F) Pygmalion 350m
G) OPT 6.7b
H) OPT 2.7b
I) OPT 1.3b
J) OPT 350m
K) None of the above
スペック:メモリ64GB VRAM24GB
OPT-1.3B サクサク動く
OPT-6.7B サクサク動く
OPT-30B 重すぎてPCフリーズ
大規模言語モデルを動かすにはメモリ64GBでは非力だった(当たり前かもだけど…)
ローカルで動かしたい逸般の誤家庭のみなさんは参考にしてください
6.7B
https://pbs.twimg.com/media/FqPgaOVaYAQQOmp.png
サクサク!
https://gyazo.com/0a44d574bc56bf1ee072331d027f52bb
https://pbs.twimg.com/media/FpqKTqiaYAAbCcS.png
@needle: RTX3090だけど1回メッセージ送ってから返答に1-2分はかかる。もちろんVRAMは24GBあってもいっぱいいっぱい。 https://pbs.twimg.com/media/FpqK3EWaIAA-LNP.pnghttps://pbs.twimg.com/media/FpqK5ygaIAAD7xI.png
@needle: それにしても凄いな……雲の向こうのどこにあるとも知れぬデータセンターのクソデカサーバー群じゃなくて、目の前に置いてある自分で組み立てた箱(PC)と直接自然言語で対話ができるとは……。 Stable Diffusionでローカルに画像生成出来た時も思ったけど、これは魔法の箱だ。