Bonsai(LLM)で無限会話さす

https://gyazo.com/7b2d5f03877471c22bb7275efa535646

実行環境：

OS : Windows10

コードエディタ：Antigravity

公式のQuick Start

code:Command

cd Bonsai-demo

# (Optional) Choose a model size: 8B (default), 4B, or 1.7B

$env:BONSAI_MODEL = "8B"

# Run setup

Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass

.\setup.ps1

Chat Serverを立ち上げる

code:chat server

.\scripts\start_llama_server.ps1

https://gyazo.com/f904d168fcedc33037763a239f380042

OSS版 VOICEVOX（TTS用）

TTSを組み込みとするのであれば

Style-Bert-VITS2の方がよさそう（音声エンジンもOSS）

eSpeakNG(TTS)

昔ながらの音声合成だが、Whisperめちゃくちゃかっこいい…

日本語TTSとしてよさそう。モデルが重いか?

CosyVoice

いったんeSpeak-NGで組んでおきつつ、CosyVoiceも検討

そもそもやりとりのプロンプトをどう設計するかを検討する