llama-cpp-agent

https://github.com/Maximilian-Winter/llama-cpp-agentMaximilian-Winter/llama-cpp-agent

シンプルかつ堅牢なインターフェイスを提供し、GBNF grammar をサポートした llama-cpp-python と OpenAI エンドポイント (llama-cpp-python サーバのようなもの) と llama.cpp バックエンドサーバをサポートしています。ユーザが定義した構造や関数の正式な GGML-BNF 文法を生成し、llama.cpp がその文法に沿ったテキストを生成することで動作します。多くのGBNF grammarジェネレータとは対照的に、ネストされたオブジェクト、辞書、列挙型、それらのリストもサポートしています。

https://gyazo.com/c55ce2bed492da2d6f79320a02d90bea

これはComfyUI VLM nodesのコードを少しいじって0か1しか出力できないようにしたもの

StructuredOutputノードとして使いやすく実装していただいた！

プロンプトで0か1で出力しろということもできるけど、なにより不安定だし、フォーマットの指定にコンテキストを使うのもナンセンス

LLMをある意味贅沢な分類器として使うこともできる面白い機能

https://github.com/gokayfem/ComfyUI_VLM_nodes/issues/49ComfyUI VLM nodesの作者と、これ使えばRPG-DiffusionMaster再現できるんじゃない？と盛り上がっているnomadoor.icon

面白い！！wogikaze.icon