【没案供養】Reactive Task Router UI
ComfyUIをバックエンドにした新しいフロントエンドを思いついたが、アイデアは面白かったもののよく考えると刺さる人がいなかったので供養nomadoor.icon Claudeさんがまとめてくれたよ
インスピレーション元
Helpfeel は少しのテキスト入力からユーザーが質問しようとしていた質問文を先出しする
アイデア
このUIはプロンプトと操作シグナルからユーザーが使おうとしていた workflow を先に提案する
workflow名で検索するのではなく、ユーザーが作ろうとしているものを直接プロンプトとして書くと、それからそのためにどのworkflowがふさわしいか検索し先に提案する
例えば、「美しい花の…」と入力したら Z-Image を提案するかもしれないが、そこから「美しい花のアニメ調の…」と入力したら illustriousを提案するかもしれない
推測に使うのはテキストだけじゃない。入力としてここに画像が追加されたら、imgae2image や imgae2video のworkflowが提案される
チャットUI、エージェント型への反発
がモチベーションとしてちょっとあるnomadoor.icon
あと、リアクティブなUIが今個人的に熱い
チャットUI
中でなにをしているか分からないし、細かくパラメータを調整することはできない
ローカルでまともに動かせない
エージェント
最近はClaude Codeでworkflowを生成するのが流行っているが、時間がかかる
AIがマイクラを作れるようになったとして、マイクラを遊ぶために毎回0から作るのか？という疑問がある
それらに比べて良いところ
workflowはAIが触らない
登録されている (信用がある、もしくは自分が気に入った) workflowのみが表にでるため性能が担保される
高速
workflow生成ではなく、検索
ので、一つ次元が飛んでいる
アーキテクチャ
何より速度が重要なので、ユーザー入力から、LLMを使って登録されているworfklowを全部RAG検索なんてことはしない
大事なのはworkflowの方に検索に役立てるためのスキーマをつけておく
単に何のモデル、何のタスク、だけではなく、実際にユーザーがどのようなテキストを入力したときに呼び出すか？また、そのユーザーの好みみたいなものも貯めていく
まずはシンプルに画像あり/無し、やマスクあり/なしで分類
その後はembeddingによる類似度検索
LLMの仕事
検索の全部は任せないが、残った数個の中からそれを順位付けするのに使う
あとは、ユーザー入力を、選択したworkflow が使っているモデルにあった形に整形する
つまるところプロンプトエンハンサー
気づいてしまった問題点
ターゲットユーザーが存在しない
workflow名を見てもわからない人には提案の意味がない
workflow名を見てわかる人には提案は余計だ
察した先に、一意の答えがない
生成AIでは同じ意図に対して無数の正解がある
「このポーズで生成したい」→ ControlNet? 画像編集モデル? ベースモデルは?
タスクを絞り込めても、なお候補が大量に並ぶことになる
自由度が中途半端
workflowに登録されているパラメータは出てくるが、workflowを開いて修正することはできない
なにか一つのタスクに対し、専用UIが一つあるという形なら問題ないのだが、下手に選択肢がある分逆に気になる
自分で使う予感がしない
初心者向けでもあり、上級者向けでもあるものを作ろうと思ったが、どっちつかずになった
ので撤退…nomadoor.icon
ComfyUIとは合わないだけで、何か使い道はあるかもしれない…
作りたいものが衝動的に浮かんだとして、その熱をぶつけられるようなUIが作りたいですねぇ…
使いどころありそうなアイデアには感じるtakker.icon
ユーザーが入力した文字列から、良さげなworkflowを推薦する
workflow nameでわからなければ、同時にworkflowの説明も出すとか？
そうですね、テキストの代わりに道具を予測するイメージ…？nomadoor.icon
割り切って厳選されたworkflowだけにするとして(名前も分かりやすく)、それこそworkflowだと考えてしまえば色調補正とかエフェクト処理とかもこれで呼び出せるんですが
ボタンの無いPhotoshopが出来上がるだけで、これは果たして便利なんだろうか…