ComfyUI-MultiGPU
https://gyazo.com/2aca36ba5ac181ce610ab6eac9b1b72a
並列処理するわけではない
12GBのグラボ2つで24GBとして扱えるわけではない
e.g.
8GBのVRAMで7GBのモデル2つを一つのworkflowで使おうとすると、同時には使えないので最初のモデルを一度開放してから次のモデルを読み込む
もしグラボを複数枚持っているなら、最初のモデルと次のモデルを別のGPUで読み込んだままにしておける
モデルを開放・読み込みの時間がカットできるため処理は速くなる
MLLMを組み合わせたworkflowなんかにはまさにこれが欲しかったnomadoor.icon
(グラボがあるとは言っていない)