🦊LoRA
モデルにまったく新しい知識を与えて、描けるものを増やそうと思ったとき、従来はDreamBoothのような技術でモデルを全部ファインチューニングする必要がありましたが、これにはかなりの計算コストと時間がかかります そこで引っ張り出されたのがLLMですでに使われていたLoRAという技術です
物事を単純化するために、これらのモデルを大きくて複雑なレゴの城と想像してみよう。さて、この城の何かを変更したいとしよう。例えば、新しい塔を追加したいとしよう。通常であれば、城の大きな部分を注意深く分解して作り直す必要があるが、これには長い時間がかかり、かなり難しい。 では、レゴブロックをいくつか外して、新しいレゴブロックをあちこちに貼り付けるだけで変更ができるとしたらどうだろう。城の他の部分には一切手を加える必要はない。そうすれば、もっと簡単で手っ取り早いでしょう？
🦊ComfyUIで使ってみる
ドット絵LoRAを使ってみましょう
ダウンロードして\ComfyUI_windows_portable\ComfyUI\models\lorasに置きます
https://gyazo.com/96f5b12ba508b89f77dcff8f5f0f9296
キャンバスをダブルクリックしてLoadLoRAと検索、ノードを追加します
レゴという例えの通り、Checkpointノードに直列にがっちゃんこします
lora_nameの欄をクリックして、好きなLoRAを選択、strengthを調整して生成します
🧪実践的な話
modelとclipのstrength、2つ入力する場所があるんですが…
Stable Diffuison web UIでは同じ値が入力されていましたが、ComfyUIでは別々のものを設定できるようななっています
基本的に同じ値を入れておけばよいですが、実験をしてみるとなにか面白い発見があるかもしれません、見つかったら教えてください
strengthはどのくらいの強さをかければよいか
0.8が良い、というより0.8でかけた時うまく生成できるようにLoRAを作る人が多いです
ケースバイケースなのでいろいろ試しましょう
複数個LoRAをかけると生成画像がおかしくなる
複数個以外でもLoRAを1以上に強くかけると現れたりしますが、原因はわかっていません
https://gyazo.com/6c948168b1b739ba8dd4d007d732b5b6