Reverse LoRA
https://youtu.be/mWTKJQxjKAs
目標
モデルからLoRAを抽出して、その概念を消したい
動画では特にNSFWの画像が生成されないことを目標にしている
LoRAの作成
二つのモデルの差分からLoRAモデルを作成する
DreamBoothモデルからLoRAファイルを抽出する
--model_org
ベースとなるモデル
よくあるのがSD v1.5
--model_tuned
Dreambooth等カスタムモデル
失敗
Negative Promptに作ったLoRAを入れる
まったく効かない
revers LoRAの作成
--model_orgと--model_tunedを入れ替える
ベースがカスタムモデルになって、tunedにSD v1.5モデルなどを入れる
実験
vanGogphDiffusionとStable Diffusion v1.5からvanGogph_reverse_LoRAを作成
モデル : vanGogphDiffusion
$ blah, blah, blah
当然ゴッホスタイルで生成される
モデル : vanGogphDiffusion
$ blah, blah, blah <vanGogph_reverse_LoRA:1.0>
ゴッホスタイルが消える
これは、Stable diffusion 1.5でblah, blah, blahで生成した画像とほぼ同じ
結果
<Lora_abc:-1.0>と<Lora_abc_reverse:1.0>は同じ
つまりnormal LoRAとreverse LoRAをわざわざ分けて考える必要はない？nomadoor.icon
関連
LECO