LoRA学習でのタグ付けTips

参考

キャラクター学習のタグ付け一例

https://www.youtube.com/watch?v=etEo6Lf7QIcModeling The White Queen as a Stable Diffusion LoRA

キャプションとタグの違い

,で区切られているのがタグ？

キャプションは文章

1. キャプション(タグ)の自動生成

BLIPやWD14-Taggerを使って教師画像にキャプションをつける

→ Kohya's GUIでLoRAの学習をする#63fbbc82e2dacc0000626c0f

例 : クオリアさん(/qualia-san/幸せは義務ではなく主観)

https://gyazo.com/1c70da647e353a6f31fe97f428cf309a

code:WD14-Tagger

1girl, solo, long_hair, blush, smile, bangs, blue_eyes, animal_ears, hair_between_eyes, very_long_hair, closed_mouth, blue_hair, upper_body, outdoors, japanese_clothes, sky, cat_ears, kimono, animal_ear_fluff, fox_ears, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree

2. キャプション(タグ)ファイルの先頭に呼び出したい名称を書く

例 : qualia-san

code:先頭にqualia-san

qualia-san, 1girl, solo, long_hair, blush, smile, bangs, blue_eyes, animal_ears, hair_between_eyes, very_long_hair, closed_mouth, blue_hair, upper_body, outdoors, japanese_clothes, sky, cat_ears, kimono, animal_ear_fluff, fox_ears, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree

3. タグの剪定

タグは大きく分けて2つに分けられる

キャラクターを定義する言葉

code:qualia-san

long_hair, bangs, animal_ears, hair_between_eyes, blue_eyes, blue_hair, cat_ears, animal_ear_fluff, fox_ears

それ以外

code:Not relevant

1girl, solo, blush, smile, animal_ears, very_long_hair, closed_mouth, upper_body, outdoors, japanese_clothes, sky, kimono, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree

例えば、ケモミミや青い髪はクオリアさんを説明するのに必須

逆にクリスマスツリーや着物は、状況によってあったりなかったりする

→ クオリアさんを説明するものではない

🚨キャラクターを定義する言葉をキャプション(タグ)ファイルから消す

ちょっと分かりづらいけれど、素材画像から余計なものを削ぎ落とした情報をqualia-sanというトークンに集約させる

4. 完成

code:qualia-san Tag

qualia-san, 1girl, solo, blush, smile, hair_between_eyes, very_long_hair, closed_mouth, upper_body, outdoors, japanese_clothes, sky, kimono, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree

本当に意味あるんですか…？

実験

学習設定

学習率はLAZY TRAINING GUIDEに倣う

learning rate & Unet learning rate : 0.00016

Text Encoder learning rate : 3e-5

ベースモデルはACertainModel

model-1 : WD14-tagger無編集

model-2 : WD14-tagger編集←今回やったこと

model-3 : 極少タグ

上の画像で言えばqualia-san, kimono, christmas_treeと、大きく目につくものだけを残す

出力比較

設定

モデルはACertainModel

プロンプトはqualia-san, 1girl,Highly Detailed,upper body<lora:qualia-san-model-1_v1.0:0.8>のみ

model-1 : WD14-tagger無編集

https://gyazo.com/8eef2b2281a34cedf13b9320e217d8ddhttps://gyazo.com/af84489ad1b7074848a3dfb2d46a4244https://gyazo.com/85d0506cc3b423b564b382b313ca7593https://gyazo.com/f779bd8de870c2b9747365bbf13f89c4

model-2 : WD14-tagger編集

https://gyazo.com/7a4f998b6e34bcad0882385f0bfa1673https://gyazo.com/267c0224c8c4d1dd136f2a87d8fad43ahttps://gyazo.com/822a2f5c9ad902d66188f66b4cbf5b99https://gyazo.com/519c69a4731b2f401d9225fb7c9d80a3

model-3 : 極少タグ

https://gyazo.com/aca40cd2a8a86702cfabc48af3bdb3dehttps://gyazo.com/a44820675f640daaaaac0cd1a871fc85https://gyazo.com/f814304f937227bb7b8d806502b681ffhttps://gyazo.com/4ed3149e2fed35a40c0554a96f3ff25f

自由度はあるのか？

左から model-1 / model-2 / model-3

$ qualia-san, 1girl,Highly Detailed,looking at viewer,upper body,from front,bangs,wide view ,chibi, full body, wearing kimono<lora:qualia-san-model-2_v1.0:0.7> /// model : ACertainModel

https://gyazo.com/a1b2b703a9e1fc4f0c948871650679afhttps://gyazo.com/93577bef68fcafd483e2e9703dd4790dhttps://gyazo.com/be91c2168d2b9e059a8eeba30e9d0ba4

$ qualia-san, 1girl,Highly Detailed,photoreal,looking at viewer,upper body,red hair,headset,from front,bangs,wide view ,portrait, white dress <lora:qualia-san-model-3_v1.0:0.8> /// model : AOM2

https://gyazo.com/350f479ea066d6ff4974592bb66fc096https://gyazo.com/115da80a450595c7e9369ae31d4a43efhttps://gyazo.com/dcc779baebe025ecbc799ae68f5e97ed

$ qualia-san, 1girl,Highly Detailed,angry face,turn away,red hair,very short hair,from side,bangs,full body<lora:qualia-san-model-3_v1.0:0.8> /// model : unico

https://gyazo.com/0198b52a2d0e1c2ce0e2a3286f96c7adhttps://gyazo.com/1cfa4e7ebb2a59a75dfc8c63f1cc9d81https://gyazo.com/2c598e150a9e17b2db1d3d22fe7df727

ちゃんと差が出ると思わなかった、面白いnomadoor.icon

model-1はクオリアさんの特徴を掴めてない

一番の特徴のケモミミすら忘れることがある

model-2とmodel-3は、教師画像の統一感が割りとあるのもあって違いが分かりにくいけれど、無理に編集させるとmodel-3は破綻しかかる