nomadoorのLoRA学習メモ
onetrainer doc
https://github.com/Nerogar/OneTrainer/blob/master/docs/QuickStartGuide.md
https://huggingface.co/blog/sdxl_lora_advanced_scriptLoRA training scripts of the world, unite!
ツール
https://dupeguru.voltaicideas.net/dupeGuru
画像をあいまいに検索して重複画像を探す
データセットについて
共通
低画質画像は使うな
charの場合はそのキャラ意外は映らないようにする
https://civitai.com/articles/91/how-to-correctly-obtain-images-for-a-datasetHow to "correctly" obtain images for a dataset.
Charなら50枚以上・Styleなら100枚以上
https://civitai.com/articles/2138/lora-training-data-upload-to-civitaiLoRAトレーニングデータ
主にStyleLoRA
https://civitai.com/articles/138/making-a-lora-is-like-baking-a-cakeMaking a Lora is like baking a cake.
学習画像を適切なサイズにリサイズするbucketing機能がsd-scriptなどのソフトにはついているが、使わずに自分で整えたほうが良い結果が得られやすい
https://gyazo.com/1f147895b229972d2c38b96426b8f3c8
一枚の絵から白背景で埋めたもの、上半身クロップ、顔クロップの3枚が作れる
アニメ系アップスケーラーのオススメはReal-ESRGAN-anime
微妙な画像はimage2imageでガンガン修正していけ
NSFW系のモザイクなどの修正もLoRAには邪魔なのでimage2imageする
キャラクターLoRA
タグの剪定は大体LoRA学習でのタグ付けTipsに書いてあることと同じ
ただしwd14taggerのタグ全残しもあり
プロンプトに服とか髪の色とかを書かないといけないけれど、その分自由度がある
タグ全残しから、適度に剪定するというのはグラデーションで2択ではないかも
キャラクターパック
複数のchar/concept LoRAを一つのLoRAにまとめる
と、それらを組み合わせた絵を作れるが正直難しい
これはLoRAというよりStable Diffusionの性能不足
コンセプトLoRA
半分運ゲー
そういえばRelation Inversionというものがあったけどどこにいったんだろうかnomadoor.icon
データセットのフォルダ分け
https://gyazo.com/1cbf6480a560cc2fc3e17b07cd72be15
もし複数の服装を使い分けられるLoRAが作りたい場合はフォルダを分ける
十分な量が用意できない服装の画像や、上半身しか写っていない画像はMiscフォルダにまとめる
フォルダ名XX_Sailor...のXXは繰り返し回数
画像が少ない場合はこれを大きくして(逆は小さく)して全体のバランスを取る
こんなことできたのかnomadoor.icon
https://www.reddit.com/r/StableDiffusion/comments/118spz6/captioning_datasets_for_training_purposes/トレーニングのためのキャプション・データセット
https://www.reddit.com/r/StableDiffusion/comments/1aolvxz/instructive_training_for_complex_concepts/Instructive training for complex concepts
https://scrapbox.io/files/65ca45351072980024bc3046.webp
モデルの評価
https://civitai.com/articles/1536/ghostreviewaickptby-ghostmix-creatorGhostReview: 世界初のAIペイントckptレビューフレームワークコードツール (By GhostMix Creator)
StyleLossを用いたckpt/LoRAモデルの評価
それに対する反論
https://civitai.com/articles/2848/style-lossstable-diffusionloraスタイル・ロスは、安定拡散モデルとLoRAモデルの互換性を評価する指標として使用できるか？