Stable Diffusion Reference Only
https://arxiv.org/abs/2311.02343Stable Diffusion Reference Only: Image Prompt and Blueprint Jointly Guided Multi-Condition Diffusion Model for Secondary Painting
https://github.com/aihao2000/stable-diffusion-reference-onlyaihao2000/stable-diffusion-reference-only
https://huggingface.co/spaces/AisingioroHao0/anime-fanworkeDemo
https://huggingface.co/AisingioroHao0/stable-diffusion-reference-only-automatic-coloring-0.1.2AisingioroHao0/stable-diffusion-reference-only-automatic-coloring-0.1.2
線画(blueprint)に対して、参考画像(image prompt)と同じ感じで着彩する
線画は軽量な畳み込みネットワークによって特徴量に変換され、UNetの入力に加えられる
image promptからはCLIPを使って画像特徴量を抽出し、クロスアテンションからUNetに取り込まれる
https://gyazo.com/18bf5b76aa1affe5da6a098df8ec6baf
線画着色