Waifu Diffusionのimg2imgを使って絵を描くテスト

Waifu Diffusion v1.3のimage to image（画像とテキストから画像を出力する機能）を使って絵を描くのを試してみた。結果はこんな感じ（サムネにするためには一番上に結果を貼らないといけないのだ……）

https://scrapbox.io/files/63686936173c14001fa9e49a.png

まずは雑にラフを描いた。Waifu Diffusionで全身を描くのは厳しいので顔だけにした。

https://scrapbox.io/files/63686491c07145001d4ec65f.jpg

元のキャラクターの雰囲気が全然残っていないのでstrength=0.6にした。

何回かガチャを引いた中で良かったものを選び、手動で消えたブローチの追加・黄色いリボンの追加・目の修正などを行った。

色指定はそこそこ守ってくれるようだが、同じキャラクターとは思えないほど顔にバラつきがある。現状のWaifu Diffusionを特定のキャラクターを描くための補助として使うのは難しそうだという結論になった。

最後に今回使ったimage to imageのコードを示す。

code:python

import torch

from diffusers import StableDiffusionPipeline, StableDiffusionImg2ImgPipeline

from datetime import datetime

import random

import numpy as np

import json

import os

from PIL import Image, PngImagePlugin

# HuggingFaceのトークン

HF_TOKEN = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"

# StableDiffusionパイプライン設定

pipe = StableDiffusionImg2ImgPipeline.from_pretrained("hakurei/waifu-diffusion",

use_auth_token=HF_TOKEN)

# safety checker を無効にする

def null_safety(images, **kwargs):

return images, False

# 再現性のためにシードを固定する

seed = random.randint(0, 10000)

init_img = Image.open("init.jpg")

while True:

# CPUを利用するように設定

generator = torch.Generator("cpu").manual_seed(seed)

pipe.safety_checker = null_safety

# プロンプトの入力

prompt = f"masterpiece, 1girl, solo, face, maid, maid headdress, frills, apron, brooch"

negative = "monochrome, comic, bad anatomy, bad hands, lowres, blurry, cropped, jpeg artifacts, low quality, text, signature, chibi, pablo picaso"

# 画像生成

steps = 60

# 現在の時刻を文字列として取得

date = datetime.now().strftime("%Y%m%d_%H%M%S")

filename = f"image_{date}_{seed}_step_{steps}.png"

# 画像を保存

image.save(filename)

info = PngImagePlugin.PngInfo()

info.add_text("text", f"prompt: \"{prompt}\", negative: \"{negative}\", seed: {seed}, steps: {steps}")

img = Image.open(filename)

img.save(filename, "PNG", pnginfo=info)

print(filename)

print("seed:", seed, "steps:", steps)

print(prompt)

seed = random.randint(0, 10000)