1ページ丸ごと生成するワークフロー

2023年4月12日 AIを利用した漫画製作！１ページ丸ごと生成させて漫画化してみる｜abubu nounanka あぶぶ

自分の絵柄のLoRAを使ってガチャを回し、切り貼りしてNovelAI diffusion iterative image-to-image refinement workflow

小物は3Dをつかう

所要時間15分。ギターには3D作画を使っています。こういった形の決まっているオブジェクトの線画作成は、3D空間上への配置やレンダリング所要時間を考慮しても「3D作画の方が早い」です。形状も正確だし。blenderは線画も各種レイヤーも出力してくれるし。こう↓

AI作画：線画生成しそうなプロンプト入力→良い感じの出るまで生成ガチャ

3D作画：3Dモデル配置→カメラアングル調整→線画レンダリング

3Dのレンダリングに画像生成AIを使う事例

今の画像生成AIででないものは最初から手描き前提とする

パースの効いた躍動感のあるカットは、現在のAIでは生成が難しい...

画面右側で見切れたオッサンの苦悶顔なども上手い具合に生成できないですね。

AIが不得意なことをやらせても時短にならないという感覚を身につけている

「部屋！壁！窓！」みたいなシンプルな背景は手描きでバーッと描く方が早いですし、物体の形状を正確に描写したい場合は３D作画が最適だと思います。

画像生成AIの成果物は人間が修正しなければならない

「果物が雑然と置かれた野菜市場の背景」を描くのにはAIが非常に役立ちましたが、整合性を無視したものがそこかしこに描かれがちなので常に全面的な修正が必要となります

画像生成AI利用が不向きな漫画の実例

ComfyUIでControlNetためす

/work4ai/🦊ControlNet

https://huggingface.co/TencentARC/t2i-adapter-openpose-sdxl-1.0

ComfyUIManagerの導入

/work4ai/ComfyUI Manager

badge(ComfyUI Manager)を有効に

/work4ai/T2I-Adapterを入れてみたけどうまくいかない

サンプルを見ると反転しないとだめかも

https://huggingface.co/TencentARC/t2i-adapter-sketch-sdxl-1.0

そうだった

https://gyazo.com/cfa86b43c62ea36e7cc588013a3d3397

seedによってはstrengthの調整が必要になる

原稿を用意する

セリフの駒を消すのがめんどくさすぎるのでフォルダに分けておくとよい

手の表情をつける

Character bones that look like Openpose for blender _ Ver_96 Depth+Canny+Landmark+MediaPipeFace+finger+CameraPose

OpenPoseを用意する

手書きopenposeボーン

クリスタのボーンはpose maniacsと連携できるのか～

クリスタのボーンの書き出しが遅すぎる

5体で数十秒

メモリ枯渇警告が出る

リサイズができない

https://sorenuts.jp/8294/

代わりにEnchance And Resize Hint Imagesをつかった

うまく出ない

https://gyazo.com/6dd417759dae434fc2f79aa23b2a92c1https://gyazo.com/f8d543b3c1beba16881eb4c4ff6f3cfe

頭が小さすぎるのかな？

手描きで大きくした

https://gyazo.com/46998b560e4c3260d881eada318b80f7

惜しい。でもこれってOpenposeを完全に無視していないか？

https://gyazo.com/b64c8f17616bb073834989607d0dd44c

Apply ControlNet: strength 0.94をみるといちおうきいている？左の人の顔が逆にならないのがおかしいが

https://gyazo.com/2f38609c974be5eebff0753d262e2b8b

それっぽいものがでることがある

https://gyazo.com/2d79ae3c83511056c6e681679b145350

workflow-202406240806.json

ダイナミックな構図を使っていないコマなら手描きのほうが早い

小さい人をControlnetでだすのは難しい

パラメータをずらしながらキューに積みたい。どのノードを使えばいいのか？

オープンポーズの人形手書きするときに、手書きのリファレンス画像を、元画像と同じサイズにするのかはめんどくさい

cropノードでやるのがいいだろう

コマごとに生成するワークフロー

自動生成する

/work4ai/comfyui controlnet auxをComfyUIManagerからインストール

エラーが出ていて正常にインストールできない

code:cmd

\ComfyUI_windows_portable\python_embeded\Lib\site-packages\git\cmd.py", line 152, in pump_stream

! for line in stream:

! UnicodeDecodeError: 'cp932' codec can't decode byte 0x87 in position 40: illegal multibyte sequence

! The above exception was the direct cause of the following exception:

! Traceback (most recent call last):

! File "threading.py", line 1045, in _bootstrap_inner

! File "threading.py", line 982, in run

! File "C:\Users\NAME\OneDrive\デスクトップ\ComfyUI_windows_portable\python_embeded\Lib\site-packages\git\cmd.py", line 165, in pump_stream

! raise CommandError(f"<{name}-pump>" + remove_password_if_present(cmdline), ex) from ex

! git.exc.CommandError: Cmd('<stderr-pump>') failed due to: UnicodeDecodeError(''cp932' codec can't decode byte 0x87 in position 40: illegal multibyte sequence')

! cmdline: <stderr-pump> git clone -v --recursive --progress -- https://github.com/Fannovel16/comfyui_controlnet_aux C:\Users\NAME\OneDrive\デスクトップ\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux

ComfyUI: 2261[642525](2024-06-16)

Manager: V2.37.1

パスがデスクトップだからだ

/work4ai/UnicodeDecodeError(''cp932' codec can't decode byte 0x87 in position 40: illegal multibyte sequence')にまとめた

DWPose Esitimatorのモデルの一部がダウンロードされない

DWPose-TorchScript-BatchSize5\dw-ll_ucoco_384_bs5.torchscript.pt.https://huggingface.co/hr16/DWPose-TorchScript-BatchSize5/blob/main/dw-ll_ucoco_384_bs5.torchscript.pt のダウンロードに失敗している

存在しないキャッシュから読もうとしている

手動でインストールして配置して再起動したら動いた

\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\LayerNorm\DensePose-TorchScript-with-hint-imageにdensepose_r50_fpn_dl.torchscriptを置いた

Openposeを使う

イラストはうまく姿勢をとってくれないことがある

これぐらいはっきりしていると認識する

https://gyazo.com/a8f1d9ac183defaf963a058235ed4495

https://www.amazon.co.jp/-/en/Funeral-Freeren-Newest-Issue-Complete/dp/B0CY8LCSPT

Dense poseを使う

リアルタイム性は必要ないので、DensePoseのほうがいいかも

https://gyazo.com/b471c3af9d46ca2e74054d7b5ba1d473

Openposeよりはいい感じに取ってくれるが不完全

ControlNetのモデルによる出力の違い

T2i-adapter-openpose-sdxl-1.0だと全然openposeのボーン通りにならない

OpenPoseXL2だと結構なる