画像生成でのキャラクターの一貫性を保つ
画像生成AIでキャラクターの一貫性が保てない
問題に対するアプローチ
対策
デザインを妥協して一貫性を優先する
お絵描きAIで漫画を描く#63f2219f774b1700001faac3
LoRA
を利用する
Tutorial (EN): Creating Consistent Characters with NovelAI Diffusion Anime (Female) | by Anlatan | Medium
モデル自体の進化
Sora
は時系列ごとに保てている
NovelAI Character Reference
/work4ai/Story2Board
参照ボードを1つ作って、その特徴を常にターゲットの
Self-Attention
に混合しながら生成
手の形や表情という細かな一貫性を維持するために
RAVM
を使ってトークンレベルで直接処理してself attensionに混合する
cf.
cross-attention map
は粗い
from
お絵描きAIで漫画を描く
AIと3Dを利用したアニメ制作 統一性のある背景を様々なアングルから生成｜abubu nounanka
ControlNet: Anime Lineart
+ 3Dで
漫画未経験のエンジニアが今のAIで漫画制作にトライしてみた記録2023年夏時点版｜Anno Takahiro
出力をモノクロにすれば色の一貫性の難易度が減る
ControlNet
のreference onlyを使う