IP-Adapter
モデル一覧 : IP-Adapterモデル
unCLIPやPrompt-Free Diffusionのように画像をプロンプトとして画像生成するためのアプローチ
2つの要素で構成される
reference画像の画像特徴量を抽出するための画像エンコーダ(CLIP)
それを拡散モデルに埋め込むためのDecoupled Cross-Attentionモジュール
テキスト特徴量と画像特徴量を完全に分離している
ControlNetと同じように同じベースモデルを使っているモデルに対しては同じIP-Adapterを使える
ControlNetやT2I-Adapter等と完全な互換性がある

>細かい機能を持つ IP-Adapter

顔に特化したip-adapter
ほぼface swap

ip-adapter-plus-faceの改良版

画像よりもプロンプトに忠実に

>CLIP画像埋め込みに代えて顔認識モデルからの顔ID埋め込みを用い、さらにLoRAを用いてIDの一貫性を向上させている。
InsightFaceを使い、顔IDの埋め込みを抽出する
顔の構造をCLIPが担当、ID?をInsightFaceが担当するようにした




これは流行る(確信)nomadoor
コードとモデルの配布が待ち遠しいwogikaze
めちゃめちゃすぐ来たnomadoor


Related