HyperLoRA
https://github.com/bytedance/ComfyUI-HyperLoRAbytedance/ComfyUI-HyperLoRA
https://arxiv.org/abs/2503.16944HyperLoRA: Parameter-Efficient Adaptive Generation for Portrait Synthesis
https://gyazo.com/89c2d3287c7cc16d8431b18ba3d77a18
ゼロショットでLoRA重みを生成しID転送を行う
全LoRA行列をベクトル化し、128 次元に圧縮
ハイパーネットワークが低次元ベクトルをゼロショット生成
ID転送には128次元程度で十分
LoRA行列をBase-LoRAとID-LoRAに分割することで、IDとそれ以外の関係のない特徴(背景、服装 etc.)を分離する
ComfyUIで使う
カスタムノード(公式)
https://github.com/bytedance/ComfyUI-HyperLoRAComfyUI-HyperLoRA
モデル準備
hyper_lora以下のフォルダは多分無いので作る
$ path\to\ComfyUI\models\hyper_lora\clip_vit\clip_vit_large_14
https://huggingface.co/openai/clip-vit-large-patch14/blob/main/model.safetensorsclip-vit-large-patch14/model.safetensors
https://huggingface.co/openai/clip-vit-large-patch14/blob/main/config.jsonclip-vit-large-patch14/config.json
$ path\to\ComfyUI\models\hyper_lora\clip_processor\clip_vit_large_14_processor
https://huggingface.co/openai/clip-vit-large-patch14/blob/main/preprocessor_config.jsonclip-vit-large-patch14/preprocessor_config.json
$ path\to\ComfyUI\models\insightface\models
https://drive.google.com/file/d/18wEUfMNohBJ4K3Ly5wpTejPfDzp-8fI8/viewantelopev2.zip (解凍する)
$ path\to\ComfyUI\models\hyper_lora\hyper_lora
https://huggingface.co/bytedance-research/HyperLoRA/tree/main/sdxl_hyper_id_lora_v1_editHyperLoRA/sdxl_hyper_id_lora_v1_edit (フォルダごと)
https://huggingface.co/bytedance-research/HyperLoRA/tree/main/sdxl_hyper_id_lora_v1_fidelityHyperLoRA/sdxl_hyper_id_lora_v1_fidelity (フォルダごと)
ComfyUI_workflow
text2image
https://gyazo.com/65e5de50b1776a89dda0b4105a174ea7
HyperLoRA_text2image_edit.json
バッチで入力することで複数枚を参照画像にできる
🟪fidelityモデルは忠実度が高いが、参照画像からコピペしたようなものしか生成できずプロンプトにほぼ従わない
こちらはDetailerとして使うのが良いかもしれない
🟪editモデルは編集しやすさを担保するために忠実度を少し下げるが柔軟性がある
🟨トリガーワードとしてfcsks fxhks fhyksが必要
Detailer
https://gyazo.com/14f996842e144733b791ee23ca7ecc65
HyperLoRA_Detailer_fidelity.json
🟥DetectorにYOLOを使った最もシンプルな形のDetailer
denoise 0.4の2サイクル
🟪fidelityモデルを使用
🟩少し荒れた画像が生成されたのでHyperLoRAのweightを0.7に下げる