ZipLoRA
Paper page - ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
https://arxiv.org/abs/2311.13600ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
https://gyazo.com/8066c2611e790764be008ef7cce25a70
LoRA を安価かつ効果的にマージする方法である ZipLoRA を提案します。主題とスタイルの幅広い組み合わせに関する実験では、ZipLoRA が再コンテキスト化の機能を維持しながら、主題とスタイルの忠実度がベースラインより大幅に改善され、説得力のある結果を生成できることが示されています。
コンテンツLoRAとスタイルLoRAの重み行列の列間のコサイン類似度を最小化する
ことが信号干渉を防ぐ(=両方のLoRAの性能を保持できる)という仮説に基づく