ACE++ - work4ai

ACE++

ACEと同様Long‑context Condition Unit (LCU)に複数のconditionをまとめてモデルに入力する　

テキスト/参照画像特徴/マスク/潜在ノイズ

これをチャンネル次元で結合することで計算コストを下げた

LoRA版

Subject-Driven Image Generation

https://huggingface.co/ali-vilab/ACE_Plus/tree/main/subjectcomfyui_subject_lora16.safetensors

ID転送/face swap

https://huggingface.co/ali-vilab/ACE_Plus/tree/main/portraitcomfyui_portrait_lora64.safetensors

画像編集

https://huggingface.co/ali-vilab/ACE_Plus/tree/main/local_editingcomfyui_local_lora16.safetensors

フルファインチューニング版

https://huggingface.co/ali-vilab/ACE_Plus/tree/mainace_plus_fft.safetensors

🚨

ACE++に関する問題への対応や更新が遅れてしまいましたことを、心よりお詫び申し上げます。FLUXモデルを用いた後学習によるACEモデルのさらなる開発を一時停止せざるを得ない状況となりました。FLUX基盤モデルを使用した後学習には、いくつかの重要な課題が判明しています。

主な問題点は、トレーニングデータセットとFLUXモデル間の高い非均質性であり、これによりトレーニングが非常に不安定になることです。さらに、FLUX-Devは蒸留モデルであり、その元々のネガティブプロンプトが最終的なパフォーマンスに与える影響が不確定である点も懸念されています。

その結果、今後の取り組みは、Wanシリーズの基盤モデルを用いたACEモデルの後学習に焦点を当てることになります。また、上述の理由から、FFTモデルの性能は、LoRAモデルと比較してさまざまなタスクで低下する可能性があります。そのため、より良い結果を得るためには、引き続きLoRAモデルを使用することを推奨いたします。ただし、FFTモデルは、この分野での学術的な探求や研究を促進する一助となることを期待して提供しています。

text2imageでもVACE(WAN2.1)を使ったほうがいい可能性もあるのかnomadoor.icon