SDXL-Lightning
Gemini 1.5 Pro.icon
概要
SDXL-Lightningは、SDXLをベースにした、1ステップまたは数ステップで高品質な1024pxの画像を生成できるテキストtoイメージ生成モデルです。
このモデルは、プログレッシブ蒸留と敵対的蒸留を組み合わせた新しい蒸留方法を用いて、品質とモードカバレッジのバランスを実現しています。
先行研究と比べてどこがすごい？
少ないステップ数での高品質な画像生成: 従来の拡散モデルでは、高品質な画像を生成するために多くのステップが必要でしたが、SDXL-Lightningは1ステップまたは数ステップで高品質な画像を生成できます。
1024pxの高解像度生成: 従来の蒸留モデルは512pxまでしか対応していませんでしたが、SDXL-Lightningは1024pxの高解像度生成が可能です。
LoRAとfull UNetの提供: LoRAは、既存のモデルに適用できる軽量なモデルであり、full UNetは最高の品質を提供します。
技術や手法のキモはどこ？
プログレッシブ蒸留: 教師モデルの知識を生徒モデルに段階的に蒸留することで、少ないステップ数でも高品質な画像生成を可能にします。
敵対的蒸留: 敵対的学習の枠組みを導入することで、生成される画像の品質を向上させます。
Discriminator Design: 事前学習済みの拡散モデルのU-Netエンコーダーを識別器のバックボーンとして使用することで、効率的な蒸留を可能にし、すべてのタイムステップでの識別をサポートします。
Loss Objectives: サンプル品質とモードカバレッジのトレードオフを制御するための2つの敵対的損失関数を提案しています。
Stable Training Techniques: 敵対的学習の安定化、様々なタイムステップでの学習、x0予測への切り替えなど、安定した学習を実現するための技術が導入されています。
どうやって有効だと検証した？
定性的な比較: 他のオープンソースの蒸留モデル（SDXL-Turbo、LCM）と比較し、全体的な品質、詳細、スタイル、レイアウトの保持において優れていることを示しました。
定量的な比較: Frechet Inception Distance (FID) とCLIPスコアを用いて、他の蒸留モデルと比較しました。SDXL-Lightningは、高解像度の詳細において優れている一方で、多様性とテキスト整合性においても同等のパフォーマンスを達成しました。
Ablation Study: 異なるベースモデルへのLoRAの適用、異なるアスペクト比での推論、ControlNetとの互換性など、様々な検証を行いました。
議論はある？
チェックポイントの分割: 他の手法とは異なり、各推論ステップ設定に対して個別のチェックポイントを生成する必要がある点が指摘されています。
UNetアーキテクチャ: UNetアーキテクチャは、1ステップ生成には最適ではない可能性が議論されています。
次に読むべき論文は？
SDXL: SDXL-LightningのベースとなっているStable Diffusion XLの論文を読むことで、SDXL-Lightningの理解を深めることができます。
Progressive Distillation for Fast Sampling of Diffusion Models: プログレッシブ蒸留の論文を読むことで、SDXL-Lightningの蒸留方法についてより深く理解することができます。 また、SDXL-Lightningの論文で引用されている関連研究を読むことも、理解を深める上で役立つでしょう。
両社の論文をわたす
Gemini 1.5 Pro.icon
table:まとめ
モデル SDXL-Lightning Consistency Model
目的 高速かつ高品質なテキストtoイメージ生成 高品質なサンプル生成
構造 Stable Diffusion XLの蒸留モデル 拡散モデルの蒸留モデルまたは単独学習モデル
学習方法 敵対的蒸留とプログレッシブ蒸留 知識蒸留またはConsistency Training
サンプリング方法 少数ステップ 1ステップまたは複数ステップ
その他 SDXLの機能を継承 拡散モデルに依存しない学習が可能
SDXL-LightningとConsistency Modelは、どちらも拡散モデルに基づいた画像生成モデルですが、いくつかの重要な違いがあります。
モデルの目的
SDXL-Lightning: 高品質な画像を生成するためのテキストtoイメージの拡散モデルを、少ないステップ数で高速に生成することを目的としています。
Consistency Model: ノイズからデータへのマッピングを学習し、高品質なサンプルを生成することを目的としています。
速さも明らかに目的なのになぜはしょった？基素.icon
モデルの構造
この手法は、プログレッシブ蒸留と敵対的蒸留という2つの主要な要素を組み合わせています。
プログレッシブ蒸留（Progressive Distillation）
教師モデル（ここでは、Stable Diffusion XL）の知識を生徒モデル（SDXL-Lightning）に段階的に蒸留します。具体的には、教師モデルが複数ステップで行うであろうノイズ除去プロセスを生徒モデルに学習させます。 これにより、生徒モデルは少ないステップ数でも高品質な画像を生成できるようになります。
敵対的蒸留（Adversarial Distillation）:
生成された画像の品質を向上させるために、敵対的学習の枠組みを導入します。識別器は、教師モデルが生成した画像と生徒モデルが生成した画像を区別するように学習し、生徒モデルは識別器を欺くように学習します。これにより、生徒モデルは教師モデルの生成画像により近い高品質な画像を生成できるようになります。
GANみたいなかんじか基素.icon
これらの2つの蒸留方法を組み合わせることで、SDXL-Lightningは、少ないステップ数（1ステップ、2ステップ、4ステップ、8ステップ）で高品質な画像を生成できるという特徴を実現しています。
Consistency Model: 拡散モデルを蒸留する方法と、単独で学習する方法（Consistency Training）の2つがあります。
学習方法
SDXL-Lightning: 敵対的蒸留とプログレッシブ蒸留を組み合わせることで、生成される画像の品質とモードカバレッジのバランスを取っています。
Consistency Model: 蒸留の場合は、事前学習済み拡散モデルからの知識蒸留によって学習します。単独学習の場合は、新しい生成モデルとしてConsistency Training lossを使って学習します。
サンプリング方法
SDXL-Lightning: 少ないステップ数（1ステップ、2ステップ、4ステップ、8ステップ）で高品質な画像を生成できます。
Consistency Model: 1ステップで高品質な画像を生成できますが、複数ステップのサンプリングも可能です。
その他
SDXL-Lightning: SDXLをベースにしているため、SDXLの機能（例えば、ControlNetとの互換性）を継承しています。
Consistency Model: 拡散モデルを蒸留するだけでなく、単独で学習することも可能です。