Diverse capability and scaling of diffusion and auto-regressive models when learning abstract rules

人間は、限られたサンプルから規則的な構造を発見し、推論されたルールを新しい設定に適用することに優れています。私たちは、現代の生成モデルが同様に有限のサンプルから根本的なルールを学習し、条件付きサンプリングを通じて推論を実行できるかどうかを調査します。Raven の Progressive Matrices タスクに触発されて、各サンプルが 3 行で構成され、オブジェクトの位置、数、または属性を管理する 40 の関係ルールの 1 つがすべての行に適用される GenRAVEN データセットを設計しました。サンプルが整数配列としてエンコードされ、ルール学習に重点が置かれるデータ分布を学習するように生成モデルをトレーニングしました。私たちは、拡散 (EDM、DiT、SiT) と自己回帰モデル (GPT2、Mamba) の 2 つの生成モデル ファミリを比較しました。構造的に一貫性のあるサンプルを生成し、無条件および条件付きサンプリングを介してパネル補完を実行する能力を評価しました。拡散モデルは無条件生成に優れ、ゼロからより多くの斬新で一貫性のあるサンプルを生成し、記憶が少なくなりますが、高度な条件付きサンプリング方法を使用しても、パネル補完のパフォーマンスは低くなります。逆に、自己回帰モデルは、欠落しているパネルをルールに一致した方法で補完することに優れていますが、無条件で一貫性の低いサンプルを生成します。多様なデータスケーリング動作が観察されています。両方のモデルファミリーで、ルール学習は特定のデータセットサイズ（ルールあたり約1000例）で発生します。トレーニングデータが増えると、拡散モデルは無条件生成機能と条件付き生成機能の両方を向上させます。ただし、自己回帰モデルの場合、トレーニングデータが増えるとパネル補完は向上しますが、無条件生成の一貫性は低下します。私たちの調査結果は、ルール学習と推論タスクにおける拡散モデルと自己回帰モデルの補完的な機能と限界を浮き彫りにし、それらのメカニズムと人間のような推論の可能性をさらに研究する道を示唆しています。