自己回帰モデル
ARモデル(autoregressive model)とも呼ばれる。
細かいところはWikipediaなどに乗ってるが「現在の状態に依存して次を予想する」タイプのモデルで、自然言語処理や経済予想モデルなどに主に使われた来た。
現在AIと言って大抵指し示されるLLMなんかはこの自己回帰モデル(言語処理)の成果物と言える。
なぜか知らないが2024年末のJanus-Pro-7B辺りから画像生成分野でみかけるようになり、3月末にはChatGPTの画像生成モデルや複数のオープンモデルなどが立て続けに出ており画像生成分野でも自己回帰モデルブームが起きている…morisoba65536.icon
その一方でllmに拡散モデルを使う例も出始めていてお互いの領域に相乗りしていっているのが2025/04/10現在の状況。
(あくまで推測だが)ChatGPTの画像生成は純粋な自己回帰ではなく拡散モデルとのハイブリッド構造との話も出ている。
最も拡散モデルも自己回帰モデルも、どちらも殆どはTransformerを使っているが…
#自己回帰LLM
#自己回帰構造化言語モデル
関連: RNN