RAGサーベイ論文

論文情報

タイトル：A Survey on Retrieval-Augmented Text Generation for Large Language Models

発行日：2024年4月

著者：Yizheng Huang, Jimmy Huang

所属：York Univ

URL：https://arxiv.org/pdf/2404.10981

#AI-論文

論文のポイント

RAGのワークフローは、検索前、検索後、生成の各段階に分類できる

https://scrapbox.io/files/664203b8562deb001cbcf5f7.png

RAGのコア技術

https://scrapbox.io/files/664a05bf46e715001cd48285.png

論文を読んで感じたこと

概要

2.1 RAG の基本的なワークフロー

RAGの基礎的なワークフローは、外部ソースからなるインデックスを作成することから始まります。このインデックスは、特定のクエリに基づくリトリーバモデルを通じて、関連する情報を取得するための基礎となる。最後のステップは、検索された情報をクエリと結合して目的の出力を生成するジェネレータモデルを含む。

https://scrapbox.io/files/664a058aa0e0a3001c20b946.png

2.2 RAGパラダイム

RAGパラダイムは、ドメイン内の研究を整理し、LLMのパフォーマンスを向上させるためのシンプルでありながら堅牢なフレームワークを提供します。RAGの中心にあるのは検索メカニズムであり、高品質な結果を生成するために不可欠です。したがって、このパラダイムは、検索の観点から、事前検索、検索、事後検索、生成の4つの主要なフェーズで構成されています。単一ホップと複数ホップの両方の検索アプローチは、反復的な検索生成サイクルを含み、この4フェーズ構造に従います。図3は、RAGのコア技術の分類ツリーです。

https://scrapbox.io/files/664a05bf46e715001cd48285.png