SIGIR 2024

RAG

The Power of Noise: Redefining Retrieval for RAG Systems

最近、Retrieval-Augmented Generation (RAG)が登場し、大規模言語モデルの事前学習知識を拡張する手法として注目されています。この研究では、RAGシステムの検索戦略について包括的な調査を行いました。特に、検索システムが取得すべき文書の種類に焦点を当てています。興味深い発見として、クエリに直接関連しない高スコアの文書が、言語モデルの効果を低下させることが分かりました。さらに驚くべきことに、ランダムな文書をプロンプトに追加すると、言語モデルの精度が最大35%向上することが判明しました。これらの結果は、検索システムと言語モデルを統合する際の適切な戦略を研究する必要性を強調し、この分野での今後の研究の基礎を築いています。

IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues

Retrieval-Augmented Generation (RAG)は外部知識を活用して大規模言語モデル(LLM)の出力を改善する手法ですが、いくつかの課題があります。これらの課題に対処するため、IM-RAGという新しいLLM中心のアプローチが提案されました。 IM-RAGは、内部独白（Inner Monologue、IM）を学習することで、多段階のRAGをサポートします。このプロセスでは、LLMが中核的な推論モデル（Reasoner）として機能し、Retrieverを通じて情報を収集するクエリを提案したり、最終的な回答を提供したりします。また、RetrieverとReasonerの間のギャップを埋めるRefinerも導入されています。 このシステムは強化学習（RL）で最適化され、Progress Trackerが中間段階の報酬を提供します。さらに、回答予測は教師あり微調整（SFT）で別途最適化されます。 HotPotQAデータセットを用いた実験では、IM-RAGが最先端の性能を達成し、情報検索モジュールとの高い柔軟性と、学習された内部独白による強い解釈可能性を示しました。

Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models

この論文は、uRAGという新しいフレームワークを紹介しています。uRAGは、複数の下流のRetrieval-Augmented Generation (RAG)システムに対応する統一された検索エンジンを特徴としています。各RAGシステムは、オープンドメイン質問応答、事実検証、エンティティリンキング、関係抽出など、異なる目的で検索結果を利用します。論文では、検索エンジンと検索モデルの最適化に関与する下流のRAGシステムとの通信を標準化する一般的なトレーニングガイドラインを提示しています。これにより、18のトレーニングに関与するRAGシステムと、18の未知のRAGシステム（検索エンジンの新規ユーザーとして）からなる大規模な実験エコシステムの構築が可能になりました。この実験エコシステムを使用して、機械用検索エンジンの開発における可能性と課題について、理解を深めるための基本的な研究課題に取り組んでいます。

Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation

この論文は、大規模言語モデル（LLM）のパーソナライゼーションのための検索強化アプローチを研究しています。著者らは、パーソナライズされた生成を目的としてLLMに限られた数の個人文書を提供する検索モデルを最適化する初めての試みを提案しています。二つの最適化アルゴリズムが開発されました：

パーソナライズされた生成の任意の指標を使用して報酬関数を定義する強化学習ベースのアルゴリズム

下流のLLMから検索モデルへの知識蒸留に基づくアルゴリズム

さらに、各LLM入力に対してどの検索モデルを選択するかを決定する、生成前後の検索モデル選択モデルも導入されています。言語モデルパーソナライゼーション（LaMP）ベンチマークの多様なタスクで広範な実験を行った結果、7つのデータセットのうち6つで統計的に有意な改善が見られました。この研究は、LLMのパーソナライゼーションにおける検索強化アプローチの有効性を示し、様々なアプリケーションや分野に大きな影響を与える可能性があります。

FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation

FeB4RAGは、Retrieval-Augmented Generation (RAG)フレームワーク内でのフェデレーテッド検索のために特別に設計された新しいデータセットです。このデータセットは以下の特徴を持っています：

BEIR ベンチマークコレクションの16のサブコレクションから派生

チャットボットアプリケーション向けに調整された790の情報リクエスト（会話型クエリに類似）を含む

各リソースから返される上位の結果と、LLMによって導出された関連性判断を提供

また、著者らは高品質なフェデレーテッド検索システムがRAGの応答生成に与える影響を、単純なアプローチと比較して実証しています。これは、RAGパイプラインで生成された回答の質的な比較によって行われています。このコレクションは、特にRAGパイプラインの文脈において、新しいフェデレーテッド検索手法の開発と評価を促進・支援することを目的としています。リソースは公開されており、GitHub上で利用可能です。FeB4RAGは、現代の情報検索の課題を反映し、RAGパラダイムに適したデータセットとして、既存のデータセットとの隙間を埋めることを目指しています。

Dense Retrieval 1

本論文では、大規模言語モデル（LLM）を活用した教師なし密ベクトル検索モデル選択手法LARMOR（Large Language Model Assisted Retrieval Model Ranking）を提案しています。LARMORの主な特徴と利点は以下の通りです：

テストコーパス（ターゲット）に対して使用する密ベクトル検索モデルを選択するための効果的な教師なしアプローチ。

公開コーパスで訓練された密ベクトル検索モデルを新しい非公開ターゲットコーパスに適用する際の課題（ドメインシフト問題）に対応。

LLMを利用して、ターゲットコーパスからサンプリングした文書に基づき、疑似関連クエリ、ラベル、参照リストを生成。

生成された疑似関連信号に対する有効性に基づいて密ベクトル検索モデルをランク付け。

ターゲットコーパスのみに依存し、訓練コーパスやテストラベルを必要としない初めての手法。

最先端の密ベクトル検索モデルの大規模プールを構築し、既存のベースラインを上回る性能を実証。

この手法は、ドメインシフトのあるシナリオでの密ベクトル検索モデル選択に対応し、特にゼロショットシナリオなど、ターゲットコーパスにラベルがない場合に有効です。コードと結果は公開されており、GitHubで入手可能です。