ICTIR 2024

Evaluation

Coherence-based Query Performance Measures for Dense Retrieval

クエリパフォーマンス予測（QPP）は、関連性の判断なしにクエリに対する検索エンジンの結果の効果を推定します。この研究では、単一表現の密ベクトル検索モデル（ANCEとTCT-ColBERT）によって生成されたランキングの効果を予測することを目的としています。

主なポイント：

ニューラル埋め込み表現を使用する既存の教師なし一貫性ベースの予測器の変種を提案。

TREC Deep Learning Trackデータセットでの実験で、密ベクトル検索に対する精度の向上を実証（TCT-ColBERTで最大92%、ANCEで188%）。

スケーリングされた絶対ランク誤差（sARE）評価指標と特定の線形混合モデルを使用して、クエリタイプがクエリパフォーマンスに大きな影響を与えることを発見（QPP予測器の不安定なパフォーマンスの最大35%を説明）。

この感度が密ベクトル検索モデルに特有であることを指摘。

予測器のパフォーマンスがスコアベースの予測器よりも低い場合、それは部分的にMAP@100のクエリタイプへの感度によるものであることを発見。

この新しい分析は、密ベクトルQPPに関する新しい洞察を提供し、既存の予測器の潜在的な不安定なパフォーマンスを説明し、密ベクトル検索モデルにおける異なるクエリタイプの特徴を概説しています。