Variational Open-Domain Question Answering
https://arxiv.org/abs/2210.06345
gpt.icon
研究概要：自然言語処理タスクで効果を示しているリトリーバル拡張モデル(RAG)の最適化において、変分推論を使用する研究はまだ少ない。本研究では、リトリーバル拡張モデルのエンドツーエンドトレーニングおよび評価を可能にする変分オープンドメイン（VOD）フレームワークを導入。
VODフレームワーク：自己正規化推定値に基づき、Réyni変分境界を利用してタスクの周辺尤度を近似。大規模コーパスにおけるリトリーバー分布も扱えるトラクタブルなアプローチを提供。
実装結果：医学試験問題に関する複数選択肢形式のデータセット「MedMCQA」でBioLinkBERTモデルをトレーニングし、MedPaLMモデルを上回る成績を示す。パラメータ数は大幅に少ないにもかかわらず、高い精度を達成。
医学セマンティック検索への応用：学習されたリトリーバー成分の効果を医学的文脈でのセマンティック検索において実証。