反復的なクエリ書き換えによる画像検索

書誌情報

タイトル：Enhancing Interactive Image Retrieval With Query Rewriting Using Large Language Models and Vision Language Models

掲載元　：ICMR

掲載年　：2024

著者　　：Hongyi Zhu, Jia-Hong Huang, Stevan Rudinac, Evangelos Kanoulas

何をしている論文？

検索結果に対するユーザのフィードバックと、それに基づくクエリ自動書き換えを繰り返すことによる、テキストからの画像検索手法の提案

手法の概要

検索→フィードバック→クエリ拡張→クエリ編集の4ステップを繰り返し

検索

既存のテキスト-画像埋め込みモデル（リトリーバ）を使用し、テキストクエリから画像を検索

入力：テキストクエリ

出力：画像のランキング

リトリーバとして、CLIPまたはBLIP2を採用

フィードバック

リトリーバが検索してきた画像に対し、クエリに対する正解ラベルを付与

実際に人間が検索評価を結果するのではなく、人間の評価を模倣する「人工アクター」を使用

人工アクターは、入力クエリに対する正解画像を知っている

検索結果のうち正解画像をランダムに抽出し、出力

クエリ拡張

フィードバックにより「正解」のラベルが付いた画像に対して、VLMによりキャプショニング

VLMとして、InstructBLIPを使用

元クエリとキャプションを連結して、拡張クエリを出力（元クエリ＋正解画像のキャプション×2）

クエリ編集

拡張クエリをLLMに入力し、新たなクエリに変換

クエリ編集方法として、要約・キーワード抽出・CoTによる要約の3手法を提案（もっとも検索に有効であったのはCoTによる要約）

新たなクエリは、画像検索のクエリに使用（以後、このステップを繰り返し）

工夫している点

単にキャプションをクエリとして利用するのではなく、LLMによりクエリに成型

キャプショニング時のハルシネーションを防止するために、出力キャプションの単語数を制限（100）

評価実験の方法と結果

テキスト-画像のデータセットを作成

テキスト-ビデオのペアデータセットを用い、ビデオのクリップを画像として使用

→1テキストクエリに対し、複数枚の正解画像が含まれる1対多データセット作成

（同時に、既存の1対1データセットを問題視（1テキストに対する正解が1枚の画像なわけがないだろう））

マルチターンによる画像検索の評価

単一ターンの検索と比較して、最大10%のRecallの改善

プロンプティング手法毎の比較

CoTによる要約を用いたクエリ編集が、もっとも高い検索性能を獲得

パラメータ数の異なるLLM同士の比較

パラメータ数の大きいモデルを使用しても、検索性能（Recall）に大きな変化はなし

面白いと感じた点

画像-テキストペアデータセットを、ビデオ-テキストペアデータセットから再構築した点

確かに、1つのテキストクエリに対して正解の画像は1枚ではないことを考えると、理にかなった設計である

その他感想

リトリーバやLLMをアブレーションスタディで比較

生成モデルが多数存在する現在では、技術選定の根拠として重要な評価