大倉が読んだ論文まとめ(画像検索系)
2025/09/26
条件付き画像検索と画像生成の統合
DEIM '24
合成画像検索において、検索結果と生成画像を混ぜる
合成画像検索: データベース内の元画像 + クエリ ⇒ そのクエリに合ったデータベース内の画像を取ってくる
/icons/hr.icon
2025/12/19
類似度グラフの事前再計算による 拡散式画像検索の効率化
DEIM '24
画像間類似度の事前計算 + リランキングで高速かつ高精度な画像検索が実現可能
入力画像と類似する画像を検索する「類似画像検索」
処理速度と検索精度の両立が目的なので、アプリケーション系の研究ではない...？
/icons/hr.icon
2026/01/09
Imagine and Seek: Improving Composed Image Retrieval with an Imagined Proxy
CVPR '25
曖昧なクエリにおける合成画像検索のタスク
元画像 + クエリ のペアから、元画像とクエリの差分を明確にしたプロンプトを推論
具体的には元画像に含まれる物体をBLIP-2で検出して、LLMでプロンプト生成
その後、MIGCというモデルで元画像を参照し、プロンプトを使って代理画像生成
代理画像の特徴だけに引っ張られないようなベクトルを作る必要がある
色々計算して、代理画像と入力文章の両方に考慮したベクトルを生成(この部分はあまり自分も分かっていない)
最終的な検索結果はテキスト空間の類似度と画像空間の類似度の両方を重視して類似度を算出
/icons/hr.icon
2026/01/21
GenIR: Generative Visual Feedback for Mental Image Retrieval
NeurIPS '25
ユーザーが思い浮かべている画像(mental image)の検索手法として、テキストではなく“生成画像による視覚フィードバック”を使う新しいインタラクティブ検索手法
クエリからStable Diffusionなどで画像生成⇒生成画像を基にCLIPなどで画像検索
検索結果の画像を基に、ユーザーが「クエリをどう修正すればいいか」をフィードバック
つまり、「クエリをどのように変えたら目的の画像を取ってきやすくなるか」というサーベイ論文に近い
↑この論文でやっていることは自分の研究で今まさにやっている「ベースライン手法での曖昧クエリを用いた画像検索アプローチだと何が問題か」という問題分析と全く同じ
参考文献として引く価値はとてもありそう
/icons/hr.icon
2026/01/23
Interactive Re-ranking via Object Entropy-Guided Question Answering for Cross-Modal Image Retrieval
ACM ToMM
2022年公開
うろ覚え画像の対話型画像検索...の先駆け
YES/NOで絞り込める質問で画像を絞っていく、ベーシックなアキネイター検索
質問妥当度: うまく候補集合を2分割できるように質問（＋確信度、キャプショニング時の確率）
実験や評価の設定とかはちゃんと手堅くやっている
2022年発表なので画像検索としては超古典的
北大の長谷山先生はこういう画像検索とかを色々やっているので、参考にできるところは参考にしたいと思った
/icons/hr.icon
2026/02/06
Diffusion Augmented Retrieval: A Training-Free Approach to Interactive Text-to-Image Retrieval
SIGIR '25
画像生成を挟むうろ覚え画像の対話型画像検索
クエリからLLMで質問生成→質問の応答によってまたLLMでクエリ改善
なぜかクエリ改善する際に3つプロンプトを生成している...
それらのプロンプトから画像生成し、CLIPなどでベクトルを平均化⇒画像検索
VisualDialogデータセットは画像の他にも対話もデータセットに含まれていて中々面白い
/icons/hr.icon
2026/03/11
Interactive Image Retrieval Meets Query Rewriting with Large Language and Vision Language Models
ICMR '24 ⇒ ACM ToMM
内容自体はICMRの論文と全く同じなので以下のURLを参照↓
/icons/hr.icon
2026/03/25 (発表なし)
FiRE🔥: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval
SIGIR '25
「複雑な画像検索には、粗いデータと一発学習では足りない。細粒度な文脈をまず理解させ、その後で検索整列を学ばせるべきだ」 という主張を、データセット設計と2段階学習で具体化
まだ理解度低めなので、後々しっかり読みこむ
/icons/hr.icon
2026/03/27
Interactive Text-to-Image Retrieval with Large Language Models: A Plug-and-Play Approach
ACL '24
うろ覚え画像の対話型画像検索
質問生成して、質問の応答によってクエリ拡張するのは従来の手法と同じだが、質問のフィルタリングを一工夫
アキネイター検索のようなYES/NOではなく、それ以外の質問でも答えられるように
/icons/hr.icon
2026/04/17
ImageRAG: Dynamic Image Retrieval for Reference-Guided Image Generation
ICLR '26（ポスター）
うろ覚え画像の対話型画像検索
テキストクエリから一旦そのまま画像生成
VLMが生成画像で欠けているテキストクエリの要素を推論（複数）
推論した欠けている要素のキャプションから、CLIPで画像検索 ※Top-1
プロンプトに加えて、欠けている要素のキャプションとCLIP検索画像を参照して再度画像生成
再度VLMに推論させ、まだ不適だと判断したら上記の処理を反復
/icons/hr.icon
2026/05/15
VisRet: Visualization Improves Knowledge-Intensive Text-to-Image Retrieval
ACL '26 Camera Ready
問題設定・背景は違うが、手法のアプローチ自体は割と似ている論文
「意味的に近い画像はCLIPで検索できるが、被写体の姿勢や向きといった細かい情報までは考慮できない」
質問文から、LLMがその質問の情報を解析 → 解析された情報を基に画像生成プロンプト用に整形
プロンプトから、生成画像をk件生成 → 順位の逆数の和でリランキング（昔の自分の手法と同じ）
画像検索用ベンチマーク
VisualRAG: 模様や特徴など、画像を見て回答する質問が中心
質問例「アマガエルの腹部に模様はあるか？」
VisualRAG-ME: VisualRAGを複数対象の質問文に拡張
質問例「ハジロオオシギ、キアシシギのどちらが縞のある翼を持つか？」
INQUIRE-Rerank-Hard: INQUIREデータセットから、特に難しい質問ケースを選別
質問例「雄・雌のカーディナルが、エサを分け合っている画像は何？」
COCO-HARD: MSCOCOの画像使用、複雑な空間関係を把握する質問
質問例「ピザの載った皿があり、側にワイングラスが2つある画像は何？」
比較手法
Text-to-Image Rematching
工夫なし: 初期クエリからそのまま画像検索
Rewriting: LLMでクエリを書き換えて画像検索
Text-to-Text Rematching ←この部分、「本当に画像経由する必要があるの？」のアンサー
対象画像キャプショニング: 検索対象の画像を先にキャプショニングして文章同士のcos類似度を比較
候補画像キャプショニング: 検索結果の画像をキャプショニングして、文章同士のcos類似度を比較
視覚抽象化手法: 候補画像キャプショニングの強化版（先行研究）
Image-to-Image Rematching
提案手法（これ）
実験結果
COCO-Hard以外のベンチマークでは提案手法が勝ってる
画像生成モデルの質によって精度が大きく変化
/icons/hr.icon
2026/05/27（IR Reading 2026春で発表済）
Same Image, Different Meanings: Toward Retrieval of Context-Dependent Meanings
SIGIR '26
抽象的クエリの画像検索フレームワークの提案
MSCOCO, LSDCデータセットから、同じ物語性のある5～20枚の画像グループ×100件
それぞれの画像グループに対するコンテキスト（文脈背景）2組
ポジティブな文脈背景と、ネガティブな文脈背景の2つ（「再会」と「永遠の別れ」みたいな）
LLMに画像グループの中の各画像とコンテキストを与え、抽象度レベル別のクエリ4件 × 2つの文脈背景 = 8件
このフレームワークによって、抽象度レベルでどれだけ画像検索精度が変わるか、画像などに文脈背景の情報をラベルとして埋め込むことで検索精度が変わるかを検証可能！
抽象度レベル
Lv.0 → 被写体、行動
Lv.1 → 文脈背景上の注目点、焦点
Lv.2 → 状況、登場人物の意図
Lv.3 → 雰囲気、感情的効果
文脈背景の埋め込み方法（比較手法）
テキストクエリに文脈背景情報を埋め込み、embeddingして検索対象画像との類似度算出
検索対象画像に文脈背景情報を埋め込み、embeddingしてテキストクエリとの類似度算出
上記2手法の統合（どっちも文脈背景情報を埋め込む）
実験結果
抽象度レベルが高くなるにつれて検索精度が低下
テキストクエリ・検索対象画像の両方に文脈背景情報を埋め込むと検索精度が大きく改善
追加実験
文脈背景情報の具体度が高くなるほど検索精度が上昇
画像検索において、抽象度の低いクエリでは視覚的類似性を重視、抽象度の高いクエリでは文脈的類似性を重視
/icons/hr.icon
2026/06/25
Category-level Text-to-Image Retrieval Improved: Bridging the Domain Gap with Diffusion Models and Vision Encoders
BMVC '25
テキストクエリ + テキストからの生成画像の特徴量を融合することで検索精度が向上
テキストクエリから画像を複数枚生成
変な画像が出てきてもその重心？ベクトルが破綻しないように、関係ない要素は弱く反映することで工夫
似ているけどカテゴリが違う画像が遠くなるように距離学習
テキスト類似度・画像類似度を重み付けして融合、リランキング
重みは距離学習の際に一緒に学習される
実験結果
多くのデータセットで提案手法が一番強い
追加実験
アブスタ → 重みλの学習が検索精度の改善で最も有効
カテゴリ名からの画像検索だけでなく、一般的な画像検索タスクにも有用
/icons/hr.icon
2026/07/15
Good Seed Makes a Good Crop: Discovering Secret Seeds in Text-to-Image Diffusion Models
NeurIPS '24 → WACV '25
画像生成のシード値の分析
最終生成画像はどの程度Seed値の影響を受ける？
実験①：初期シードを生成途中で変更してみる
初期シードの影響がとても強い
実験②：画像からSeed値を推論できる？
学習済分類器でできる
実験③：画像分析
MSCOCOをキャプショニングしてプロンプトを大量に作る
1024種類のSeedで実際に画像を生成、分析（元画像と距離を取ったり、クオリティ見たり）
違うプロンプト、同一Seedで生成結果を見比べる
実例：白黒になりがちなSeed値とか
追加実験
画像補完タスクとかでも試してみた
妙に文字が出やすいSeed値とかがあった