矢崎が今まで読んだ論文リスト
2024/08/23
① BERTと能動学習を用いた攻撃的なツイートの分類
発表会議：DEIM 2023
著者：及川正樹, 井上潮
所属：東京電機大学
＜メモ＞
BERTと能動学習を組み合わせた、日本語の攻撃的なツイートの分類
（ 能動学習：モデルが自ら（不確実な）学習データを選び出し、効率的に学習を行う手法）
（cold-start : 初期学習データから能動学習 / warm-start : 初期学習以降から能動学習適用）
7つの能動学習手法を使用し、攻撃的ツイートの分類BERTの構築
/icons/hr.icon
2024/08/30
② クエリ自動補完のための文書コレクションからのクエリログ生成
発表会議：DEIM 2023
著者：染谷 瑛進, 加藤 誠
所属：筑波大学
＜メモ＞
サイト内検索等のクエリログが不足した状況で有効な研究
文書集合から、クエリ補完に使う疑似クエリログ集合を生成
docT5queryを用いた文書からの疑似クエリ生成
LDAを用いて文書集合内のトピック構成比を取得
（LDA：文書内の単語の分布から文書全体のトピック推定する手法）
/icons/hr.icon
2024/09/06
③ 発話内容を用いたクエリ拡張による過去会話ログ検索
発表会議：DEIM 2023
著者：田貝奈央, 加藤誠
所属：筑波大学
＜メモ＞
現在の発話に関連する過去の発話の検索(発話からクエリ作成)
予測発話文を生成し、それを使ってクエリ拡張する手法を提案
クエリを使って過去発話集合に対して検索
YouTubeの動画からデータセット作成
/icons/hr.icon
2024/09/12
④ Text2Imageモデルを利用した楽曲歌詞に基づくサムネイル画像生成
発表会議：DEIM 2023
著者：佐々木 翔一, 牛尼 剛聡
所属：九州大学大学院 芸術工学府
＜メモ＞
楽曲歌詞を使った楽曲のサムネ画像の生成
キーフレーズ、画像のスタイル、画像の印象形容詞を歌詞から取得
キーフレーズはDoc2VecとWord2Vecを、スタイル及び形容詞はFT済みBERTを使って取得
/icons/hr.icon
2024/09/30
⑤ 食品レビュー検索でのクエリ拡張のためのLLMを用いた同義フレーズ生成
発表会議：DEIM 2024
著者：芦澤 亜里沙, 三林 亮太, 大島 裕明
所属：兵庫県立大学 大学院情報科学研究科
＜メモ＞
同義異表現レビュー検索のための研究
ChatGPTで入力クエリの言い換え表現生成してクエリ拡張
BERTでクエリとレビューのマッチ度算出、ランキング
/icons/hr.icon
2024/10/08
⑥ 大規模言語モデルを用いたカテゴリ説明文付与によるニュース推薦の性能向上
発表会議：DEIM 2024
著者：矢田 宙生, 山名早人
所属：早稲田大学院 基幹理工学研究科
＜メモ＞
ニュース記事の推薦システムの提案（SoTAとの比較せず）
ニュースタイトルと、カテゴリ説明文（カテゴリ名からLLMで生成）をエンコーダに入力したのが工夫点
閲覧済みニュースを使ったユーザ嗜好ベクトルを作成
/icons/hr.icon
2024/10/11
⑦ 日本語における大規模言語モデルの生成文検出
発表会議：DEIM 2024
著者：丸井 渚生, 曹 洋, 中村 篤祥
所属：北海道大学工学部情報エレクトロニクス学科
＜メモ＞
既存のLLM生成文検出手法を日本語へ適用して効果検証
RoBERTa, 対数尤度, 生成確率の順位, 生成確率の対数順位, エントロピーの5手法で検出
＜わかったこと＞
日本語でも検出可能
人の文とLLMの文の分布が一致しないから、その穴をついて検出している
/icons/hr.icon
2024/10/25
⑧ Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
発表会議：NeurIPS 2020
著者：Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler,
Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela
所属：Facebook AI Research, University College London, New York University
＜メモ＞
RAGの原著論文（Q&Aタスク）
入力クエリで外部データに検索し、取得文書と入力クエリをseq2seqモデル（BART）に入力、回答生成
文書検索にはDPR（Dense Passage Retrieval）モデル使用
入力クエリから正解を含む文書を検索できるように文書をベクトル化し保存
クエリベクトルと文書ベクトルの内積をとり、上位文書取得
参照・生成は2パターンある
RAG-Token：1トークン生成する毎に1文書参照
RAG-Sequence：1シーケンス生成する毎1文書参照
＜わかったこと＞
参照文書内に答えがなくても手がかりから正解を生成可能
事実に基づいた生成可能
外部データ変えるだけでseq2seqモデルの再学習せずに知識更新可能
/icons/hr.icon
2024/11/08
⑨ LLM-generated Explanations for Recommender Systems
発表会議：UMAP (ACM Conference on User Modeling, Adaptation and Personalization ) 2024
著者：Sebastian Lubos, Thi Ngoc Tran, Alexander Felfernig, Seda Polat Erdeniz, Viet-Man Le
所属：Institute of Software Technology, Graz University of Technology (Austria)
＜メモ＞
LLMに映画の説明文を生成させ、人間の評価を分析した
好みを予測した特徴ベース推薦、映画評価使ったアイテムベース推薦、好きな映画の条件使った条件ベース推薦の3パターンで説明文を生成させて実験（比較はテンプレート）
＜わかったこと＞
テンプレートよりは好まれた
明確さ、創造性、詳細さ、全体的な質が好まれた
/icons/hr.icon
2024/11/15（発表無し）
⑩ The persuasive role of Explanations in Recommender Systems
発表会議：Second International Workshop on Behavior Change Support Systems (BCSS 2014)
著者：Sofia Gkika, George Lekakos
所属：Department of Management Science and Technology, Athens University of Economics and Business
＜メモ＞
チャルディーニの「影響力の原則」を用い、推薦映画に説明をつけて実験
（影響力の原則：人が説得されやすくなる心理的要因を体系化したもの）
互恵性、一貫性、社会的証明、希少性、好意、権威の6つのそれぞれを使って説明。（特に有効）
ユーザが低評価するであろう映画の推薦でも、原則に則った説明によりユーザは推薦映画を採用するようになる
/icons/hr.icon
2025/1/10（発表無し）
⑪ What Makes a Helpful Online Review? A Study of Customer Reviews on Amazon.com
掲載雑誌：Management Information Systems Quarterly （MIS Quarterly）Vol.34 No.1 March 2010
著者：Susan M. Mudambi, David Schuff
所属： Department of Marketing and Supply Chain Management, Department of Management Information Systems Fox School of Business Temple University
＜メモ＞
顧客レビューがどのように購入決定を助けるかを調査（Amazon.comから6製品計1587件のレビュー使用）
「有用なレビュー」とは何かを理論的に定義し、それを説明するモデルを構築
経済学の「検索財」と「経験財」のパラダイムを利用
＜わかったこと＞
商品の種類は、レビューの極端性がレビューの有用性に与える影響を調整し、経験材の場合、極端な評価のレビューは中程度のレビューよりも有用性が低い。
どちらの製品タイプでも、レビューの深さは有用性に対して正の効果を持つ。
レビューの深さは経験材よりも検索財のレビューにおいて有用性を高める効果が大きかった。
/icons/hr.icon
2025/1/17
⑫ Modeling and Prediction of Online Product Review Helpfulness : A Survey
発表会議：ACL 2018
著者：Gerardo Ocampo Diaz, Vincent Ng
所属：Human Language Technology Research Institute University of Texas at Dallas
＜メモ＞
オンライン商品レビューの有用性に関する論文のサーベイ論文
＜わかったこと＞
レビュー有用性予測分野では標準的なデータセットが不足している
ユーザ、レビュア、製品、レビューの4要素がレビューの有用性判断に影響を及ぼす
古典的な手法ではコンテンツ特徴量やコンテキスト特徴量を用いて予測システムを作っている
今後は特定のユーザや製品に合わせたレビュー有用性予測システムが必要
/icons/hr.icon
2025/3/14
⑬ Generating Tips from Product Reviews
発表会議：WSDM 2021
著者：Sharon Hirsch, Slava Novgorodov, Ido Guy, Alexander Nus
所属：eBay Research Israel
＜メモ＞
商品レビューから重要なTipsを抽出するシステムの提案
フィルタリングとBERTの分類を用いてレビュー文単位のTipsを出力
10人のアノテータでTipsラベル付きデータセットを作成
作成したデータセットでTipsレビューを分析
＜わかったこと＞
感情や一人称、出品情報などを含むレビュー文はTipsになりにくい
そもそもTipsはレビュー全体の中にわずかしかない
＜参考になったこと＞
重要なレビューの見逃しを防ぐというアイデア
Precision割合別に再現率を測ること
/icons/hr.icon
2025/3/20（発表無し）
⑭ Generating Explanable Product Comparsions for Online shopping
発表会議：WSDM 2023
著者：Nikhita Vedula, Marcus Collins, Eugene Agichtein, Oleg Rokhlenko
所属：Amazon Seatle
＜メモ＞
製品を比較する自然なテキスト（比較テキスト）と、それを説明する補助テキストを生成するシステムの提案
比較テキストは、2種類生成可能
製品レベルの比較：製品の主要な特徴の説明、他製品との比較
属性レベルの比較：比較製品と共通する特定の属性情報の比較
BARTのデコーダを2つ（マルチデコーダ・トランスフォーマー）用意し、共通の入力を使って比較テキストと補助テキストを生成
製品比較用の大規模なデータセット作成
重要な属性の特定には先行研究（ReBARC）使用
テキストの誤り検出・修正も行う
＜参考になったこと＞
BARTのデコーダを2つにしたこと
補助テキストを生成したこと
/icons/hr.icon
2025/3/25
⑮ Learning to Generate Product Reviews from Attributes
発表会議：EACL 2017（ヨーロッパのACL）
著者：Li Dong, Shaohan Huang, Furu Wei, Mirella Lapata, Ming Zhou, Ke Xu
所属：University of Edinburgh, Microsoft Research (China), Beihang University
＜メモ＞
属性情報（ユーザID, 商品ID, 星評価）から、書かれそうな商品レビューを自動生成するシステムの提案（属性の組み合わせによって書かれるレビューが変わる）
多層パーセプトロンで属性情報をエンコードし、coarse-to-fineにしたLSTM（2層構造）で生成（Attentionで属性の重要度を単語生成毎に計算）
LSTMとAttentionを使った時代を感じる複雑なシステム
モデル全体で入出力を学習して重み等を設定するタイプ
＜参考になったこと＞
属性情報からレビューを生成するというアイデア
提案手法の性能を細かく分析したところ
IDを入力するが、それでも識別ができるようにモデル全体で学習していたところ
/icons/hr.icon
2025/04/17
⑯ What Matters for Shoppers: Investigating Key Attributes for Online Product Comparison
発表会議：ECIR（European Conference on IR Research）2017
著者：Nikhita Vedula, Marcus Collins, Eugene Agichtein, Oleg Rokhlenko
所属：Amazon Seattle
＜メモ＞
商品の主要な属性を、レビュー文内での「属性の言及数」「言及時の感情の強さ」を用いて特定する研究
主要属性を用いれば商品比較が容易になるとのこと
レビュー文と属性を素のSentence-BERTでベクトル化、レビュー文が言及している属性をMMRで3つ特定。ペアレビュー文数で属性をランキング・フィルタリング。残った属性の、ペアレビュー文の感情の強さ平均を計算・ランキング、上位出力。
⑭が引用している論文
＜参考になったこと＞
言及している属性を特定、ペア作成したこと
レビューでの言及数を主要な属性の要素として使ったこと
＜感想＞
商品比較を助けるためならば、カテゴリ内での主要な属性を特定した方が有用だろう
やりたいことは分かるが、なぜその手法を取ったのかがよくわからない論文だった
素のsentence-BERTを使って字面から作っただけのベクトル同士の類似度で、レビュー文とそれが言及している属性のペアが正しく出来ているのか疑問に思った
クローリングして、「購入後のユーザが評価した特徴の名前」を収集したようだが、どうやったのか気になった
結局取れるのが「レビューで強い感情を伴って頻繁に言及される属性」なだけで、本当の意味での主要な属性は取れていないと思ったが、「What Matters for Shoppers」という意味では正しいのか？
/icons/hr.icon
2025/04/29（発表無し）
⑰ 生成的言語モデルによるレビュー文のキャッチフレーズ文体への変換
掲載論文誌：電子情報通信学会論文誌
著者：沈 辰夫, 莊司 慶行, 山本 岳洋, 大原 剛三, 田中 克己
所属：青山学院大学, 静岡大学, 兵庫県立大学, 関西学院大学
＜メモ＞
商品レビュー文をキャッチコピーに変換する研究
Open-CALMを、商品：「カテゴリ」-> キャッチコピー：「キャッチコピー」でファインチューニング
生成時、商品：「カテゴリ」, 商品レビュー：「レビュー文」-> キャッチコピー：「キャッチコピー」例を5-shotで与えて、In-Contect Learningによるキャッチコピー候補生成
sentence-LUKEによるレビュー文とキャッチコピー候補の類似度（意味的一致度）計算・フィルタリング
キャッチコピー分類器（BERT）によるキャッチー度計算
/icons/hr.icon
2025/05/21（発表無し）（関係ない）
発表会議：CIKM 2009
著者：Xuanjing Huang, W. Bruce Croft
所属：復旦大学（中国）、マサチューセッツ工科大学
＜メモ＞
クエリ拡張によって、ユーザの意見ニーズ（他人の主観的な評価を知りたい）を表現するクエリを構成
ユーザの入力クエリに拡張クエリ（意見語）を追加して検索精度を向上させる
汎用的なクエリの追加（クエリ非依存型）、ユーザの入力クエリに関連した意見語を追加（クエリ依存型）、クエリ非依存型と依存型の両方を組み合わせた混合モデルの３通りで意見語（good,like,teriible,expensive...）を選ぶ
クエリ非依存型：文脈に関係なく使える汎用的な意見語を選ぶ
クエリ依存型：ユーザの入力クエリの検索結果の上位文書からクエリに合った語を共起単語から選ぶ
/icons/hr.icon
2025/05/21（発表無し）（関係ない）
発表会議：NAACL 2024
著者：Bei Xu, Yifan Xu
所属：Nanjing University, Jiangsu Key Laboratory
＜メモ＞
ユーザの要求や暗黙的なニーズにマッチしたレビューの抽出システムの提案
LLMの理解能力を活かして、レビューの暗黙的な意味を抽出
レビューを素のLLMに入力し、レビューから暗黙的な属性を抽出（「滑らかに動く」→「性能」）
抽出した暗黙的な属性と、抽出元のレビューを素のLLMに入力し、暗黙的な属性を反映したレビューにリライト（レビューが言及している属性がはっきりする）
リライト後のレビューから名詞・固有名詞（次元）を抽出
素のLLMでリライト後のレビューがユーザの要求とマッチしているか判定
テキスト＋次元でベクトル化
レビューとユーザの要求の類似度計算、Top-Nを推薦
＜参考になったこと＞
レビューから暗黙的な属性を抽出すること
＜感想＞
ほぼLLMに丸投げしただけという印象を受けた
実験はかなりしっかりやっていたから、これが特に効いてNAACL通ったのだろうと思った
/icons/hr.icon
2025/05/21（発表無し）（関係ない）
発表会議：WWW 2022
著者：Kalyani Roy, Avani Goel, Pawan Goyal
所属：Indian Institute of Technology Kharagpur
＜メモ＞
ECサイトQAのAnswerが少ないから、レビューからQのAnswerを探せるようにする研究
QARデータセットでDeBERTaを学習しレビューと質問の関係を学習
T5でレビュー文からQを生成しデータ拡張、こっちでもDeBERTaを学習
データ拡張した方が、質問の答えとなるレビューのランキング精度が高くなった
（貢献点：先行研究より賢いtransformerモデルで学習した、T5でデータ拡張した）
/icons/hr.icon
2025/07（関係ない）
㉑ 意見集約における相対的特徴を考著した評価視点の構造化
論文誌：自然言語処理 2019
所属：筑波大学（乾先生）
＜メモ＞
やっていること：ホテルの評価視点（立地・部屋など）を相対的特徴順（施設の特徴が出ている順）にランキング
アプローチ：対数尤度比（LLR）を計算して、ある評価観点がその施設のレビューでよく言及されているか、その言及の程度は他の施設と比べて目立っているかをスコア化
/icons/hr.icon
2025/07（関係ない）
㉒ Aspect Ranking：Identifying Important Product Aspects from Online Customer Reviews
発表会議：ACL 2011
＜メモ＞
やっていること：アスペクトの重要度を自動で特定し、アスペクトランキング作成
重要なアスペクトとは：①多くのユーザにコメントされていて、②そのアスペクトに対する意見はレビューの星評価に影響する
アプローチ：アスペクト重要度＝アスペクトの出現頻度 × 星評価への貢献度
（星評価への貢献度の測り方がわからなかった）
/icons/hr.icon
2025/07（関係あり）
㉕ Contrastive textsummarization : a survey
論文誌：International Jornal of Data Science 2024
＜メモ＞
Contrastive Summarizationの研究はほぼ抽出型要約
最適化問題アプローチ、トピックモデルを使ったアプローチ、統計的手法、機械学習手法、LLMを使った手法、グラフを使った手法に分かれる
/icons/hr.icon
2025/07（関係ない）
㉗ Mining Comparative Sentences and Relations
発表会議：AAI 2006
＜メモ＞
やっていること：比較文のマイニング
レビューから比較文（比較表現を含む文）を発見
比較文から比較関係を抽出
/icons/hr.icon
2025/07（関係ない）
㉙ ListWise Learing to Rank By Exploring Unique Ratings
発表会議：WSDM 2020
＜メモ＞
やっていること：従来のListWise modelが苦手とする、「同じ評価を持つ文書が複数ある状況」でも、正しくnDCGを最大化できるようにする手法の提案
アプローチ：
文書をひとつずつ選ばずに、「同評価文書」をまとめて選択。
最高評価レベルの文書群を正解とする多クラス分類タスクを解かせる
/icons/hr.icon
2025/07（関係ない）
㉚ Topic Extraction from News Archive Using TF*PDF Algorithm
発表会議：WISE 2002
＜メモ＞
やっていること：ニュースアーカイブから、週ごとに主要な（盛り上がった）トピックを自動抽出
TF*PDF（Term Frequency * Proportional Document Frequency）の導入
アプローチ：多数のニュース媒体で、多くの文書に現れた単語を「重要なトピックを表す単語」とする
TF-IDF：その文書でよく出て、他の文書で出てきにくい単語の重要度が高くなる
TF*PDF：その文書でよく出るし、他でもよく出る単語の重要度が高くなる
/icons/hr.icon
2025/07（関係ない）
㉛ Enhanching Recommendation Diversity by Re-Ranking with Large Language Model
論文誌：ACM Transactions on Recommendation Systems 2024
＜メモ＞
やっていること：素のLLMにアニメや書籍のランキングを多様性を持たせた再ランキングを行えるか検証
手法：Llama、GPT
タイトルのみ、タイトル＋あらすじ、タイトル＋ジャンル
再ランキングの目標：多様性最大化、多様性と関連性のバランス取らせるなど
結果：ランダムより良いがMMRには及ばない
/icons/hr.icon
2025/07（関係ない）
㉜ Personalized Diversification for Neural Re-ranking in Recommendation
発表会議：IEEE ICDE 2023
＜メモ＞ レビューのランキングではない
やっていること：ユーザごとに最適な多様性の推定とパーソナライズされた多様性を考慮したアイテムのリランキング
RAPID（Re-Ranking with personalized Diversification）を提案
/icons/hr.icon
2025/07（関係あり）
㉝ 商品予測タスクを利用しｔあ商品選別支援のための有用なレビュー文の抽出
発表会議：DEIM2022
所属：九州大学大学院
著者：喩 思セイ、牛尼 剛聡
＜メモ＞
やっていること：商品レビューの中から商品の代表的な特徴を表しているレビュー文の抽出（商品を代表するレビュー文の抽出）
手法：レビュー文の属する商品ラベルへの分類確率と、商品ジャンルの分類確率を使ってレビュー文にスコア付け
レビュー文が属する商品ラベルを当てる学習を行ったLSTMを使って、正解ラベルへの分類確率を算出
（分類確率が高いほど商品を代表している・特徴を表していると仮定）
同様に、商品ジャンルを当てる学習も行って、正解ラベルへの分類確率を算出
（実際と異なるジャンルへの分類確率が高いものは、何にでもつくノイズ的な内容のレビュー文であるとする）
（「いい買い物ができました」などの特徴を知るのに役に立たないノイズ的な文をはじきたい）
評価：被験者実験で、「商品特徴に関する情報がどれだけ含まれているか」「買い物時に参考になるか」を評価（たぶん5段階）
比較手法：提案手法（商品予測＋ジャンル予測）TF-IDF、LSTM無し商品分類のみ手法、ジャンル分類無し手法
平均値は提案手法が高かった
＜感想＞
ジャンル予測で参考にならないノイズ的なレビュー文を本当に省けるのか疑問
LSTMにレビュー文を入力するとき、名・動・形・副のみかつストップワード除去をしているのはなぜか疑問
且つそれのベクトル化にwikipediaのエンティティベクトルを使っているのも疑問
＜自分の研究との違い＞
商品比較時を想定していて、商品の特徴を表したレビュー文を抽出する方向は一緒
代表性のみを考慮したもので、代表性と差異性を考慮する自分の研究とは異なる
/icons/hr.icon
2025/07（関係あり）
㉔ Selecting Comparative Sets of Reviews Across Multiple Items
発表会議：EDBT(Extending DataBase Technology) 2025
＜メモ＞
やっていること：複数商品を同時に比較するために、レビューセットの同期的な選択と、比較に使う商品セットの選択
入力：ターゲット商品と比較するいくつかの商品
出力：比較のための各商品から抽出したレビュー文セットと、ターゲット商品と比較する商品セット
アプローチ：
各商品を代表していて、かつ比較がしやすいようにどの商品レビューセットも同じアスペクト分布にする。
同じアスペクト分布だが、レビューセット内の感情分布はちゃんと商品の元の感情分布と近い。
前処理：感情とアスペクトのラベル付け
レビューセットの選び方：①と②を同時に満たす
①：ターゲット商品のアスペクト分布と近くなるように
②：各商品の元の感情分布と近くなるように
商品セットの選び方：レビューセットの類似度が最大になるように商品セットを選ぶ
＜自分の研究との違い＞
商品比較時を想定してレビューを使った比較支援をしている点で一緒
代表性を考慮している点は一緒だが、アスペクトと感情分布を使った代表性という点で異なる
レビューセットを選んでいる点と、差異性を考慮していない点で異なる
/icons/hr.icon
2025/07（関係あり）
㉘ Extraction Comparative Opinionate Sentences from Product Online Reviews
発表会議：IEEE Fuzzy Systems and Knowledge Discovery 2015
＜メモ＞
やっていること：（２商品比較時想定）商品の特徴に関する「代表的かつ比較可能な意見文」をいくつか選択
入力：２商品
出力：２種のレビュー文セット
同アスペクトに言及していて、各商品で言われていることを代表していて、比較した時にアスペクトは同じでも内容が異なるようなレビュー文が入る
代表性、比較性、多様性を最適化（教師無し）
（複雑だったのでまた読む）
＜自分の研究との違い＞
商品比較時想定である点、代表的な文を選ぶ点、各は一致
レビュー文のセットを選ぶ点、商品アスペクト及びネガポジを考慮する点で異なる
差異性を考慮しているものの、同じアスペクトに言及しているものを持ってきて提示する点で異なる
/icons/hr.icon
2025/07（関係あり）
㉓ Comparative Document Summarization via Discriminative Sentence Selection
発表会議：CIKM 2009
＜メモ＞
やっていること：各文書グループの特有性のでている文の抽出
アプローチ：どの文がグループを最も代表的に区別するかの識別性を測る
差別的文選択（Discriminative Sentence Selection)各グループから、「他のグループと差別化できる文」を選ぶ
手法：多変量正規分布モデルとエントロピー最小化を活用
文と文書グループラベルのジョイント分布を多変量正規分布と仮定し、各文の重要度を「その文がどれだけグループラベルを識別できるか」とする。
分散の最小化という基準で選ぶ（情報不確実性が最小となる文を選択）
グループラベルの判別のしやすさだけで選んでいる
＜自分の研究との違い＞
差異性を使って文を選んでいる点は一緒
文のランキング的アプローチではなく、グループラベルが判別しやすい文セットを選ぶ点で異なる
（共分散が小さくなる→共有したものがすくない→独立している）
商品比較の想定で無かったり、商品レビューではなくブログのデータを使ったりしている点で異なる
/icons/hr.icon
2025/07（アイデア的には関係あり）
㉖ Generating Comparative Summaries of Contradictory Opinions in text
発表会議：CIKM 2009
＜メモ＞ 商品間の比較ではない
やっていること：同一商品のレビューの中で、各アスペクトについてどのように意見が割れているかを分かるように要約
アプローチ：同じアスペクトに言及している量属性のレビューをペアにして、抽出型要約として出力（数は入力数による）
代表性と対比性を使った研究
手法① 代表性優先手法
ネガポジ別でレビュー集合を作り、クラスタリングでK個のクラスタ作成
各クラスタの中心レビューを選択（合計K×2レビュー選ばれる）
ネガポジそれぞれから１文ずつ取ってペア作成。その時、対比類似度が高くなるようにペア作成
対比類似度：感情語を除いたレビュー文の類似度で、高いほど感情が違うだけで内容一緒と判断。感情語除いた語の共通度合い。
手法② 対比性優先手法
ネガポジペアの全パターンを作り、対比類似度一位を要約セットに入れる
追加するペアを選ぶ際に、追加後の要約セットの代表性（元集合との類似度）とセット内の平均対比類似度がどれだけ上がるかで、追加するペアを貪欲的に決定
＜自分の研究との違い＞
代表性や対比性を考慮している点では一緒
商品間の比較ではなく、商品内のレビューで意見がどう割れているかの判断のための研究という点で異なる
代表性に類似度を使っている点は一緒
対比性に感情を使っている点で異なる
/icons/hr.icon
2025/09
㉗ Precise Zero-Shot Dense Retireval without Relevance Labels
発表会議: ACL 2023
やっていること: 密検索モデルの未知ドメインにおける検索で、仮想文書を使うことで検索精度を向上させる研究
アプローチ:
未知ドメインでは、クエリと正解を含む文書を近くに配置するのが難しいという問題がある。それだと、類似度による検索がうまくいかない。
そこで、クエリから正解っぽい仮想文書を生成させ、文書と文書の類似度計算という問題に落とし込む。クエリ（仮想文書）と文書を同じエンコーダでベクトル化することで、未知ドメインだとしてももともとのエンコーダの能力で、同じような文書は近くに配置される仕組みを利用。
手法: HyDE (Hypothetical Document Embeddings)
① クエリをInstructLMを使って正解っぽい仮想文書に変換する。「Please write a passage to answer the question（クエリ）」で、複数文書生成させる。
② 複数の仮想文書（＋クエリでも可）を文書エンコーダでベクトル化、平均を正解っぽい仮想文書ベクトルとする。
③ 検索対象の文書を文書エンコーダを使ってベクトル化。
④ 仮想文書ベクトルと文書ベクトルの類似度で、文書をランキング。
有効性の検証方法
MS MARCOを使ったWeb検索精度、BEIR（各ジャンルに特化した検索データセット）を使った精度、非英語検索、クエリ変換で使う言語モデルを変えた精度（Web & BEIR）、学習済みモデルに適用した場合の精度などを測る。また、ベクトル空間上での、クエリと正解文書の近さを可視化した。比較手法は、UnsupervisedモデルとSupervisedモデル、多言語対応モデル、BM25。
結果: 精度、再現率の両方で改善。クエリと文書の距離を可視化しても、HyDEの方が正解文書と近くに配置される。
応用可能性
ある観点に言及（関連）しているレビュー文の検索にHyDEのフレームワークは使えるかもしれない。エンコーダにSentenceBERTを用い、クエリ（観点）をレビュー文に変換。そしてそれとの類似度が高いレビュー文を検索する。
この場合、本論文とは少し状況が違い、正解となるレビュー文が複数種類あるので、仮想レビュー文も複数作る必要がありそうだ。論文では、「HyDEのフレームワークを応用した」とか言っておけば良さそう。
感想
LLM時代の密検索フレームワークとして、非常に面白いと感じた。非常にシンプルでストレートフォワードなフレームワーク。再学習等が不要になり、リソースも仮想文書を生成させる分だけで済むので、効率的で誰でも使いやすい。実験時の推論データを作る時に参考にしたい。引用したい。
/icons/hr.icon
/icons/hr.icon
/icons/hr.icon
/icons/hr.icon