ファッションアイテム間の相性の良さを説明するためのデータセット作成

書誌情報

タイトル: Deciphering Compatibility Relationships with Textual Descriptions via Extraction and Explanation

掲載元　: AAAI

掲載年　: 2024

著者　　: Yu Wang, Zexue He, Zhankui He, Hao Xu, Julian McAuley

何をしている論文？

ファッションアイテムのペアが与えられたとき、そのアイテム同士が相性が良いかを判定し、なぜ相性が良いかの説明文を生成する

相性の良いアイテムの組み合わせと、その説明を含むデータセット「PFE（Pair Fashion Explanation）」を作成

PFEデータセットを用いて、相性の良し悪しと、相性が良い場合にその理由を生成するパイプラインを設計

本研究では、ファッションアイテムをテキスト形式で扱う

手法の概要

PFEデータセット

2つアイテムのカテゴリ、特徴、そのアイテム同士の相性が良い理由を説明するテキスト で構成される

2つのアイテムは、互いに相性が良いものとする

約6,000件

データセットの作成

人手で作成したクエリ辞書を使い、Webから雑誌・記事を収集

雑誌・記事からテキストを抽出

約900,000個の生のテキストを取得

ファッションアイテムのカテゴリ等の名詞を一定数含むテキストのみを抽出

ChatGPTで成型

2つのアイテム＋説明文の形に

アイテム2つの情報を含まないテキストは除去

LLMの学習

2つのアイテムのカテゴリと特徴が与えられたとき、その相性の良さを説明するテキストを生成するタスクを学習

アイテム間の相性の良し悪しを判定するモデル

PFEデータセット・LLMとは別に、アイテム2つが与えられたとき、その良し悪しと、その判断根拠を出力するモデルを作成

説明文生成LLMとは別に学習

Cross-Attentionモデル

Transformerエンコーダにより、Cross-Attentionの重み付きベクトルを使い、MLPで二値分類をおこなう

Cross-Attentionの重みがもっとも強いアイテムの説明文内の要素を、そのアイテムの「特徴」とする

根拠抽出モデル

2つのアイテムのテキストを連結し、テキストの30%を抽出して、二値分類をおこなう

テキストのどの部分を取るか、アイテム同士の相性がよいか、を同時に学習する

評価実験の方法と結果

PFEデータセットを用いた自動評価

学習対象となるベースのLLMとしてGPT-2、Flan-T5-large、Flan-T5-xl

人間による評価

Flan-T5

ChatGPT（gpt-3.5-turbo）と同等レベル

面白いと感じた点

収集したテキストの段階的なクレンジング

ChatGPTで一括でおこなわないことで、コスト削減

複数のLLMで学習→自動評価→もっとも高性能なものを被験者評価 のながれ

その他の感想

相性の「悪さ」は説明できない

実装の詳細が載っているはずのGithubのリポジトリが閉じているのが残念