購入履歴に基づくTransformerベースのコーディネート推薦

書誌情報

タイトル：Personalised Outfit Recommendation via History-aware Transformers

掲載元　：WSDM

掲載年　：2025

著者　　：Myong Chol Jung, Julien Monteil, Philip Schulz, Volodymyr Vaskovych

何をしている論文？

顧客の購入履歴をもとに、パーソナライズしたコーディネート推薦手法の提案

あるコーディネート入力した時、「まとまりがあるか」「嗜好を反映しているか」をスコア化して出力

コーディネート＝ファッションアイテムの集合

https://scrapbox.io/files/681ddfed32095523902c7972.png

手法の概要

2層のTransformer Encoderを用いたコーディネート推薦

あるコーディネートが、どのくらいまとまっていて（≒おしゃれ）、かつ顧客の嗜好とどのくらいマッチしているか予測

下層Encoder

コーディネート内のアイテム間の相性を学習

入力：ファッションアイテム集合

ファッションアイテムは「画像」と「タイトル」を持つ

画像とタイトルをそれぞれCLIPのEncoderに入力し埋め込みを獲得

画像とタイトルの埋め込みはconcatされ、Cross-Attention層に入力

コーディネートにおいて、どのアイテムが重要であるか自動で学習

出力：コーディネート埋め込み（the outfit embedding）

各アイテムのベクトルの重み付き和平均

上層Encoder

入力：下層で得たコーディネート埋め込み

あるコーディネートと、顧客の購入履歴のコーディネート

出力：あるコーディネートがどれだけまとまっていてかつ嗜好を反映しているか度合い

0から1までの数値

1に近いほど、まとまりがありかつ顧客の嗜好を反映しているコーディネート

「コーディネートにまとまりがあるか」「顧客の嗜好を反映しているか」「コーディネート内のアイテムの微妙な違いを見分けられるか」に注目した3つの損失

アイテム間の相性

コーディネートに対して、まとまりのあるコーディネートであるかどうかを判定

データの不均衡に強いfocal損失を利用

パーソナライズ

同一ユーザにより購入されたコーディネートのベクトルが似るようにContrastive Lossを計算

購入ユーザをラベルとした教師あり対照学習

コーディネートの微妙な違い

正例コーディネートのアイテムを一つランダムに置き換えた「弱ネガティブ」を用意

下層Encoderで計算したアイテムごとの重みを利用して、Margin Lossを計算

最終的には、3つの損失の重み付き和を計算

工夫している点

「コーディネートとしてのまとまり」と「嗜好の反映度合い」を別々のEncoder内で考慮

コーディネート内のアイテムのわずかな違和感にも気付けるように、弱ネガティブを用いたMargin Lossの計算

評価実験の方法と結果

データセット

IQON3000、Polyvore datasetを利用

比較手法

Bi-LSTM：RNNベース（時系列順にアイテムを処理）

FHN：ユーザーとアイテムの組み合わせを計算

LPAE、LPAE-T：パーソナライズ可能な対照学習

OutfitTransformer：非パーソナルなSOTAモデル

Compatibility Prediction

コーディネートを入力し、まとまりのありかつパーソナライズされたコーディネートであるかを予測

CP-Random

各ポジティブなコーディネートに対し、全てのアイテムを入れ替えることでネガティブサンプルを作成

従来手法よりも良い性能ではあるが、大きな差はない

アイテムすべてが入れ替わっており、明らかにおかしなネガティブであるため、予測が容易であると考えられる

CP-Hard

入力コーディネートに対し、他ユーザのコーディネートをネガティブサンプルとして利用

入力コーディネートの購入者のコーディネートであるかを予測

他手法を凌駕する性能を発揮→提案手法はパーソナライズ性能も高い

Fill-In-The-Blank

コーディネート内のアイテムを一つマスクし、4つのアイテム選択肢の中から正解を選ぶことができるか評価

FITB-Random

欠けたアイテムと無関係のカテゴリからランダムに選ぶ

外れ値的なアイテムが選択肢に含まれるため、割と容易であると考えられる

FITB-Hard

同じカテゴリの中から他のアイテムを選ぶ

アイテム間の相性を正しく認識している必要がある

両タスク共に、比較手法を凌駕

コーディネート内における重要なアイテムを正しく認識している可能性あり

アブレーションスタディ

Contrastive Learningがパーソナライズに与える影響

「Contrastive Learningなし」「提案手法」の2手法で比較

CP-Hardにおいて特に精度向上

個人のスタイルをベクトル空間上で学習し、その人らしい/らしくないを区別できるようになった

アテンション重みありMargin LossがFITBタスクに与える影響

「Margin Lossなし」「アテンション重み無しMargin Loss」「提案手法」の3手法で比較

Margin Lossを使用することで明らかに精度向上

さらにアテンション重みを利用することでさらに精度向上

現実の「スタイリングで外しちゃいけない主役アイテム」を反映しており、実用的な知見とも整合

面白いと感じた点

アイテム間の相性も、個人の好みも共に叶える

Transformer、対照学習といった流行りの手法の合体技

そのほかの感想

AmazonがOutfit Recommendationをやっていることに少し驚き