Diversity Vs Relevance: A Practical Multi-objective Study in Luxury Fashion Recommendations
著者情報
Farfetch のデータサイエンティスト
ファーフェッチ(英語: Farfetch)は、世界中のデザイナーのアパレル衣料品を扱う、インターナショナル・ファッションEコマースサイト。
https://cdn-static.farfetch-contents.com/PortalContent/cms/DiscoverAppPage/2021_03_10_mobile_app_global.png
選んだ理由
どんな多様化戦略を用いたか気になったため
どんなもの?
推薦アイテムがユーザの嗜好と類似しすぎてしまい、ユーザが新しいアイテムを探求する妨げになる可能性がある(フィルターバブル)
特に、高級ファッションのレコメンデーションにおいては重要
購入者は、高級で珍しい商品を発見することを期待しているため
よって、多様性を考慮して、新しい商品やブランドを推薦することで、ショッピング体験を向上させる必要がある
本稿では、
関連性による推薦システムの出力をリランクする多様化戦略を4つ検証
関連性と多様性を同時に最適化する多目的オフライン実験を実施
オフラインで良かったパラメータでオンライン実験を行い、CTR: 2%➚、推薦されるブランド数: 46%➚
-> 多様性がユーザー エンゲージメントを高める可能性がある
先行研究と比べてどこがすごい?
多様性の重要性は従来から述べられている
非常に類似したアイテムが提示されたときのユーザーの不満を軽減
フィードバックループ対策
多様性考慮ランキング指標
𝛼𝛽-nDCG (RecSys 2021)
多様化手法
1. レコメンダーシステムに組み込む
2. リストをリランクする
実用的で、ABテストを行う際にも便利なのでこちらを採用
手法のキモはどこ?
多様性評価指標
coverage@k (2004)
$ \text { Coverage }=\frac{the\_number\_of\_distinct\_products }{all\_available\_products}
neighborhood diversity@k (独自)
推薦リストの周辺の類似度 (cosine distance を利用)。1つ目と2つ目、2つ目と3つ目の類似度だけみる感じ
$ \text { NeighborhoodDiversity }=\frac{\sum_{j=1}^{N-1} d\left(i_j, i_{j+1}\right)}{N-1}
serendipity@k (2012)
推薦の意外性。ユーザの履歴と推薦されるアイテムに乖離があるほどよいとする。
$ \text { Serendipity }=\frac{\sum_{j=1}^N d\left(U, E_j\right)}{N}
where 𝑑 (𝑈 , 𝐸𝑗) is the cosine distance between the user’s embedding 𝑈 and the item’s embedding 𝐸𝑗
distinct brands@k (独自)
推薦ブランドの数
我々のプラットフォームでは、80%以上の検索クエリにはブランドやデザイナーが含まれている
※ k=12 (カルーセルのレイアウト制約のため)
多様化戦略
推薦リスト top1000 をリランクしていく 4つの手法を示す。手法は従来研究を一部適用させたもの(+Outfit Graph は独自)
Neighborhood Cosine Distance
周辺アイテムの非類似度 d が大きくなるようにリランク
$ \text { score }_{\mathrm{i}_{\mathrm{j}}}^{\text {final }}=w \cdot d\left(i_{j-1}, i_j\right)+(1-w) \cdot \text { score }_{\mathrm{i}_{\mathrm{j}}}^{\text {relevance }}
j - 1 = 0 のアイテムは関連性スコア最大のアイテムとする
残りのアイテムとの final score を算出し、j のアイテムを決定
Clustering
gender, brand, category, color のラベルを利用し、連続して同じラベルのアイテムが推薦されないように制御
https://gyazo.com/d83da25a95ff587edb8632b2f5e4a431
Outfit Graph
衣装の組み合わせに関する社内知識を利用して、衣装を構築する可能性の高いカテゴリの組み合わせをグラフを使って抽出
{trousers, trainers, t-shirts} = 0.9
{c1, c2, c3} = outfit score
各カテゴリに適したアイテムを関連性スコアの高いものから推薦していく
4セット * 3パターン
Random
推薦システムに与えられた Nコのアイテムをランダムにリランク
オフライン実験
ベースのレコメンダーシステムについて
従来のアイテムベースの RS を使用 (top1000)
アイテムマトリックス、ユーザマトリックス、時間減衰スコア
実験設定
多目的最適化
関連性スコアと多様性スコアにはトレードオフが生じるので、パレートフロントを確認して最適な値をチェック
データセット
traning data : 4ヶ月分 ( t 日目まで)
test data : t + 1 日目
40k users
135k unique products
360k clicks
実験結果
それぞれの多様化戦略による、推薦精度(recall@12)と多様性指標(DistinctBrands@12)のパレートフロントの確認
Neighborhood Cosine Distance がパレートフロントを形成している
NEIGHBORHOOD_w = 0.4, 0.5 が BASELINE に対して両方の指標が改善
https://gyazo.com/6d73a1fae95ecb0f2f1e0580a3244fe5
オンライン実験でどっちを試そうか?
NEIGHBORHOOD_w = 0.5 が多様性指標で最良 <- 最高の多様性スコアを示したこちらを採用
NEIGHBORHOOD_w = 0.4 がランキング指標で最良
https://gyazo.com/0aed30e55025cd75547c7f74c0a7f32a
オンライン実験
手法
control : 多様化戦略のないロジック
treatment : Neighborhood Cosine Distance (w:0.5)
結果
CTR : 2.25% ➚ (マンホイットニーのU検定を実施)
図3左 は表示位置別の値 ( Position:4 は帰無仮説を棄却できなかったので 0 としている)
Position 1 の推薦アイテムは ct, tr で差がないにも関わらず CTR が改善している
Position 2 では、多様化戦略が適用されているため、CTR が低下
-> ユーザが自身に最も関連性の高い商品にシフトしている可能性がある
-> 全体では多くのクリックを獲得することができた
https://gyazo.com/c4d095aadc0fea2172ed5ff848c489a4
図3右 はユーザをロイヤルユーザと新規ユーザのグループに分けた結果 (※ 新規ユーザ = ライトユーザくらいな気がする)
ロイヤルユーザ : CTR 5.44%➚
新規ユーザ : CTR 1.54%➚
Position 2 の多様化されたアイテムへの反応が悪い
-> These differences in behavior might indicate a higher predisposition to diversity from users with more signals.
(前向きなロイヤルユーザは多様性に対してそこそこポジティブに受け止めてくれている的な?)
所感
多様化戦略のシンプルさが非常に好ましい(推薦リスト生成の処理回数は結構エグそう)
でたセレンディピティ。ほぼフィーチャーされてないけど。Table 1 に各手法の評価値載せられたよね…
図3からして、Farfetch はライトユーザがマジョリティーっぽい
多様化しつつ、CTR が伸びていて good
継続率への影響まであると嬉しかった
EC だし、CTR が伸びれば売上に直結するだろうし、そこまでで十分なのかなぁ