“Serving Each User”: Supporting Different Eating Goals Through a Multi-List Recommender Interface
https://gyazo.com/142855eaa440652a49debce1143908f8
なぜ読んだか
マルチリストインターフェースが気になっているから
概要
マルチリストインターフェースがユーザーの健康的な食事の選択に与える影響を実験的に調査
マルチリストは多様性を増し、多様性は満足度向上につながるが、選択の難しさは高まる
説明文はユーザーの健康的な食事の選択に寄与する
INTRODUCTION
一つのインターフェースに複数の推薦リストを表示する商用推薦アプリケーションが増えている
複数のアイテムのリストが表示され、リストにはどういうリストかを表す説明が添えられている
リストは多様な推薦アプローチから生成されている
あるタグを含むアイテム、特定の要素に基づいてリランキングされたアイテム
Disney+やNetflixなどのビデオストリーミングサービス
説明ありの複数リストのインターフェースで映画やTV番組などを推薦
ドラマTVシリーズ(ジャンル制約)
オスカー賞映画(特定のタグの映画)
あなたへのおすすめ(パーソナライズ)
Netflixではおよそ40のリスト(1リストにつき最大75アイテム)
https://gyazo.com/97a7b9c61bc13085c77db80a818ece6a
Amazon
パーソナライズしないリストもある
2つのリスト
1. 全体の人気アイテム
2. 他のユーザのウィッシュリストから構成
ユーザーの履歴は使われていない
https://gyazo.com/ea9b105993245076e81cc30e35cce4b8
マルチリストインターフェースのアプリケーションは特に商用ドメインで拡大している
商用では広がっているが、研究はあまり進んでいない
食事ドメインを扱う
マルチリストインターフェースが特定の食事目的に対してユーザーの好みを誘導するかもしれない
食の推薦研究では、健康的な食事の選択を促進するのは難しい
人気度をベースにすると不健康な食事になる
食生活を変えたいと考えても、ユーザー履歴とは関係性が低いため推薦することができない
異なるタイプ(ダイエット、栄養素の取得)で最適化されたマルチリストインターフェースで改善できるかもしれない
マルチリストはユーザー中心のアプローチではいまだ評価されていない
ユーザーのリテンションやCTRという観点でのメリットは明確(?)だが、異なる観点をユーザーがどのように受け取るか、ユーザーの選択とどのように関連しているかは分かっていない
例えば、ユーザーは表示された推薦リストをどういうものか理解しているか?アイテム選択に影響を受けているか?
マルチリストインターフェースは健康的な食事の選択に寄与するか?選択はユーザーの食事の目標に一致するか?
Reseach Question
RQ1: 説明のついたマルチリストインターフェースはユーザー経験推薦フレームワーク上で、説明なしのシングルリストインターフェースに対してどの程度評価されるか
RQ2: 説明のついたマルチリストインターフェースは説明なしやシングルリストに対して、異なるユーザーの食事目標や健康的な食事の選択をサポートするか
METHOD
Dataset
食事推薦システムを開発
58,00 レシピから5カテゴリ(Casseroles、Roasts、Pasta、Chiken、Dishes)の935レシピをサンプリング
上記から28レシピのサブセットをランダムに選択し reference recipes として利用
Recommendation Approach and Lists
推薦手法は類似アイテムベース
類似レシピのTop-k
https://gyazo.com/016a299dc680d37beca3b980f1c72adf
TF-IDFを利用
リスト
reference recipe をランダムで一つ選択し、そのレシピの類似レシピを表示
まず類似レシピの top-40 を取得
top-40 から top-5 の 5つのリストを生成
Similar Recipes: 類似レシピ
Fewer Calories: カロリーが低い順
Fewer Carbohydrates: 100gあたりの炭水化物が低い順
Less Fat: 100gあたりの脂質が低い順
More Fiber: 100gあたりの食物繊維量が高い順
Participants
参加者は 366 人
平均年齢 34.24、男性 52%
182人はクラウドソーシングプラットフォームProlificから1.25 USDで雇用
ダイエット制限なし
184人はAmazon Mechanical Turk から 500 HITs 以上で、0.75 USDで雇用
A Human Intelligence Task, or HIT, is a question that needs an answer
Procedure
参加者は調理したいレシピを探す
健康的な選択のための提案も含まれている
参加者はレシピを探すための5つの異なる検索単語を指示される
5回試験
図2: 推薦インターフェース例
reference recipe が画面のトップ
その下に類似レシピ
家で作りたいレシピを選ぶ
選択したレシピや表示された推薦アイテムをどの程度好むか評価
5回試験をしたのち、推薦されたレシピについて、選択の難しさ、多様性、理解度などを評価する
最後に、自己申告の健康さと調理経験を5段階で評価してもらい、性別や年齢などのデモグラ情報を公開してもらった
https://gyazo.com/bab6abd16c0199a5a7b1f3f109c1a31f
Research Design
2 x 2 のデザイン
マルチ vs シングル
説明あり vs 説明なし
参加者はいずれかのリストが提示される
シングルリストでは、5つのリストのうち一人のユーザーには一度だけランダムで表示される
マルチリストでは5つのリストがランダムの順序で同時に表示される
https://gyazo.com/3dc0fe43488d4f90b013157ee8db11f9
Measures
User Evaluation Metrics
RQ1: マルチリストがシングルリストよりどの程度好まれるか
参加者に選択したレシピ、表示された推薦アイテム、全体のインターフェースについて考えるように依頼
推薦されたレシピに対して、選択したレシピが良かったかどうかを聞く
各実験の終わりに選択の難しさ、表示されたレシピの多様性、各リストの理解度を聞く
表示1の全てのアイテムを5段階評価
https://gyazo.com/75edb9398267d2c007c879af0b32dd5e
Choice Metrics & User Characteristics
RQ2: ユーザーの選択をどの程度変えるか
レシピの健康さを FSAスコアで表現
4 (healthiest) to 12 (unhealthiest)
UK Food Standards Agencyの栄養のガイドラインに基づく
FSAスコアの相対値を利用
表示されたレシピのFSAスコアの平均を引いた値
参加者の選択と食事の目的を関連付けるため、選択したレシピのリストから検討
参加者にレシピを選択したときに特定の目的があるかどうかを尋ねる
似たレシピ、好きなレシピ、食物繊維の多いレシピ、脂質の少ないレシピなど
分析では、選択したレシピがユーザーの食事目的に一致することがあった
食物繊維の多いレシピを探している参加者は、食物繊維の多い推薦リストからレシピを選択
RESULTS
Confirmatory Factor Analysis
シングルリストとマルチリストインターフェースの評価を比較
確認的因子分析 (Confirmatory Factor Analysis)
表1は4つの点(Choice Difficulty、Perceived Diversity、Understandability、Choice Satisfaction)を区別
Average Variance Extracted が0.5以上のアイテム
十分な変化が見られないアイテムは除外(グレーアウト)
Structural Equation modeling
表1の結果を、構造方程式モデリング (Structural Equation Modeling)で構造化
https://gyazo.com/ddcd89a33431dbdad7e8547eed28872b
User Experience of Multi-List vs Single-List Interfaces (RQ1)
マルチリスト (vs シングルリスト) は Diversity を高める
より多くのレシピを提示することで多様性が増える
多様性は2つのユーザー経験に影響を与える
多様性が高いほど、選択の難しさが高まる
マルチリストのほうが選択が難しい
説明は選択の難しさを軽減しない
アイテムが少ない可能性もあり
従来研究ではユーザーの信頼を増す効果がみられている
https://gyazo.com/df054a02a85158ca7e6714072ab16978
多様性が高いほど、選択の満足度が高くなる
マルチリストのほうが多様性が高いため、満足度が高い
マルチリストにおいて、説明は選択の満足度への効果は見られなかった
https://gyazo.com/2662c95cea4ffc1c3689405283e72c90
Choice Metrics (RQ2)
https://gyazo.com/ddcd89a33431dbdad7e8547eed28872b
健康的なレシピの選択に影響を与えるか
説明は健康的なレシピに影響を与えたが、マルチリストと説明の交互作用効果は健康的なレシピに悪影響となった
シングルリストの説明は選択したレシピのFSAスコアを下げた
https://gyazo.com/0330b5ab7574a507b190e8f7ed66b190
選択したレシピのFSAスコアとユーザーの目的にマッチした選択は負の関係にある
比較的健康なレシピを選んだユーザーは、より目的にマッチしたレシピを選択している
マルチリストで選択したレシピ
説明があると、Similar RecipesやFewer Caloriesの選択が減り、More Fiberの選択が増える
FSAスコアはMore Fiberのアイテムが高い(アイテム全体が7.44に対して7.94)
https://gyazo.com/06624fd8c6dd485cc6159173af8b1cda
ユーザーの目的にマッチしたレシピの選択は、理解度を高くした
理解度は満足度に繋がる
User Characteristics
https://gyazo.com/ddcd89a33431dbdad7e8547eed28872b
2つのユーザー特徴(赤部分)について
ユーザーの自己申告の健康さはFSAスコアと負の関係
自己申告で健康としたユーザーはより健康的なレシピを選んでいる
調理経験は理解度と選択の満足度に正の関係
推薦のインターフェースは調理経験があるユーザーに向いている
まとめ
マルチリストインターフェースがユーザーに与える影響を実験的に調査
マルチリストにより多様性が増した。多様性は選択の満足度を上げるが、選択を難しくする
説明文は健康的なレシピの選択に影響を与える
所感
研究の目的自体は面白いし、意義が高そう
鳥海研のデジタルダイエットの話にもつながりそう
実験設定がちょっと微妙なせいか、結果をどの程度信じてよいかが難しい
特にマルチ vs シングル
説明あり vs なしの結果はおもしろい