How Serendipity Improves User Satisfaction with Recommendations? A Large-Scale User Evaluation
Author
香港浸会大学とアリババとその仲間たち
- Li Chen: Hong Kong Baptist University Hong Kong, China lichen@comp.hkbu.edu.hk
- Yonghua Yang Alibaba: Group China huazai.yyh@alibaba-inc.com
- Ningxia Wang: Hong Kong Baptist University Hong Kong, China nxwang@comp.hkbu.edu.hk
- Keping Yang: Alibaba Group China shaoyao@alibaba-inc.com
- Quan Yuan: inspirAI Co. Ltd. China quanyuan007@gmail.com
概要
セレンディピティ(偶然的な発見やきっかけ)が推薦システムにおいて良い効果をもたらすことは明である
セレンディピティは、測定やシミュレーションが困難であるため、現実的なリコメンドにおけるメリットは不明瞭であり、必ずしもユーザの満足度の向上につながるのか、または購入の意欲に繋がるのかは明確ではない
本研究では、セレンディピティとその要素に関して、ユーザの推薦へ影響を測定するために大規模なユーザ調査を行う
貢献
1. モバイル商取引環境でオンラインユーザ調査を実施し、ユーザからのフィードバックを収集
2. セレンディピティからユーザ満足度と購買意欲までの関係を明らかにする仮説パスモデルを生成
3. 新規性 -> セレンディピティ -> 満足度の効果を特定
4. 電子商取引商品の推薦を行う4つのアルゴリズムを比較し、セレンディピティ指向のアプローチが推薦に有効性を証明
(Moblie Taobaoでオンライン実験やらアンケートやらを行なっている)
ユーザ調査
Mobile Taobaoにおいて,セレンディピティに関するユーザ調査を行なった。
3039ユーザのアンケートを収集することができ、そのうち無効な回答を全てマニュアルに除外して、2401人(女性1651人)のアンケートデータを生成した。
アンケートはResQueの短縮版を流用して行なった(ResQue: 推薦システムに広く使用されている評価フレームワーク)
アンケート項目は下記であり、リッカート尺度が用いられた(強く賛成する <-> 強く反対するの5段階評価)
Q1: 推薦関連性
Q2: 推薦新規性
Q3: 以前購入した商品との違い
Q4: 以前の推薦商品との違い
Q5: 意外性
Q6: セレンディピティ
Q7: 適時性
Q8: 満足度
Q9: 購入意欲
また、同時に心理テストも行なっており、それによりテストを行なった方の下記の項目を導出している
好奇心
仮説パスモデル
仮説パスモデル -> 互いの評価項目の関連性を示した有向グラフみたいなものと理解(Figure.1)
例えば、この仮説パスモデルによると、意外性と関連性がセレンディピティを生む出すことがわかる.
https://gyazo.com/c0ea80f5e1c8e114ae1973fa0fb191cf
様々な研究が行われているが、ある一方では新規性がユーザ満足度に起因したり、ある一方では多様性がユーザ満足度に起因したりしているので、コンポーネント間の関係が明確ではないことがわかる
-> 電子商取引の環境において、ユーザフィードバックを収集することで、コンポーネント間の関係性を明らかにしたい
※好奇心が新規性からセレンディテピティの値をmoderate する
アルゴリズム
4つのアルゴリズムを電子商取引の推薦に適用した.
1. クリックに基づく人気順での推薦(以下、HOT)
2. ユーザ間の関連度が大きいアイテムが推薦(以下、Rel-CF)
3. 新規性が大きいアイテムが推薦(以下、Nov-CF)
4. セレンディピティが大きいアイテムが推薦(以下、Ser-CF)
HOTが570人、Rel-CFが596人、Nov-CFが589人、Ser-CFが593人に割り当ててオンライン実験を行ない、ユーザ調査のアンケートを実施した。
結果
アルゴリズムを適用したユーザにアンケートを行なった結果が下記である。
Table1は全アルゴリズムの総合的な統計値である。Curiosityは事前の心理テストの結果に導出された値であるらしい。
結果としては、Curiosity以外は正規分布に概ねそっており、どの分布もある程度類似している。
https://gyazo.com/a0cfbab3c614e54886961c014ab5fc76
また、IBM SPSS Amosを用いて、変数間の関係性を図示したパスモデルを構築した。
R2は回帰の決定変数を示しており、各エッジに書いてある変数はブートストラップして作成した標準化偏回帰係数(β値)である.
https://gyazo.com/20f68762c6d52fcfa05c7e5ffd9400e4
またアンケート結果から、セレンディピティ指向のアルゴリズムが全体的に優位であることがわかる
https://gyazo.com/193beafc62559e46a81d604f9e42db5f
これにより、
新規性と関連性と適時性がセレンディピティと相関する
セレンディピティがユーザ満足度と購買意欲に、新規性や多様性と比較して、大きな影響を与える
が判明し、セレンディピティを考慮した推薦手法が有効であることがわかる
発展
セレンディピティ指向のアルゴリズムは、ユーザのcuriousさによって、評価が変化するため、ユーザによってアプローチを変化させた方がいいだろう、下記の研究を応用させることでそれも可能になる↓
Wen Wu, Li Chen, and Yu Zhao. 2018. Personalizing Recommendation Diversity Based on User Personality. User Modeling and User-Adapted Interaction 28, 3 (01 Aug 2018), 237–276
懸念点
モバイルでの電子商取引のみを対象として実験を行なったために、別デバイスでは結果が異なる可能性がある
中国のユーザを対象に実験を行なったために、異文化では同様に結果が異なる可能性がある
ユーザアンケートの際の評価項目を制限したために潜在的な指標を見逃しているかもしれない
比較的に古典的な手法を用いたために、最新の手法のことも鑑みる必要があるだろう