2019/05/16 When Sheep Shop: Measuring Herding Effects in Product Ratings with Natural Experiments Gael Lederrey, EPFL, gael.lederrey@epfl.ch
Robert West, EPFL, robert.west@epfl.ch
アブスト
群れ効果というのがある
個々の行動が全体の行動に影響を受けること
オンラインショッピングではレーティングをつけられるようになっていて、そこで群れ効果が現れる
最初の悪い評価に影響を受けたり
この論文では、プロダクトについて異なるサイトからの評価を調査
片方では高評価、もう片方では低評価
結果、明らかに群れ効果が現れていた
初期評価が高いとそれに続く評価も高くなるし、逆に初期評価が低いと続く評価も低くなる
しかも、その効果は長くとどまることが判明。20レーティングくらい集まっても続いていた
ここから得られた示唆は良いレーティングシステムの設計をするときに大事
イントロ
オンラインのレーティングシステムには課題がある。それは群れ効果。
初期のレーティングに引きずられてしまう。
群れ効果の研究は難しい。
ランダム化試験はできるが、ビジネス的・倫理的観点からリスキー
観測的な研究もあるけど、難しい(商品の特性なのか、初期評価の影響なのかを判別するのが難しい)
この論文では、2つのレーティングサイトを使って研究した
プロダクトの種類は多くないほうが良いので、本論文ではビールに限定して調べた 🍺
この方法を neutral experiment と呼ぶ
両サイトにて、新入荷のビールBを調査すれば良い
それぞれのサイトで、あるビールが異なる評価になるとうれしい
方法
Step 1 すり合わせ
2つのウェブサイト両方にあるビールだけを対象にする
それぞれのサイトで同じビールを特定する(主に、名前の類似性から判定する)
Step 2
H (high), M (midium), L (low) を定義
H は全商品の中でレーティングのトップ p%, L はボトム p%
我々は p = 15 とした
firstrating のペアをつくる
9パターンできる。組み合わせは H,M,L x H,M,L なので。
Step 3 バランスをとる
それぞれのグループでH,M,Lの数が同じになるようにサンプルをランダムに間引く
Step 4 集約
HLとLHグループをHLとするみたいこと。
Step 5 結果の比較
それぞれのグループで、後に続くレーティングがどうなったか見る
データ
https://gyazo.com/c74c9e4c7945ae8d974e7b82897194ab
マッチングアルゴリズム
スキップ
結果
最初のレーティングは後に続くレーティングに影響することが分かる
https://gyazo.com/384871163365a0b6299fc0466ae526fb
Discussion
Implications for ratingsite design
A simple idea to address this problem would be to hide all reviews of a product as long as it has received less than a minimum number of ratings.
なるほどなぁ