On Interpretation and Measurement of Soft Attributes for Recommendation
2021/07/28
https://gyazo.com/b26b9c1cab26c66655882677cf60f0ae
著者
主著: スタヴァンゲル大学のひと
元 Google らしい
Google の人たち
選んだ理由
soft attributes という言葉に引かれたため
どんなもの?
課題
推薦システムにおいてバイナリ化されたラベルによる研究は広くされてきた
一方、この方法だと soft attributes はうまく活用できない
soft attributes の計測も重要であるができていない
提案
相対的でパーソナライズされた表現
データ収集の方法および評価の仕方
データは公開した
soft attributes の主観性の計測方法の提案
soft attributes を用いた critiquing の提案
対話的な推薦のことらしい
先行研究と比べてどこがすごい?
Critiquing Recommandation System として
既存のラベルによる Critiquing には課題がある
e.g. safe car の safe の意味って人によって違うよね
soft attributes によって取り扱うことで、より人間との対話的な critiquing が可能
DL 系のモデルとの比較
embedding 系のモデルでより柔軟に critiquing するものはある
本システムも表現の作成に embedding を使うものの、endtoend なモデルとことなり、item にする soft attributes の度合い (degree) を算出するものである
Comparative Opinion Mining
比較意見を探すものっぽい
既存は特定のキーワードを抽出してなどの制約を課して、比較をしていた
本研究は critique を用いてできるので既存のものよりも自然な言葉を利用できる
技術や手法のキモはどこ?
soft attributes の定義
比較として social tags が存在する
大きく 2 つの要素をもつ
度合いに対する質問が普通に存在するか?
violent は何をもって violent と言えるのか?のような質問が存在する
人によってその言葉への捉え方は異なるか
https://gyazo.com/c9d866963653a3069743ca3640c28153
https://gyazo.com/cd5a4f574ab1b99620b18f215bcdf4e0
2 つのデータセットを作った
MovielLens Attributes Collection
1. Movie Lens の tag から頻度の高いもの 100 個をサンプルする
2. Ground Truth を定める
$ \alpha 以上のユーザーがある item に定めたタグを Ground Truth とし除く
$ \alpha を 0.15 に定めた
82 個のタグが soft attributes として残った
3. Evaluation Measure
Goodman and Kruskal's gamma をランキングの指標として用いる
$ G=\frac{N_{s}-N_{d}}{N_{s}+N_{d}}
Soft Attributes Collecton の作成
1. CCPE-M という対話データセットから 173 件の soft attributes を抽出
2. Ground Truth を決める
anchor item x を決めて、a という単語に対してどうかという質問を crowd worker にしてもらう
https://gyazo.com/c77391d7050871a810905953b430b037
Sampling Methodology
いい感じの sampling 方法で効率的に
3. Evaluation Measure
相対比較なのでいい感じにランキング指標を拡張
$ G^{\prime}=\frac{\left(N_{s}-N_{d}\right)+2\left(N_{s s}-N_{d d}\right)}{\left(N_{s}+N_{d}\right)+2\left(N_{s s}+N_{d d}\right)}
Soft Attributes の分析
3 つの観点
どのぐらい主観的か
ある soft attributes について映画同士を比較しその上下関係が一致するか
https://gyazo.com/500ed1d870302d201464a94ed0631160
https://gyazo.com/60657b118d89b8554cb4a437be0fd2f2
同程度というのを観測できるか
$ X^{o} に振り分けられた score から同程度のしきい値を算出できる
soft attributes による item の scoring
ある item とその soft attributes を選択することで、score を算出する
相対的な距離で算出するっていうのが肝っぽい
https://gyazo.com/efc63f84bb8414edcdcea104f4b1ce91
https://gyazo.com/8c0bd89c21a9d54abbeda48b0d3ef0e5
他にも計算方法はいくつかあった。。。
どうやって有効だと検証した
https://gyazo.com/485ac93937d66d4181fe6b245e202df9
SoftAttr のほうが難しい
score の計算手法によって結果が変わる
アルゴリズムに対する考察があったが割愛
所感
難しかった....
ある item とある単語における上下関係からランキングするというのは面白いように感じた