2019/07/04 Towards Neural Mixture Recommender for Long Range Dependent User Sequences https://gyazo.com/f7272ba25b663f42b526136aea4616b3
イントロ
推薦システム
適切な情報を適切なタイミングで
時系列の情報は推薦システムの改善に有効
Koren (Netflix Prize Competition)
RNN
アプリケーションやコンテキストによって必要になる時間幅やパターンは異なる
典型的には特定の時間幅を捉えるようにモデルは設計されている
例えば、Amazonのトップページ(home page)と商品ページ(detail page)では時間幅が異なる
detail page のほうが直近のアクションに依存しやすい
本論文の貢献
Data-Driven Design
データを使った分析に基づくデザイン
Multi-range Model
3つのサブモデルの混合モデル
アプリケーションコンテキストに依存する時間情報を動的に選択
Empirical Benefits and Interpretability
公開データと非公開データで実験し性能改善を確認
解釈性のある設計により、異なる時間幅の効果を分析
長期時系列データの価値
過去のイベントが現在のイベントにどう影響を与えるか
N番目のイベントとN-L番目のイベントの行列の内積をとる
RNNベースのモデルで埋め込み表現を作成
https://gyazo.com/08ac06c5bcc1a765fce0a9d8e192e8c7
時間(イベント)が経つごとに値は小さくなる
直近のイベントが将来のイベントへの影響は大きい
Lが大きくなっても、将来のイベントへの影響はあり続ける(0にはならない)
モデル
M3 (Multi-temporal-range Mixture Model)
複数のレンジの時系列を扱う
MT(Tiny)
前回のイベントのみを利用
Linear
MS(Short)
短期イベントを利用
RNN or Temporal CNN
ML(Long)
長期イベントを利用
時系列は考慮しない
Attention
https://gyazo.com/f88f001f1e0a541fdddaca461a1be42f
https://gyazo.com/149c20554eea20ea66f4ce1cebf93006
https://gyazo.com/8b0457b5d1e152beb0c76549bb86d313
実験
MovieLensを使った実験
データ
MovieLens
20イベント以下のユーザは除外
最大長は7450
ベースライン
FMC(First-order Markov Chain)
DeepBoW
GRU4Rec
Caser
提案モデル
M3C (MT+MSCNN+ML)
M3R (MT+MSRNN+ML)
https://gyazo.com/081340cd0ff6c40c5b0434faa593707a
Youtubeを使った実験
データ
Youtube
150イベント以下のユーザを除外
直近の300イベントを利用
デバイス、滞在時間
ベースライン
Context-FMC
DeepYoutube
Context-GRU
https://gyazo.com/64832a9106a22939e2a0b7c03990b587
モデル別の実験結果
https://gyazo.com/db3b6e809f64a7893fa1bb249f2df787
ページタイプ別の影響
トップページ(home page)と商品ページ(detail page)では影響が異なる
リスト面と記事面
どちらもShortの影響が一番大きいが、TinyとLongはdetail page ほど大きい
https://gyazo.com/2f758dd78b7bf597dfc3395d63d7f951
まとめ
複数の時系列幅を考慮したモデル
Youtubeのデータを利用し、分析・実験
所感
過去イベントと現在のイベントとの関係をみるのは、うちでもやってみたい