AdKdd 2020
On the Effectiveness of Self-supervised Pre-training for Modeling User Behavior Sequences
Yiping L.
Unity Technologies
AdKDD初登場では?
上場するし広告もがんばってる?
Unity Ad はGame Monetization Solution
コンバージョン予測をやっている
最も価値のある広告をみせる
配信面と広告主の両方を持っている (アドネットワークじゃん)
ユーザーの行動履歴はコンバージョン予測を著しく向上させる
ユーザーの行動履歴 = ゲームアプリ上の行動
install, start, view, click ....
ユーザー行動の時系列をエンコードしてコンバージョン予測の1素性として使う
Sequential Representation Learning
installを予測したいが、これは疎である
Self-supervised Pre-training
知らなかったこれ
ラベルを利用せず、入力データ自体から教師データを作り出すことでデータの表現を学習する
Relative improvement of AUC
$ \displaystyle RelaImpr = (\frac{AUC({\rm measured model})-0.5}{AUC({\rm baseline model})-0.5}-1)\times100%$
Unbiased Lift-based Bidding System
サイバーエージェントもりわきさんの
パフォーマンスベースのDSPの値付けは因果効果を無視している
広告が無くともCVする人にお金を使っている
これはDSPは嬉しいけど広告主は嬉しくない
提案手法
unbiased and lift based bidding
因果効果で値付けを行なう
広告配信ログにはバイアスがあるので除去
傾向スコア
結果
他社の値付け戦略と変わるので安くオークションに勝てるようになった
cost/imp が下っている所からわかる
cost/click はあがった
cost/cv は下がった
CVRは同じ
Keynote 1: Computational Advertising: Local vs. System's thinking
オークションの文献はSingle Shotである
Interactions across Auctions and Advertisers
Introduce new equilibrium concept
Fluid Mean Field Equilibrium (FMFE)
非線形相補性問題によって特徴づけられる
Interactions across Advertising value chain members
RTB
Main Question: what is the impact on the value chain of intermediaries such as DSPs?
DSPのような仲介業者のvalue chainに及ぼす影響は何か?
別にDSPを排除しようとはしていないよ
ヒストグラム縦軸、Fruction of 〜 ってかくんだ
myopic benefit ( 近視眼的な利益)
Interactions across advertising channles
ラストアトリビューションモデルはいけてない
公理的なアトリビューションモデルであるべき
つぎの公理系を考える
Ads that are "equivalent" should receive same value
Value allocated should equal value generated over the no-ad baseline
Value should be "additve" across difference models of conversion
If an ad has zero value-add over no-ad baseline, then its value is zero
Shapley Value + 因果効果でアトリビューション毎の寄与度を求める
3つの論文をベースにしゃべった
- Repeated Auctions with Budgets in Ad Exchanges: Approximations and Design
- Auctions for online display advertising exchanges: approximations and design
- Auctions in the online display advertising chain: A case for independent campaign management
- Shapley Meets Uniform: An Axiomatic Framework for Attribution in Online Advertising
Predicting conversions in display advertising based on URL embedding
Keynote 2: Beyond auction theory: Economic models relevant to computational advertising
Computational Contract Theory
最も適切な契約をdynamicに求めるには
Formal Model
- Contract Setting
Live Interview: Evolving Regulatory Trends and Their Impact on Ad Tech
Drawbridgeのはなししてる
GoogleやFacebookみたいなプレイヤーはuser identitifyできるけど、普通のadvertiser, publisherにはできないよね
この identity 能力を democrotize するのが Drawbridge
DSPはどうモデルを作ったらいい?
IDFAの規制がchangeされたけどDSPはどうモデル作ればいいのよ?
eco systemにdestructiveな影響を与える
platformerとtalkすべき、みたいな
First Party data is king
Privacy frendry and consumer first なsolutionはchallengingだ
federated learning
GoogleMapが位置情報と引き換えに地図を使わせるという価値を提供するように
IDFAと引き換えにPublisherが価値を提供するスタイル
value exchange
Good proxy, is a challenge to get permission
Keynote 4: Marketplace in Motion
Pinrterest
凄い良かった。広告といかに共存していくかメディアの努力を垣間みた
質疑応答がかなり盛りあがった
なんかかっこいい広告ばかりだ
Two sided market place
To provicde long term value
for Pinnners, Partners and Pinterest
Optimization Framework
Eren Manavoglu ADKDD2019
based on short term observations
ユーザー体験を損なわないように広告の設計をしている
User Satisfaction
With the product
With ads
Ad Ranking × KPI ? (eCPC ... )
Quality Bid = Relevance × Engagement × Diversity
Relevance
段階
Advertiser quality
Ad quality...
Pre-click Relevance
user request と関連があるかを予測
Groundtruthは?
explicit feedback
Relevance Models based on Human Labels
**revance is defined based on human judgements on a 5-pt likart scale**
すげーどろくさいけど、真剣にAdをプロダクトに組みこむには必要なんだな
Post click Relevance
Landing pageの関連性
DNNいいよ
very large Higher order categorical feature
Chat
Most of the predicting tasks are addressed by the multi-task learning models