何でも微分する
https://speakerdeck.com/joisino/he-demowei-fen-suru
最適輸送を最適化問題として捉えた場合、微分可能ではない
ので勾配法で解けない
しかしうまい正則化項を入れればできる
https://gyazo.com/6cac326261527a446755574a8eaf5881
シンクホーンアルゴリズムで計算できる
しかも自動微分できる
のでNNなどの他の自動微分系のアルゴリズムと組み合わせられる
ランキング問題(ランキング学習)
正解率の最適化
正解率はステップ関数が入るので微分できない
ので慣習的にクロスエントロピーが使われてきた
しかし「既に正解している問題」にも更新インセンティブが発生してしまう
連想: Passive-Aggressive
ランキング問題は一次元の最適輸送問題
さまざまな過程を微分可能にできる
ランキング、ソート、ビームサーチ
一般の線形計画問題もブレグマン法で解ける
最短経路問題などもAdamなどの勾配法で解ける
end-to-end最適化に入れられる
連絡先: @joisino_ (Twitter) / https://joisino.net/
joisino