#弱教師 複数のfalse labelから学ぶアルゴリズムLearning with Multiple Complementary Labels TL;DR
複数の補完的ラベル(false label)が与えられた場合の学習の理論的保証と実際に学習する際の実装を与えた。
Information
Learning with Multiple Complementary Labels
Lei Feng1* Takuo Kaneko2,3*, Bo Han3,4, Gang Niu3 , Bo An1, Masashi Sugiyama2,3
ICML2020
Important Feature 1(問題設定)
https://gyazo.com/01ff59f6de6208dd166e39622be24d30
確率分布であらわすと
https://gyazo.com/197bb9fd292f544fd1a42a239a33afe6
Important Feature 2 (実装)
実際に実装するには次のようなロスが考えられる。
Decomposition after Shuffle
Given the shuffled training set with mutiple false labels, in each mini-batch,
we decompose each example into multiple examples, each with a single false label.
Decomposition before Shuffle
Given the training set with mutiple false labels,
we drive a new training set by decomposing each example into multiple examples, each with a single false label.
Then, we shuffle the derived training set.
また次のようなサロゲートロスも考えれる。
$ \begin{aligned} \mathcal{L}_{\mathrm{EXP}}\left(f\left(\boldsymbol{x}_{i}\right), \bar{Y}_{i}\right) &=\exp \left(-\sum_{j \notin \bar{Y}_{i}} p_{\boldsymbol{\theta}}\left(j \mid \boldsymbol{x}_{i}\right)\right) \\ \mathcal{L}_{\mathrm{LOG}}\left(f\left(\boldsymbol{x}_{i}\right), \bar{Y}_{i}\right) &=-\log \left(\sum_{j \notin \bar{Y}_{i}} p_{\boldsymbol{\theta}}\left(j \mid \boldsymbol{x}_{i}\right)\right) \end{aligned}
https://gyazo.com/ce1d0b13c7a082ef09d064003677aa62
EXPとLOGのロスを微分すると、難しいexampleにたくさんのウェイトが割り当てれられることがわかる
Important Feature 3
ふつうのリスクと今回の問題設定の関係。
https://gyazo.com/eaeb8ed09a48a1346a6564818a4e3b74
ふつうの今回の最適化してできた$ \hat{f} とふつうのロスを最適化してできた$ f^{\star}
の差のバウンド
https://gyazo.com/8b636017f114b7485f9bf1a2c5011fe9
Important Feature 4
MNIST、くずし字MNIST、Fashio-MNIST、20Newsgroupsで実験。
上記のEXPロスとLOGロスが一番いい。
https://gyazo.com/1fa2845419c657164d85fd4fe78b1a80