Semi-supervised domain adaptation via minimax entropy

イントロ

https://gyazo.com/319d0ff9e9f658b9927e13f3a16c7c45

関連論文をリンク付け

どんな論文だった？

エントロピー最大化や最小化したりしながら半教師ありのドメイン適応を行おうとした論文

ラベルの無いデータ

後段の分類器においては平均情報量（エントロピー）の最大化

特徴量がどっちつかずの平均的な場所を示すことになり過学習を防ぐことにつながる

https://gyazo.com/ff71d7bce6d82fa035f547fb7e537964

前段の特徴抽出器においてはエントロピーを最小化する

ランダム性が小さくなることで、プロトタイプの1か所に集まるように動く

https://gyazo.com/b12431988f444971bbc15d0905b56812

通常のクラス分類を行っているのと同じ

先行研究と比べてどこがすごい？

同じデータに対する正答率が高いということ

可視化した際の識別性が高いということ

技術や手法のキモはどこ？

勾配反転を用いてエントロピーの最大化最小化を引っ張らせるという発想

ラベル済のデータはCrossEntropyで学習を行い、ラベル無のデータはEntropyで学習を行うのが本論文のキモ

回帰の時にはLossが異なり、理論が壊れてしまう可能性がある

回帰の結果を分類で推定する方法を用いれば使用することができるが、そのまま回帰に使えるとは思わない。しかし分類に変換してまで使用しようとは思わない。

分布合わせのいち手法としてとても参考になった

プロトタイプを推定できれば、分類器の後にFC層を噛ませて回帰でも使えるかも？

特徴分布を潜在分布にすれば使える？

Targetの教師データが多いと精度が勾配反転無しと同じ→本論文が自身の研究に適合しているかといえば微妙

どうやって有効だと検証した？

同じデータセットで他のドメイン適応手法と比較した

比較手法

ベースラインはラベル有データのみを用いて学習したもの

DANN: 教師無しドメイン適応の一般的な手法。ラベル有データも学習するように修正されている

CDAN: 教師無しドメイン適応の最先端の方法。エントロピー最小化を行う。また、ドメインアライメントを使う。

ENT: 勾配反転を使わずに、特徴抽出器も分類器もエントロピー最小化を目指す。

どのバックボーンでも他手法より平均5~8%ほど正解率が高かった

本手法が全手法の中で唯一、すべての実験でベースラインを超えた

特徴分布の識別性が高いか、t-SNEで可視化した

本手法は最も識別性が高かった

議論はある？

教師ありTargetデータが増えるほど、勾配反転は必要なくなる

プロトタイプ推定しなくても精度が向上するから

次に読むべき論文は？