Domain Adaptation

代表的な研究室

Kate Lab

ソースデータとターゲットデータの生成ドメインが違うときに用いる転移学習の一つの手法

ソースデータとターゲットデータの差を縮めるように学習をすることによって，ターゲットデータにおいても高い精度で学習をすることができるようにする

A theory of learning from different domains

ターゲットデータにおける汎化誤差は，

$ \epsilon_t \leq \epsilon_s + d_{\mathcal{H}}(\mathcal{D}_s, \mathcal{D}_t) + \lambda

でバウンドできる

$ d_{\mathcal{H}}を小さくするアプローチが多く，敵対的学習を用いる手法や，MMDを最小化する手法は全て$ \mathcal{H}-Divergenceを小さくするアプローチであることが示されている

Divergence Based

$ \mathcal{H}-Divergence

https://gyazo.com/717378b71463addb07809bd564623662

二値分類において，もっともよく識別できる仮説$ \etaが，ソースデータとターゲットデータをどれくらい識別できるか

$ \mathcal{H}\Delta\mathcal{H}-Divergence

https://gyazo.com/b3f1dd864b2409a1a31b3baf80104b49

仮説クラス上の離れた二つのモデルが，同じクラスを予測できるかどうか

敵対的学習によるアプローチ

Domain-Adversarial Training of Neural Networks

MMDによるアプローチ

Learning Transferable Features with Deep Adaptation Networks

Deep Transfer Learning with Joint Adaptation Networks

Contrastive Adaptation Network for Unsupervised Domain Adaptation

周辺化した分布の距離を小さくするアプローチ

Unsupervised Domain Adaptation via Regularized Conditional Alignment

タスクにおいて重要な特徴量を重視する

Drop to Adapt: Learning Discriminative Features for Unsupervised Domain Adaptation

特徴量のノルムに注目

Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation

ソースデータの特徴量のノルムが小さいため，ターゲットデータの特徴量も同様に小さくなってしまうが，これが識別可能性を不安定にさせている．大きいノルムの特徴量を抽出した方がよいのではという仮説

Ideal Join Error based

Transferable Adversarial Training: A General Approach to Adapting Deep Classifiers

特徴量をResNetの学習済みモデルでfixし，Classifierを敵対的学習によって頑健にする

敵対的学習の理論(Certifying Some Distributional Robustness with Principled Adversarial Training)とドメイン適応の汎化誤差(A theory of learning from different domains)の二つを基にした理論的解析

Target Shift

ソースデータとターゲットデータの，クラスの割合が異なる場合でも高い精度で学習ができるようにする．

Partial Domain Adaptation

ターゲットデータのクラスが，ソースデータのクラスのサブセットであるような場合でも，高い精度で学習できるようにする．

Openset Domain Adaptation

ターゲットデータのクラスの中に，ソースデータにはない未知のクラスが存在する

Incremental Domain Adaptation

オンライン学習のように継続的にターゲットデータを学習する

Cross Validation

Covariate Shift Adaptation by Importance Weighted Cross Validation

確率密度比をもとに，Covariance Shiftが起きる状況も考慮してCross Validationを行う手法

Towards Accurate Model Selection in Deep Unsupervised Domain Adaptation

Covariance Shiftのパラメータの分散が大きい時に，分散を抑えて計算を行うことで，確率密度比の信頼性をあげる

Task-Specific

Anomaly Detection

Transfer Anomaly Detection by Inferring Latent Domain Representations

Semantic Segmentation

Multi-source Domain Adaptation for Semantic Segmentation

Category Anchor-Guided Unsupervised Domain Adaptation for Semantic Segmentation

Point Cloud

PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation