共変量シフト
$ P_{train}(X) \neq P_{test}(X) and $ P_{train}(y|X) = P_{test}(y|X)
通常機械学習では訓練データの分布とテストデータの分布が等しい事を仮定するが、現実には異なる事もある。この状況をパターン認識の分野で共変量シフト(covariate shift)と呼ぶ。
共変量シフトの対応
非定常なシステムにおいてサンプルの傾向が常に変動するケース、変動がゆるやかである場合は比較的新しいデータのみを利用する忘却型の学習アルゴリズムが使われる。
重要度重み付け最小二乗法
訓練時のサンプルの分布 $ p_{train} とテスト時のサンプルの分布 $ p_{test}が既知の場合、重要度$ p_{test}(x_i)/p_{train}(x_i) が計算でき、これを損失関数に用いる。
重要度重み付けCV
重要度をクロスバリデーション時に用いる。つまりテストデータっぽいサンプルに対するペナルティを重くする。
References