転移学習

転移学習

通常の機械学習では、ドメイン、データ、タスクが異なる場合は別々にモデルを使って学習を行う必要がありました。

しかし、学習を用いるとあるモデルを異なるタスクや領域に再利用できる。

転移学習の方法

特徴抽出

従来の機械学習ではデータから学習に有用な特徴を導出してそれを入力データとしていた。

しかしディープラーニングではデータをそのまま入れるだけで正しい予測結果を出力する。この際ディープニューラルネットワークの最後の層では分類に有用な特徴量が伝わっていると考えられるため、最後の層を切り取って代わりにSBMなどの従来の機械学習分類気を繋げてもうまく分類できる。特徴量を取るために使う。

学習済モデルを使い最後のほうの窓だけをタスクに合わせて学習し直す方法

転移学習の課題

負の転移とは 通常の学習よりも性能の良いモデルを作るはずが、反対に性能の悪いモデルが作られてしまうケース。転移元と転移先のタスクがそれほど似通っていないとこのような結果になる。

転移学習の関連分野

ドメイン混同

通常出力する値のほかに、入力したデータのドメインを出力する。クラシックとポップスと言う異なるジャンルの曲に対して曲の感情を分類するモデルを作るとする、 ドメイン近藤では音声データを入力として曲の感情だけでなく曲のジャンルを白くするモデルを作る。次に感情が正しく出力されジャンルの出力をわざと間違えるモデルになるようにモデル学習を行う。このようにジャンルを混同させることでモデルがそのジャンルに特化していくのを防ぎつつ曲の感じを正しく出力する。

マルチタスク学習

複数のタスクについて同時に学習をする。

One-shot学習

訓練データが1つしかなくても正しい出力ができるような学習方法。