転移学習
既存の学習済みモデルのデータは変更せず、新たなモデルのデータのみ学習する
GPT-4.icon
通常、モデルの一部(たとえば、画像認識モデルであれば畳み込み層)は固定され、新たに追加した層(全結合層など)だけが新しいタスクのデータで訓練されます
この手法は、新しいタスクのデータが少ない場合や、新しいタスクが元のタスクと似ている場合に特に有用です
利点
学習時間の短縮
より少ないデータで効果的な学習が可能に
既に学習してあるモデルを使用し、より軽量なモデルを生み出すことです
考え方自体は昔からあり、1995年のNIPSから一般化していった いろんな呼び方がある
確かにこんな記述がある基素.icon
ドメイン適応(Domain Adaptation)は,転移学習(Transfer Learning)と呼ばれる学習手法の一種です. 十分な教師ラベルを持つドメイン(Source Domain,ソースドメイン)から得られた知識を,十分な情報がない目標のドメイン(Target Domain, ターゲットドメイン)に適用することで,目標ドメインにおいて高い精度で働く識別器などを学習します
knowledge transfer
learing to learn
lifetime lerning
共変量シフト covariate shift
標本選択バイアス
(音声の)話者適応