linear probe
linear probingだけでは, 有用だが非線形な特徴量は扱えない
そこで,
partial fine-tuning
と呼ばれるものがある
最後の何層かだけを再び学習対象として, それら以外はfreezeさせる
intermediate fine-tuning
というものもある
結構よく使われる手法らしい
https://gyazo.com/0c773b92e3a2fb1c34b6068e993179c4