ゼロから始める転移学習
柴田 知秀さん
https://www.slideshare.net/techblogyahoo/ss-251672433
WIP:印象的だった点からまとめている
Attention機構(ゼロから始める転移学習)
サブワード関連の語の複雑さ(slide=94)
transformersを使えば、コードを書かずにfine tuningできる
ネット上の記事ではコードが⻑々と書かれていることが多い → たいていのことはデータを用意し、コマンドを実行するだけでよい(スライド108)
BERTで基本的なタスクを解く場合、コマンドを動かすだけで実行できる(スライド110)
transformersのexamples下を使っていると思われるコマンド例も紹介
👉 transformersのexampleにある文書分類を試す
(最後のパートで)基盤モデルの語を聞いた
👉On the Opportunities and Risks of Foundation Models
https://youtu.be/GJkllNLtxI0