T5X
https://github.com/google-research/t5x
https://www.ogis-ri.co.jp/otc/hiroba/technical/similar-document-search/part21.html
今回は T5X と
Prompt Tuning
の検証をしてみました。T5X は
JAX
と
Flax
で実装された
T5
の新世代実装です。 Prompt Tuning は近年流行している事前学習済みモデルとプロンプトで下流タスクを解く手法の一つです。 Prompt Tuning に関しては T5X で実装されたコードが公開されていたので、合わせて検証してみることにしました。
#Google
UniMax