T5
Text-To-Text Transfer Transformer
これもgoogle
よく読んでないがELECTRAの方で触れられていたが、計算量が膨大っぽい
T5-Small (60 million parameters): gs://t5-data/pretrained_models/small
T5-Base (220 million parameters): gs://t5-data/pretrained_models/base
T5-Large (770 million parameters): gs://t5-data/pretrained_models/large
T5-3B (3 billion parameters): gs://t5-data/pretrained_models/3B
T5-11B (11 billion parameters): gs://t5-data/pretrained_models/11B
というかんじで一番でかいサイズは110億パラメータがある
GLUE ベンチマークで、人間の能力を超えたらしい