ByT5
https://arxiv.org/abs/2105.13626ByT5: Towards a token-free future with pre-trained byte-to-byte models
https://huggingface.co/docs/transformers/model_doc/byt5docs
https://github.com/google-research/byt5google-research/byt5
ByT5 は、mT5 モデルのトークナイザーなしの拡張機能です。他のほとんどの事前トレーニング済み言語モデル (BERT、XLM-R、T5、GPT-3) のようにサブワード語彙を使用する代わりに、ByT5 モデルは UTF-8 バイトで直接動作し、テキストの前処理の必要性を排除します。
https://www.infoq.com/jp/news/2021/07/google-byt5-nlp/Googleがトークンフリー言語モデルByT5をオープンソース化 - InfoQ
https://huggingface.co/sonoisa/byt5-small-japanesesonoisa/byt5-small-japanese