transformers.RobertaTokenizerFast
https://huggingface.co/docs/transformers/model_doc/roberta#transformers.RobertaTokenizerFast
Construct a “fast” RoBERTa tokenizer (backed by HuggingFace’s tokenizers library), derived from the GPT-2 tokenizer, using byte-level Byte-Pair-Encoding.
#huggingface/tokenizers
のトークナイザはFastと呼称される(from
日本語でHugging Face Tokenizersを動かす
)
Parameters
tokenizer_file = None
ドキュメントは提供されていないが、この引数がある!!