BaseTokenizer (huggingface/tokenizers) - nikkie-memos

BaseTokenizer (huggingface/tokenizers)

#huggingface/tokenizers

#ByteLevelBPETokenizer の基底クラス

https://github.com/huggingface/tokenizers/blob/v0.12.0/bindings/python/py_src/tokenizers/implementations/base_tokenizer.py

BaseTokenizerはTokenizerを継承しているわけではない

ラップしているtokenizerのメソッドを呼び出す実装により、Tokenizer同様のインターフェースに見える

Tokenizer https://huggingface.co/docs/tokenizers/python/master/api/reference.html#tokenizers.Tokenizer