BaseTokenizer
https://github.com/huggingface/tokenizers/blob/v0.12.0/bindings/python/py_src/tokenizers/implementations/base_tokenizer.py#L13
__init__
_tokenizer
属性をセット
_parameters
属性もセット
save_model
self._tokenizer.model.save
を呼び出す
指定したディレクトリに2つのファイル(vocab.jsonとmerges.txt)が保存される挙動
save
self._tokenizer.save
を呼び出す