tokenizers.models.BPE
#huggingface/tokenizers
https://huggingface.co/docs/tokenizers/main/en/api/models#tokenizers.models.BPE
Parameters(いずれもoptional)
unk_token (str, optional) — The unknown token to be used by the model.
An implementation of the BPE (Byte-Pair Encoding) algorithm
saveメソッド
ベースクラス
tokenizers.models.Model
に定義されている