tokenizers.pre_tokenizers.ByteLevel

This pre-tokenizer takes care of replacing all bytes of the given string with a corresponding representation, as well as splitting into words.

「単語に分割するのはもちろん、与えられた文字列の全てのバイトを対応する表現に置き換えることもする」

Parameters

add_prefix_space (bool, optional, defaults to True) — Whether to add a space to the first word if there isn’t already one. This lets us treat hello exactly like say hello.

「先頭の単語の前にスペースを追加する」

「「hello」と「say hello」で同じ扱いになる」（どちらも「 hello」←半角スペースが1つ入ったhello）

use_regex (bool, optional, defaults to True) — Set this to False to prevent this pre_tokenizer from using the GPT2 specific regexp for spliting on whitespace.

Returns the alphabet used by this PreTokenizer.

Since the ByteLevel works as its name suggests, at the byte level, it encodes each byte value to a unique visible character. This means that there is a total of 256 different characters composing this alphabet.

「その名が提案するようにByteLevelはバイトレベルで作用するので、各バイトの値を一意の可視の文字にエンコードする」

「つまり、このアルファベットを構成する合計で256の別々の文字がある」

code:show_pre_tokenizer_alphabet.py

>> from tokenizers import pre_tokenizers

>> len(pre_tokenizers.ByteLevel.alphabet())

256

>> pre_tokenizers.ByteLevel.alphabet()