tiktoken
BPE
tokenizer
OpenAI製
github
OpenAI
のAPIとかで使われる
$〇〇/token
とか言ってるやつのtoken数を計算できる
ここのTokenizerの内部はtiktoken?
https://platform.openai.com/tokenizer