Normalizers (huggingface/tokenizers)
https://huggingface.co/docs/tokenizers/api/normalizers
LowercaseやNFCなどなど
組み合わせ
られる！
huggingface/tokenizersのnormalizerの継承関係