日本語Tokenizerの違いは下流タスク性能に影響を与えるか？

形態素解析をした方が性能が良くなる

なんとなくそうなんじゃないかと思っていたが確証はなかった

しっかり実験して検証している、ありがたい

関連