字句解析
lexical analysis
字句解析器
（
lexical analyzer
）
スキャナ
（
scanner
）
トークナイザ
（
tokenizer
）
https://ja.wikipedia.org/wiki/字句解析