字句解析
字句解析(じくかいせき、lexical analysis)
言語の要素(トークン)に分割
終端記号
非終端記号
字句解析 - Wikipedia
プログラミング言語処理
Lecture Notes
#コンパイラ
#言語処理系