字句解析
Tokenize
ソースコードなどの文字列を 1 文字ずつ意味のある最小単位（トークン）に分割すること
トークン: 文法や意味の解析において基本的な単位
通常はキーワードや識別子、演算子、文字列、区切り文字などの要素を指す
字句解析を行うプログラムを 字句解析器（トークナイザ）と呼ぶ