字句解析
記号列をプログラム内で扱えるトークンの形に変換する処理
x = 1 + 23 ; という文字列（記号列）があったとする
空白は無駄なものとみなすことにする
例えば以下のようにプログラム内で対応付ける
table:token
symbol token
x IDENT
= ASSIGN
1 NUMBER
+ SUM_OP
23 NUMBER
; DELIMITER