Lexer

Lexical Analyzer. 字句解析器

関数が、ソースコードを一文字ずつ読んで、意味のあるまとまりができたら1つのトークンを返す

役目

スペースを省く

コメントを外す

など

どのぐらいの規模で実行するか

実際の(C?)コンパイラでは、入力されたソースを全てトークンに分解してからparserに送るわけではない

構文解析部でyylexという関数を呼び出す度にソースを字句解析し、トークンを一つずつ送る事が多い

最初に一気にTokenに分解するものもある