トークン
Token
語源は「印」というくらいの意味
これ以上分けることができない最小単位として扱われる。
たとえば、プログラミング言語で不等号 "
<=
" は2文字からなるが、内部的には1つのトークンとして扱う。
字句解析
で、文字列からトークンに変換する。