トークン
プログラミング言語
のソースコードにおける記号列の中で
意味
を持つ最小の単位。字句とも
例
42
- 整数リテラル
foo
- 識別子
+
- 演算子
etc...