c-lang:トークン

C言語の構成要素の最小単位。

コンパイラが翻訳作業上認識する文字、文字列。

トークン（綴り）には次の6種類ある。

1. 識別子（identifier）

2. 予約語、キーワード（keywords）

3. 定数（Constant）

4. 文字列リテラル

5. 演算子

6. 他の区切子

隣接した識別子、キーワード、定数を区別するのに空白が必要なこともある。

入力ストリームがある文字のところまでトークン分解された場合、次のトークンとしては、あるトークンとしては、あるトークンを構成しうる最長の文字列がとられる。