トークン - 井戸端

トークン

「言語における、意味を成す最小単位の字句」だと思う

もしかして: 単語

if のような単語っぽいものだけではなく + 等の単語っぽくないものに対しても使えるように字句(トークン)という語を使う

LLMのトークン

MFAの番号を発行する機械のこと

ここから違う意味になるので区切る

タイプとトークンの区別（英: Type-token distinction）とは、

対象のクラス（タイプ）と、そのクラスに属する個々の事例（トークン）の区別である。

プログラミング言語で使ってる概念が哲学的に既に議論済みなのオモロイSummer498.icon

例えば、ガレージにあるあなたの特定・個別の自転車は、「自転車」というタイプの中のトークンとして理解される。

インスタンス(実体) とプログラムでは呼んでいる

このトークンとしての自転車は、時空の中の特定の位置を占めているが、

タイプとしての自転車はそうではない。

「最近自転車の人気が高まっている」と言うとき、

この「自転車」はタイプとしての自転車を指して言っているのに対して、

「あなたのガレージの中の自転車」

と言うときの「自転車」はトークンとしての自転車である。