CLS
from Sentence Embedding
CLS
- BERTなどのトランスフォーマーベースのモデルでは、文の最初に特別なトークン「CLS」（Classificationの略）を挿入します。
- CLSトークンは、文全体の内容を表すために使用され、特に文分類タスクで有用です。
- モデルが文を処理する際、CLSトークンの隠れ層表現は、その文全体の意味を捉えるように訓練されます。