CLS
from
Sentence Embedding
CLS
- BERTなどのトランスフォーマーベースのモデルでは、文の最初に特別なトークン「
CLS
」(Classificationの略)を挿入します。
-
CLS
トークンは、文全体の内容を表すために使用され、特に文分類タスクで有用です。
- モデルが文を処理する際、
CLS
トークンの隠れ層表現は、その文全体の意味を捉えるように訓練されます。