Embedding
役割
次元削減: 大きな語彙サイズを持つデータセットでは、one-hotエンコーディングにより高次元のスパースベクトルが生成されます。Embedding Layerはこれを低次元の密なベクトルに変換し、計算効率を向上させます。
意味的な情報のキャプチャ: Embedding Layerは学習過程で単語の意味的な類似性を捉えます。例えば、「king」と「queen」など意味的に関連する単語が似たベクトル表現を持つように学習されます。
次元の連続的表現: Embeddingは連続的なベクトル空間で単語を表現するため、モデルがこれらの表現を通じて文脈を理解しやすくなります。
効率的な学習: Embedding Layerを使用することで、モデルはカテゴリカルデータを効率的に学習し、他の層での計算負荷を軽減できます。