Self-Attention
入力
あるいは
出力
系統内での
Attention
を指す.
一度に全ての
単語
間との関係を
計算
するため
並列計算
が可能.
ただし語順の
情報
が失われてしまう.
単語
の出現位置を
入力
に付加する
位置エンコーディング
によって回避している
Transformer
では
Self-Attention
で構成された
エンコーダ
と
デコーダ
を
Source-Target Attention
で橋渡ししている.