Transformer
自然言語処理
のモデル
CNN
や
RNN
を用いず、
Attention
のみを用いる
BERT
や
GPT
にも使われている
論文
Attention Is All You Need
Misreading Chatでの解説