Transformer
Attention Is All You Needにて提案された
機械翻訳でSeq2seq(RNNベースのEncoder-Decoderモデル)よりも高速&高精度
RNNもCNNも使わずattentionのみを使用したEncoder-Decoderモデル
NLPの最近のSoTAたち(BERT, XLNet, GPT-2など)のベースとなるモデル
https://gyazo.com/497e4b67b25dccfda9c1637db2c71331
左がencoder, 右がdecoder
multi-head attention
https://gyazo.com/9b30a0a07e5c682de0ece900d3705d10 深層学習界の大前提Transformerの論文解説！.icon
例：スペイン語→英語翻訳
encoderへの入力：Yo tengo gatos
decoderへの入力：I have <mask (cats)>
問題と答えの一部を与えられ、残りを埋めるタスク
深層学習界の大前提Transformerの論文解説！深層学習界の大前提Transformerの論文解説！.icon
論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
詳しい
#self-attention