Attention機構（ゼロから始める転移学習）
https://www.slideshare.net/techblogyahoo/ss-251672433 スライド30〜
Attention機構として
2014 Neural Machine Translation by Jointly Learning to Align and Translate
2015 Effective Approaches to Attention-based Neural Machine Translation
Transformer（スライド37）
2017 Attention Is All You Need
LSTMを使わずにattentionだけで翻訳
「Query, Key, Value」と「Self-attention」の2つの拡張
Transformerのencoderとdecoder
感想：Attention is All You NeedでAttentionを拡張してTransformerを提案
Attention自体は以前からある！
👉TransformerがBERTにつながる！（「BERT学」の端緒。パラダイムシフトに当たるのかも）
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding