4ab46088eec4,013
http://nhiro.org.s3.amazonaws.com/b/3/b3c1b2a7569d957d60aac5296bb044ca.jpg https://gyazo.com/b3c1b2a7569d957d60aac5296bb044ca
(OCR text)
14
自己注意(2017)
エンコーダから記憶(KeysやValues)が来て
デコーダからqueryが来るこの種の注意機構に
「ソース·ターゲット注意」という名前がつく
対義語として「ターゲット·ターゲット注意」や
「自己注意」という単語が生まれる。注意が
RNNに限らず色々なものに応用される。
例えば自分の下位レイヤーに対して注意を使う
個人的には自己注意という言葉は抽象度が高すぎると思う