4ab46088eec4,006

http://nhiro.org.s3.amazonaws.com/e/7/e71d411c0b184010587138ba7b106d59.jpg https://gyazo.com/e71d411c0b184010587138ba7b106d59

(OCR text)

7

注意機構

注意機構の概念は2014年誕生当時から抽象化

されて、見た目の違うものになっている

古い理解を引きずっていると混乱するので一旦

忘れたほうが良い

·ダメな例×過去の隠れ状態を取っておいて..

↑暗黙にRNNを念頭に置いているが

TransformerはRNNを使わないので

「過去」などない。

画像処理で使われていた時には

注意とRNNは無関係だった