Attention
RNN
において，どれくらいの
過去
の
状態
を
予測
に用いるかの
重み
を
ネットワーク
に組み込んだもの．
各
時刻
での
回帰結合層
の
状態
を保持することで実現する．