RNN
再帰型ニューラルネットワーク
データが入力層から出力層に向かって一方向にのみ移動するFeed Forward 型に対して、時系列データや順序情報を扱うために設計されたネットワーク 再帰的な構造を持ち、各ノードが出力を次のタイムステップの入力として再利用する
よく使われるレイヤ
Simple RNN / Vanilla RNN
隠れ状態を次のステップに渡す基本的な形式
Long Short-Term Memory
ゲート機構を持ち、長期間の依存関係を学習できる
Gated Recurrent Unit
順方向と逆方向のRNNを組み合わせたもの
文脈の前後関係をより深く管理できる
シーケンス全体から重要な情報を動的に選択し、モデルが特定の入力部分に集中できるようにする