LSTM
Long Short-Term Memory
ref
基本的な構成要素
Cell State
情報が長期間にわたって流れる経路。Gates を通じて情報を追加/削除する
Gates
Forget Gate
Cell State からどれだけの情報を忘れるか
Input Gate
新しい情報をどれだけ追加するか
Output Gate
出力される情報
長期依存関係を持つシーケンシャルデータのモデリングに非常に効果的
ゲート機構を通じて重要な情報を保持し、不必要な情報を忘れることができる
勾配消失問題を軽減し、長期間にわたる依存関係を学習する能力が向上する