リカレントニューラルネットワーク
RNN
時系列データに対して用いられる回帰結合層を持つニューラルネットワーク
次の入力が過去の入力に従属する場合に再帰することでうまく予測するモデル
入力の長さを可変とすることができる．
言語モデル
Pretrained Modelsの基礎にもなっている
回帰結合層を用いたものをエルマンネットワークと呼ぶ
出力層の情報を入力に用いるものをジョルダンネットワークと呼ぶ
いくつか問題もある
勾配消失問題が発生する
回帰の分だけ余計に層が厚くなるため
入力重み衝突