RNNの挙動
RNNが次の文字を予測する際の挙動について、
可視化
を交えて解説した記事。単語の中では短期間の
コンテキスト
が参照されており、単語の境界(新しい単語に入る場合)には長期間のコンテキストが参照されていることを示している。
LSTM
は短期、
GRU
は長期を見る傾向が強いとのこと。
https://t.co/HyUn7BWrKi
https://twitter.com/icoxfog417/status/1110404136850214912?s=19