再帰型ニューラルネットワーク(RNN)
データの順番を考慮して予測が行える
テキストデータや価格推移のデータなどに使われる。
構造
データの情報を保持するためのループが追加されていてこのネットワークの部分を再帰セルと呼び、再帰セルが保持してる状態のことを内部状態と言う。
LSTM(Long short term memory)
双方向RNN(Bidirectional RNN)
Seq2Seq
Attention
Transformer
ELMo(Embeddings from Language Models)
BERT(Bidirectional Encoder Representations from Transformers)