LSTM

ゲート(Neural Network Layer) の種類(基本は、シグモイド関数を通す?,)

Forget

Input

Candidate(これは、 hyper tangent?)

Output

ステート、どれだけ過去の情報を考慮するかは、 pointwidse operationで、ベクトルな演算？でよい？

http://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-chain.png

http://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM2-notation.png