b61e45bcb205016

http://nhiro.org.s3.amazonaws.com/3/c/3c41209e2dff7fbfb493ee86bee8a05a.jpg https://gyazo.com/3c41209e2dff7fbfb493ee86bee8a05a

(OCR text)

17

Internal state drift

メモリセルへの入力が正ばかり(または負)

だと、メモリセルの値が一方的に大きくなり

勾配が消滅する(活性化関数がシグモイドとかだ

と問題ないんだけど今回線形なんで)

序盤の間、入カゲートの出力が0に近づくように

バイアスする

(学習がしばらく進むと他の二ューロンがドリフ

トを吸収するので、それまでの間耐え忍ぶ)