b61e45bcb205008

http://nhiro.org.s3.amazonaws.com/f/6/f6171607bcee79253b5170c3c1b48638.jpg https://gyazo.com/f6171607bcee79253b5170c3c1b48638

(OCR text)

9

Input Weight Conflict

(著者日く勾配ベースの手法すべてにある問題)

ある情報を、

必要になるまで覚えておきたい

つまり、その情報が来たときに

ニューロンの活性は変わってほしい

しかし、他の情報が来たときに

ニューロンの活性は変わってほしくない

変わるか変わらないかが重みの値で表現されてい

る仕組みでは、この衝突が学習の妨げになる