Adagrad

今まで計算した勾配の合計でパラメーターごとに学習率を変化させ、小刻みに探索したいパラメーターは学習率を小さく

どんどん先を探索したいパラメーターは学習率を大きくする。

効率的に探索できる。