勾配降下法
勾配を下がっていくことで最小値を見つける探索手法．
勾配に沿ってどれだけ進むかは学習率と呼ばれ，ハイパーパラメータである．
局所最適解と大域最適解を区別できないという弱点がある．
学習率の設定で調整することが考えられる対応の一つである．
鞍点というややこしい事態もある．
鞍点から抜け出せない状態をプラトーという．
モーメンタムという手法が提案されている．
過学習を防ぐために早期終了も重要である．
ノーフリーランチ定理
二重降下現象もあるため，簡単な問題ではない．