Backpropagation
誤差逆伝播法
出力層から入力層に向かってGradient (勾配)を効率的に計算するためのアルゴリズム 1. 順伝搬 (forward propagation)
3. 逆伝播
最後の層で誤差がどれくらい大きかったのか見る
その前の層に戻り、どの程度誤差に寄与したのか見る
順番に遡り、どの部分が間違って予測に影響を与えたのか調べる
誤差を少しずつ修正する
メリット
Chain Rule を使うことでネットワーク全体の勾配を一度の計算で得ることができ、計算量を大幅に削減できる 順伝播の計算結果をメモリに保存しておいて逆伝播時に再利用することでメモリ、計算量を削減
https://www.youtube.com/watch?v=Ilg3gGewQ5U
https://www.youtube.com/watch?v=tIeHLnjs5U8&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=4