誤差逆伝播法
損失からの情報をネットワーク上で逆向きに伝搬させる手法
任意の
$ f
について勾配
$ \nabla_{\boldsymbol{x}} f(\boldsymbol{x}, \boldsymbol{y})
を求める
$ x
は微分を求めたい変数の集合
$ y
は勾配の計算が必要のない変数
これも関数の入力
連鎖律
誤差逆伝播のために連鎖律を求めるときに全く同じ計算を繰り返す場合がある
連鎖律を素直に実装すると現実的に計算不可能になることがある
p.196
参考
goodfellow本
6.3
https://tutorials.chainer.org/ja/13_Basics_of_Neural_Networks.html#誤差逆伝播法（バックプロパゲーション）
https://research.preferred.jp/2019/09/recomputation/