自動微分
以下のような関数を自動微分してみる → 各項を{w_i}と置いて考察.
https://gyazo.com/3e268654e8e64ed6859f39e3c9b3d951
w1, w2 を出発点として, w5までを連鎖律を用いて計算するのが「自動微分」(ボトムアップ)
自動微分には「ボトムアップ」と「トップダウン」がある
具体的に求めてみるとこんな感じ
https://gyazo.com/fd4841658949a93e8718194c2106c23a
もしフルスクラッチで実装するなら, 初等関数を表現するクラスで導関数を定義すればOK？
下の図はボトムアップの自動微分を図式化したもの
てことは, no_gradは自動微分をどっかで止めちゃうイメージなのかな https://gyazo.com/0d90d301f21ffe29114597056ed83543