ベクトルのベクトル微分
$ m次元ベクトルを$ n次元ベクトルで微分すると、$ n行$ m列（$ m行$ n列）の行列が得られる。
$ \bm{y}\in\mathbb{R}^{m}, \bm{x}\in\mathbb{R}^{n}のとき、
$ \frac{\partial \bm{y}}{\partial \bm{x}} = \left( \begin{array}{ccc} \partial y_1 / \partial x_1 & \cdots &\partial y_m / \partial x_1\\ \vdots &\ddots & \vdots \\ \partial y_1 / \partial x_n & \cdots &\partial y_m / \partial x_n \end{array} \right)\in\mathbb{R}^{n\times m}
これは、$ \bm{y}^\topの各要素について$ \bm{x}で微分しているようなイメージだ。
これに対して、縦ベクトル$ \bm{y}の各要素について$ \bm{x}の微分結果を横に並べるようなケースもあるようだ。これらは行と列が入れ替わっている
$ \frac{\partial y}{\partial x}
公式
$ \frac{\partial}{\partial \bm{x}} \bm{x} = I
$ \frac{\partial}{\partial \bm{x}}A\bm{x} = A^\top
$ \frac{\partial}{\partial \bm{x}}(x\odot y)