スカラーのベクトル微分

スカラーを縦ベクトルで微分すると、同じ形状の縦ベクトルが得られる。

$ \frac{\partial f}{\partial \bm{x}} = \left(\frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \ldots , \frac{\partial f}{\partial x_n}\right)^\top

スカラーの行列微分

$ \frac{\partial}{\partial \bm{x}}(\bm{a}^\top \bm{x}) = \frac{\partial}{\partial \bm{x}}(\bm{x}^\top \bm{a}) = \bm{a}

$ \frac{\partial}{\partial \bm{x}} (\bm{x}^\top \bm{x}) = 2\bm{x}

２次形式によって与えられるスカラーの微分。

$ \frac{\partial }{\partial \bm{x}} (\bm{x}^\top A \bm{x}) = (A + A^\top)\bm{x}

$ = 2A\bm{x}

$ \frac{\partial}{\partial \bm{x}} (\bm{x}-\bm{a})^\top(\bm{x}-\bm{a}) = 2(\bm{x}-\bm{a})

$ \frac{\partial}{\partial \bm{x}} (A\bm{x}-\bm{b})^\top(A\bm{x}-\bm{b})= 2A^\top(A\bm{x}-\bm{b})

$ \frac{\partial}{\partial \bm{x}} (A\bm{x}-\bm{b})^\top C(A\bm{x} - \bm{b})=A^\top(C+C^\top)(A\bm{x}-\bm{b})