トレースの微分

$ \frac{\partial}{\partial X} \mathrm{tr} (X) = I

$ \frac{\partial}{\partial X}\mathrm{tr} (XA) = A^\top

$ \frac{\partial}{\partial X^\top} \mathrm{tr} (XA) = A

$ \frac{\partial ~ \mathrm{tr} AX^\top}{\partial X} = A

$ \frac{\partial \ \mathrm{tr} XAX^\top}{\partial X} = X(A+A^\top)