矩阵微分

矩阵对于数量变量的微分

$\begin{align}& A=[a_{ij}(t)]_{m\times n}\\\Rightarrow&\frac{dA}{dt}=[\frac{da_{ij}(t)}{dt}]_{m \times n}\end{align} \tag{0}$

运算法则

$\begin{align} &A是n阶常数矩阵 ,\\ (1)\;&\frac{d}{dt}e^{tA}=Ae^{tA}=e^{tA}A\\ (2)\;&\frac{d}{dt}\cos(tA)=-A\cdot\sin(tA)=-\sin(tA)\cdot A\\ (3)\;&\frac{d}{dt}\sin(tA)=A\cdot\cos(tA)=\cos(tA)\cdot A\\ \end{align}$

数量函数对于向量/矩阵的微分

$f(x)=f(x_1,x_2,\cdots,x_n),\;x=[x_1,x_2,\cdots,x_n]^T$

$\frac{df(x)}{dx}=[\frac{\partial f}{\partial x_1}\;\frac{\partial f}{\partial x_2}\;\cdots\;\frac{\partial f}{\partial x_n}]^T\tag{1}$ $\frac{df(x)}{dx^T}=[\frac{\partial f}{\partial x_1}\;\frac{\partial f}{\partial x_2}\;\cdots\;\frac{\partial f}{\partial x_n}]\tag{1}$

定义为梯度：$grad[f(x)]= \bigtriangledown f(x)$

向量函数对于向量的微分

$a(x)=[a_1(x)\;a_2(x)\;\cdots\;a_m(x)]^T,\;x=[x_1\;x_2\;\cdots x_n]^T$

$\frac{da(x)}{dx^T}=\begin{bmatrix}\frac{\partial a_i}{\partial x_j}\end{bmatrix}_{m \times n}\tag{2}$ $\frac{da^T(x)}{dx}=\begin{bmatrix}\frac{\partial a_j}{\partial x_i}\end{bmatrix}_{m \times n}\tag{2}$

注：$a_i(x)$是关于 $x_1,x_2,\cdots,x_n$ 的函数，（2）中的矩阵称为雅克比矩阵

矩阵函数对于向量的微分

$A(x)=\begin{bmatrix} a_{11}(x) & a_{12}(x) & \cdots & a_{1l}(x)\\ a_{21}(x) & a_{22}(x) &\cdots & a_{2l}(x)\\ \vdots & \vdots & \vdots & \vdots\\ a_{m1}(x) & a_{m2}(x) & \cdots & a_{ml}(x) \end{bmatrix}_{m \times l}$

对 $x=[x_1\;x_2\;\cdots x_n]$ 求微分

$\frac{dA(x)}{dx}=\begin{bmatrix} \frac{\partial A(x)}{\partial x_1}\\ \frac{\partial A(x)}{\partial x_2}\\ \vdots\\ \frac{\partial A(x)}{\partial x_n} \end{bmatrix}_{nm\times l} \tag{3}$

对 $x=[x_1\;x_2\;\cdots x_n]^T$ 求微分

$\frac{dA(x)}{dx}=\begin{bmatrix} \frac{\partial A(x)}{\partial x_1} & \frac{\partial A(x)}{\partial x_2} & \cdots & \frac{\partial A(x)}{\partial x_n} \end{bmatrix}_{n\times ln} \tag{3}$

对一个变量 $x_t$ 微分

$\frac{\partial A(x)}{\partial x_t}=\begin{bmatrix} \frac{\partial a_{ij}(x)}{\partial x_t} \end{bmatrix}_{m \times l} \tag{3}$

复合函数微分

$f=f(Y),Y=Y(x)$

$\begin{align} & \frac{df}{dX}=\frac{dY^T}{dX}\frac{df}{dY}\\ & \frac{df}{dX^T}=\frac{df}{dY^T}\frac{dY}{dX^T} \end{align} \tag{4}$

$f=f(X,Y),Y=Y(x)$

$\begin{align} & \frac{df}{dX}=\frac{\partial f}{\partial X} + \frac{dY^T}{dX}\frac{\partial f}{\partial Y}\\ &\frac{df}{dX^T}=\frac{\partial f}{\partial X^T} + \frac{df}{dY^T}\frac{\partial Y}{\partial X^T} \end{align} \tag{4}$

求导法则：

$(A^{-1})'=-A^{-1}A'A^{-1}$

导数与微分的联系（迹技巧）：

矩阵形式

$df=tr(\frac{\partial f}{\partial X}^TdX)$

向量形式

$df=tr(\frac{\partial f}{\partial x}^Tdx)$

函数对矩阵

若标量函数f是矩阵X经加减乘法、逆、行列式、逐元素函数等运算构成，则使用相应的运算法则对f求微分，再使用迹技巧给df套上迹并将其它项交换至dX左侧，对照导数与微分的联系，即能得到导数

特别地，若矩阵退化为向量，对照导数与微分的联系

先对特征式求导，再用迹技巧求微分

矩阵对矩阵

参考：