矩阵的各种积

矩阵的Kronecker积

克罗内克积：若$A$为大小$m\times n$的矩阵，$B$为大小$p\times q$的矩阵，则$A$与$B$的克罗内克积是一个大小为$mp\times nq$的矩阵。

$A\otimes B=\begin{bmatrix}a_{11}b_{11}&a_{11}b_{12}&\cdots&a_{11}b_{1q}&\cdots&\cdots&a_{1n}b_{11}&a_{1n}b_{12}&\cdots&a_{1n}b_{1q}\\a_{11}b_{21}&a_{11}b_{22}&\cdots&a_{11}b_{2q}&\cdots&\cdots&a_{1n}b_{21}&a_{1n}b_{22}&\cdots&a_{1n}b_{2q}\\\vdots&\vdots&\ddots&\vdots&&&\vdots&\vdots&\ddots&\vdots\\a_{11}b_{p1}&a_{11}b_{p2}&\cdots&a_{11}b_{pq}&\cdots&\cdots&a_{1n}b_{p1}&a_{1n}b_{p2}&\cdots&a_{1n}b_{pq}\\\vdots&\vdots&&\vdots&\ddots&&\vdots&\vdots&&\vdots\\\vdots&\vdots&&\vdots&&\ddots&\vdots&\vdots&&\vdots\\a_{m1}b_{11}&a_{m1}b_{12}&\cdots&a_{m1}b_{1q}&\cdots&\cdots&a_{mn}b_{11}&a_{mn}b_{12}&\cdots&a_{mn}b_{1q}\\a_{m1}b_{21}&a_{m1}b_{22}&\cdots&a_{m1}b_{2q}&\cdots&\cdots&a_{mn}b_{21}&a_{mn}b_{22}&\cdots&a_{mn}b_{2q}\\\vdots&\vdots&\ddots&\vdots&&&\vdots&\vdots&\ddots&\vdots\\a_{m1}b_{p1}&a_{m1}b_{p2}&\cdots&a_{m1}b_{pq}&\cdots&\cdots&a_{mn}b_{p1}&a_{mn}b_{p2}&\cdots&a_{mn}b_{pq}\end{bmatrix}$

矩阵的Khatri-Rao积

Khatri-Rao积的定义是两个具有相同列数的矩阵$A\in R^{I\times K}$与矩阵$B\in R^{J\times K}$的对应列向量的克罗内克积排列而成的,其生成的矩阵大小为$IJ\times K$。

矩阵的Hadamard积

哈达玛积，是矩阵的一种乘积运算，对同等大小的两个矩阵相同位置上进行乘积。

二次型求导

在Numerator layout notation下

$\frac{d\left({x}^TA{x}\right)}{d{x}}={x}^T\left(A+A^T\right)$

在Denominator layout notation下

$\begin{aligned}\frac{d\left({x}^TA{x}\right)}{d{x}}&=\left(A+A^T\right){x}\end{aligned}$

一般采用分母布局。

矩阵求导

常数求导

$\boldsymbol{x}=[x_1,x_2,\cdots,x_n]^T$ $\frac{\partial c}{\partial\boldsymbol{x}}=\mathbf{0}_{n\times1}$

几个公式

$\boldsymbol{a}=(a_1,a_2,\cdots,a_n)^T$ $\frac{\partial(\boldsymbol{x}^T\boldsymbol{a})}{\partial\boldsymbol{x}}=\frac{\partial(\boldsymbol{a}^T\boldsymbol{x})}{\partial\boldsymbol{x}}=\boldsymbol{a}$

证明：(相当于对一个数分别求$x_i$的导数)

$\begin{aligned} \frac{\partial(\boldsymbol{x}^T\boldsymbol{a})}{\partial x}& =\frac{\partial(\boldsymbol{a}^T\boldsymbol{x})}{\partial\boldsymbol{x}} \\ &=\frac{\partial(a_1x_1+a_2x_2+\cdots+a_nx_n)}{\partial\boldsymbol{x}} \\ &=\boldsymbol{a} \end{aligned}$

常用的矩阵求导公式

$\frac{\partial\beta^Tx}{\partial x}=\beta$ $\frac{\partial a}{\partial A}=0$

矩阵迹的性质

$tr(A)=\sum_i{a_{ i i }}$

Frobenius范数(通俗来讲就是矩阵中的元素的平方和再开方)

$\|A\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2}$ $||A||_F=\sqrt{tr(A{A}^{T})}$

迹的线性

$tr(kA)=k*tr(A)$ $tr(A+B)=tr(A)+tr(B)$ $tr(A)=tr(A^{T})$

多个矩阵相乘得到的方阵的迹，和将这些矩阵中的最后一个挪到最前面之后相乘的迹是相同的。当然，我们需要考虑挪动之后矩阵乘积依然定义良好。

$tr(ABCD)=tr(BCDA)=tr(CDAB)=tr(DABC)$

对于$x$，$y$都是$n$维列向量

$tr(xy^T)=y^Tx$

乘积的迹的本质是两个矩阵对应位置的元素相乘并相加，可以理解为向量的点积在矩阵上的推广。

$\begin{aligned} \operatorname{tr}(\boldsymbol{A}\boldsymbol{B}^{T})& =a_{11}b_{11}+a_{12}b_{12}+\cdots+a_{1n}b_{1n} \\ &+a_{21}b_{21}+a_{22}b_{22}+\cdots+a_{2n}b_{2n} \\ &+\cdots \\ &+a_{m1}b_{m1}+a_{m2}b_{m2}+\cdots+a_{mn}b_{mn} \end{aligned}$ $\frac{\partial tr(AB)}{\partial A}=B^T$

最小二乘法的矩阵解法

线性回归函数的矩阵公式是：

$h(x)=X\theta$ $\begin{aligned} &\frac{\partial J(\theta)}{\partial\theta}=\frac{\partial(y-X\theta)^2}{\partial\theta}=\frac{\partial(y-X\theta)^T(y-X\theta)}{\partial\theta} \\ &=\frac{(y^T-\theta^TX^T)(y-X\theta)}{\partial\theta} \\ &=\frac{\partial(y^Ty-y^TX\theta-\theta^TX^Ty+\theta^TX^TX\theta)}{\partial\theta} \\ &=0-X^Ty-X^Ty+(X^TX+(X^TX)^T)\theta \\ &=2(X^{T}X\theta-X^{T}y) \end{aligned}$

令导数等于0，则

$\theta=(X^TX)^{-1}X^Ty$

高阶累积量

高阶矩是特征函数的泰勒级数展开式的系数，高阶累积量则是第二特征函数的泰勒级数展开式的系数。
前三阶累积量与前三阶矩相同，而四阶累积量与相应的高阶矩不相同。