正定矩阵：给定一大小维\(n\times n\)的实对称矩阵A，若对于任意长度为n的非零向量x，有\(X^TAX>0\)恒成立，则矩阵A是一个正定矩阵
半正定矩阵：给定一大小维\(n\times n\)的实对称矩阵A，若对于任意长度为n的非零向量x，有\(X^TAX\ge0\)恒成立，则矩阵A是一个半正定矩阵
设\(X=(X_1,X_2,...,X_N)^T\)为n维随机变量，称矩阵
\[
C=(c_{ij})_{m\times n}\begin{pmatrix} c_{11} & c_{12} & ... & c_{1n} \\ c_{21} & c_{22} & ... & c_{2n} \\ \vdots & \vdots && \vdots \\ c_{n1} & c_{n2} & ... & c_{nn} \end{pmatrix}\tag{0.1}
\]
\(c_{ij}=Cov(X_i,X_j)=E[X_i-E(X_i)][X_j-E(X_j)]\)
作为实对称矩阵，可以正交对角化，即存在正交矩阵U，使得\(U^T\sum U=\Lambda\)
作为半正定矩阵，可以进行Cholesky分解，即\(\sum=U^T\Lambda U\)，其中U是上三角阵，\(\Lambda\)是对角线元素都非负的对角矩阵
\(\sum=U^T\Lambda U=[U^T\Lambda^{1/2}][\Lambda^{1/2}U]=[\Lambda^{1/2}U]^T[\Lambda^{1/2}U]\)
这样一来，矩阵\(\sum=C^TC\)，其中\(C=\Lambda^{1/2}U\)
\[ A\alpha=\lambda\alpha\tag{0 .2} \]
左边用矩阵A将向量\(\alpha\)做了一个转换，右边将向量\(\alpha\)拉伸了\(\lambda\)倍
说明A对向量\(\alpha\)变换后，长度拉伸\(\lambda\)倍，方向不变。
并不是所有的向量都可以被A通过变换拉伸而方向不变，能够被A拉伸且保持方向不变的向量就是A的特征向量，拉伸的倍数就是特征值
设矩阵A为\(m\times n\)矩阵，则A的SVD为：\(A=U\sum V^T\)
其中U是一个\(m\times m\)的矩阵；\(\sum\)是一个\(m\times n\)的矩阵，除主对角线上的元素外全为0，主对角线上每个元素称为奇异值；V是一个\(n\times n\)矩阵；U和V是酉矩阵，即满足\(U^TU=I,V^TV=I\)
在有限的信息下帮助预测出概率
\[
P(A|B)=P(A)\frac{P(B|A)}{P(B)}\tag{0.3}
\]
即后验概率=先验概率×可能性函数
\[ P(B)=P(B|A)P(A)+P(B|A')P(A')\tag{0.4} \]
\[ P(X,Y|Z)=P(X|Z)P(Y|Z)\tag{0.5} \]
当Z发生时，X发生与否与Y发生与否是无关的
根据统计出的事实推断最有可能出现的情况
Gaussian (Normal) distribution
\(X\sim\mathcal{N}(\mu,\sigma^2)\)
\[ p(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})\tag{0.6} \]
曲线中心由均值\(\mu\)决定，概率峰值位置等于\(\mu\)
曲线宽度由标准差\(\sigma\)决定，\(\sigma\)越大，图形越胖越低
\(\mu=\frac{1}{m}\sum^m_{i=1}X^{(i)}\) \(\sigma^2=\frac{1}{m}\sum^m_{i=1}(X^{(i)}-\mu)^2\)
原文：https://www.cnblogs.com/jestland/p/11548377.html