均值、方差、协方差、协方差矩阵、特征值、特征向量

均值：描述的是样本集合的中间点。

方差：描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。

协方差：

1. 是一种用来度量两个随机变量关系的统计量。
2. 只能处理二维问题。
3. 计算协方差需要计算均值。

如下式：

方差与协方差的关系

协方差矩阵：

1. 协方差矩阵能处理多维问题；
2. 协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
3. 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
4. 样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要按列计算均值。

如果数据是3维，那么协方差矩阵是：

特征值与特征向量

 Referee：

浅谈协方差矩阵及实例计算

均值、方差、协方差、协方差矩阵、特征值、特征向量

原文：http://www.cnblogs.com/fuleying/p/4462850.html