迷惑很久，终于想通。
其实是一种数据的处理方法，可以简化数据。矩阵乘特征向量就是在其方向的投影。这点类似于向量点积既是投影。
通过求特征值和向量，把矩阵数据投影在一个正交的空间，而且投影的大小就是特征值。这样就直观体现了数据的基本特征。
最大特征值并不是说数据在所有方向的投影的最大值，而仅限于正交空间的某一方向。
至于为什么求出来的特征向量是正交的，可以证明。
有没有其他的正交空间，一般矩阵，满足满秩，只有一个这样的空间。
会不会有更好的空间来体现数据的特征，一般来说，正交空间就很好，不排除特殊应用需要非正交的空间，可能会更好。
原文：http://www.cnblogs.com/yiranlaobaitu/p/3718616.html