维数灾难是机器学习中常见的现象，具体是指随着特征维数的不断增加，需要处理的数据相对于特征形成的空间而言比较稀疏，由有限训练数据拟合的模型可以很好的适用于训练数据，但是对于未知的测试数据，很大几率距离模型空间较远，训练的模型不能处理这些未知数据点，从而形成“过拟合”的现象。
既然维数灾难严重影响模型的泛化，那么如何解决呢？容易想到的解决办法是增加数据量，但是如果特征维数比较多，需要很大的数据量才能将整个特征空间“填满”，代价太大；还有一种比较容易实现而且效果还不错的解决办法就是特征的降维。特征的降维的主要思想是：过滤掉一些不重要的特征，或者把一些相关的特征进行合并，在减少特征维数的同时尽量保留原始数据的信息。
PCA主要包含以下几个步骤：
1、标准化样本矩阵中的原始数据；（通常每列是一个维度，按列进行标准化，不可整体标准化，每列都是相互独立的）
2、获取标准化矩阵的协方差矩阵；
3、计算协方差矩阵的特征值和特征向量；
4、依照特征值的大小，挑选主要的特征向量；
5、生成新的特征。
本文使用工具为：Anaconda、PyCharm、python语言、sklearn
from numpy import * from numpy import linalg as LA from sklearn.preprocessing import scale from sklearn.decomposition import PCA import pandas as pd data = {‘a‘: [1,2,3,40], ‘b‘: [5,6,17,8], ‘c‘: [9,10,81,12]} x = pd.DataFrame(data) #x_s = (x-x.mean())/x.std() # 对矩阵按列进行标准化，每列是一个维度 x_s = scale(x, with_mean=True, with_std=True, axis=0) print("标准化之后的矩阵为：{}".format(x_s)) # 获取标准化矩阵的协方差矩阵 x_cov = cov(x_s.transpose()) # 计算协方差矩阵的特征值和特征向量 e,v = LA.eig(x_cov) print("特征值：{}".format(e)) print("特征向量：\n{}".format(v)) # 依照特征值的大小，挑选主要的特征向量 pca = PCA(2) pca.fit(x_s) # 输出变换后的数据矩阵 print("方差（特征值）: ", pca.explained_variance_) print("主成分（特征向量）", pca.components_) print("变换后的样本矩阵：",pca.transform(x_s)) print("信息量: ", pca.explained_variance_ratio_)
标准化之后的矩阵为：[[-0.63753558 -0.84327404 -0.6205374 ] [-0.5768179 -0.63245553 -0.58787754] [-0.51610023 1.68654809 1.73097275] [ 1.73045371 -0.21081851 -0.52255781]] 特征值：[2.72019876e+00 1.27762876e+00 2.17247549e-03] 特征向量： [[ 0.2325202 -0.96356584 0.13219394] [-0.67714769 -0.25795064 -0.68915344] [-0.69814423 -0.07072727 0.71245512]] 方差（特征值）: [2.72019876 1.27762876] 主成分（特征向量） [[-0.2325202 0.67714769 0.69814423] [ 0.96356584 0.25795064 0.07072727]] 变换后的样本矩阵： [[-0.85600578 -0.8757195 ] [-0.7045673 -0.76052331] [ 2.4705145 0.06017659] [-0.90994142 1.57606622]] 信息量: [0.68004969 0.31940719]
原文：https://www.cnblogs.com/wyb-mingtian/p/12590043.html