归一化和标准化本质上都是一种线性变换
线性变换保持线性组合与线性关系式不变，这保证了特定模型不会失效归一化：缩放仅仅跟最大、最小值的差别有关。
标准化：缩放和每个点都有关系，通过方差（variance）体现出来。与归一化对比，标准化中所有数据点都有贡献（通过均值和标准差造成影响）。
当数据较为集中时， 更小，于是数据在标准化后就会更加分散。如果数据本身分布很广，那么 较大，数据就会被集中到更小的范围内。
从输出范围角度来看， 必须在 0-1 间。对比来看，显然 ，甚至在极端情况下 ，所以标准化的输出范围一定比归一化更广。
归一化： 输出范围在 0-1 之间
标准化：输出范围是负无穷到正无穷
一）归一化
特点
对不同特征维度的伸缩变换的目的是使各个特征维度对目标函数的影响权重是一致的，即使得那些扁平分布的数据伸缩变换成类圆形。这也就改变了原始数据的 一个分布。
好处
1 提高迭代求解的收敛速度
2 提高迭代求解的精度
（二）标准化
特点
对不同特征维度的伸缩变换的目的是使得不同度量之间的特征具有可比性。同时不改变原始数据的分布。
好处
1 使得不同度量之间的特征具有可比性，对目标函数的影响体现在几何分布上，而不是数值上
2 不改变原始数据的分布
原文：https://www.cnblogs.com/elly01/p/12780704.html