1. 正则化：在损失函数后加上一项正则化项，对模型进行干扰，以达到防止过拟合，增加模型的泛化性的目的。
正则化主要分为两种：L1正则化 / L1范数、L2正则化（权重衰减） / L2范数
①L1正则化 ||w||1：权重矩阵W中各元素的绝对值之和，主要是为了构建稀疏矩阵，保留必要的特征向量，筛选掉不必要的特征向量。
稀疏矩阵是指的是大多数元素为0，只有少数元素为非0的矩阵。通常机器学习中特征数量很多，在预测或分类时，那么多特征显然难以选择，如果代入这些特征得到的模型是一
个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献或者贡献微小，此时只需关注系数是非零值的特征
②L2正则化 ||w||2：权重矩阵W中各元素的平方和再开方，主要是使得权重矩阵的参数尽可能的小，特别是高次方的系数，以减少波动性，增加抗干扰能力。
一般参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。因此，拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的
模型。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什
么影响，就是抗扰动能力强
正则化与损失函数：
L1正则化：
L2正则化：
附：其他避免过拟合的方法
参考：https://blog.csdn.net/jinping_shi/article/details/52433975
原文：https://www.cnblogs.com/shiliuxinya/p/12230499.html