•R2是一个回归模型的评价标准，也叫作决定系数，位于0~1之间，越接近1表示预测效果越好
训练集和数据集的分数非常接近，说明可能存在欠拟合
训练集的分数很好但测试集的分数不好，说明存在过拟合
•线性回归（普通最小二乘法 OLS）：
寻找w和b，使得训练集的预测值与真实的回归目标值之间的均方误差最小。（均方误差：预测值与真实值之差的平方和除样本数）
•岭回归（ridge regression）:
①对系数w的选择：
♠在训练集上有好的预测效果
♠拟合附加约束
♠w尽量小（所有的w都尽量接近零，每个特征对输出的影响尽可能小）
这种约束即为正则化，正则化可以避免回归模型过拟合。
②岭回归中的alpha
在岭回归中存在一个系数alpha（alpha默认设置为1），alpha影响了简单性和训练集性能二者对于模型的重要程度，
减小alpha即增大训练集精度，降低泛化性能，在模型复杂度关系图中向右移动，
alpha即为约束性，alpha越大，对w的约束性越大，即越靠近0。
原文：https://www.cnblogs.com/bozi/p/12256727.html