1、最大似然估计解释最小二乘
2、求解参数
为啥加入扰动可以保证参数可解
3、正则化 L1 L2 （加入正则项的目的是为了防止过拟合）
当参数过拟合数据时，得到的参数分布不均衡，可能存在前边的参数很大，后边的参数很小的情况，所以在目标函数中加入参数的平方和乘以一个系数，来保证参数均衡，不至于有太大参数出现。
Ridge回归，加入L2正则项
LASSO回归，加入L1正则项，能保证稀疏，可用于降维
Elastic Net，将L1和L2结合，分配系数
4、正则化与稀疏
5、SVD求解参数
如果X为方阵，并且可逆，则
5、随机梯度下降 批量梯度下降 mini-batch
6、线性回归到logistic回归到softmax回归
7、
原文：https://www.cnblogs.com/Luckidmi/p/10415960.html