在机器学习和统计领域，线性回归模型是最简单的模型之一。
在现实生活中，往往需要分析若干变量之间的关系，如碳排放量与气候变暖之间的关系、某一商品广告投入量与该商品销售量之间的关系等。
回归分析：分析不同变量之间存在关系的研究。
回归模型：刻画不同变量之间关系的模型。如果这个模型是线性的，则称为线性回归模型。
一旦确定了回归模型，就可以进行预测等分析工作，如从碳排放量预测气候变化程度、从广告投入量预测商品销售量等。
线性回归模型的决策函数为：
$$y = ax + b$$
其中，$a,x$ 为向量，$y,b$ 为标量。模型训练的目的是为了求解参数 $w,b$。
求解最佳参数，需要一个标准来对结果进行衡量，为此我们需要定量化一个目标函数式，使得计算机可以在求解过程中不断地优化。
将训练集数据(设数量为 $m$)代入模型，都可以得到一组预测值 $f(x_{i})$，对比已有的真实值 $y_{i}$，可以定义平方损失函数如下：
$$L(w,b) = \frac{1}{m}\sum_{i=1}^{m}\left ( f(x_{i}) - y_{i} \right )^{2}$$
现在的任务是求解最小化 $L$ 时 $w$ 和 $b$ 的值，即核心目标优化式为
$$(w^{*},b^{*}) = arg \; \min_{w,b} \sum_{i=1}^{m}\left ( wx_{i} + b - y_{i} \right )^{2}$$
求解方式有两种：
1）最小二乘法
2）梯度下降法
未完待续。。。。。。
原文：https://www.cnblogs.com/yanghh/p/13769265.html