在机器学习和统计领域,线性回归模型是最简单的模型之一。
在现实生活中,往往需要分析若干变量之间的关系,如碳排放量与气候变暖之间的关系、某一商品广告投入量与该商品销售量之间的关系等。
回归分析:分析不同变量之间存在关系的研究。
回归模型:刻画不同变量之间关系的模型。如果这个模型是线性的,则称为线性回归模型。
一旦确定了回归模型,就可以进行预测等分析工作,如从碳排放量预测气候变化程度、从广告投入量预测商品销售量等。
线性回归模型的决策函数为:
$$y = ax + b$$
其中,$a,x$ 为向量,$y,b$ 为标量。模型训练的目的是为了求解参数 $w,b$。
求解最佳参数,需要一个标准来对结果进行衡量,为此我们需要定量化一个目标函数式,使得计算机可以在求解过程中不断地优化。
将训练集数据(设数量为 $m$)代入模型,都可以得到一组预测值 $f(x_{i})$,对比已有的真实值 $y_{i}$,可以定义平方损失函数如下:
$$L(w,b) = \frac{1}{m}\sum_{i=1}^{m}\left ( f(x_{i}) - y_{i} \right )^{2}$$
现在的任务是求解最小化 $L$ 时 $w$ 和 $b$ 的值,即核心目标优化式为
$$(w^{*},b^{*}) = arg \; \min_{w,b} \sum_{i=1}^{m}\left ( wx_{i} + b - y_{i} \right )^{2}$$
求解方式有两种:
1)最小二乘法
2)梯度下降法
未完待续。。。。。。
原文:https://www.cnblogs.com/yanghh/p/13769265.html