首页 > 其他 > 详细

线性回归模型

时间:2020-10-05 08:58:08      阅读:29      评论:0      收藏:0      [点我收藏+]

在机器学习和统计领域,线性回归模型是最简单的模型之一。

在现实生活中,往往需要分析若干变量之间的关系,如碳排放量与气候变暖之间的关系、某一商品广告投入量与该商品销售量之间的关系等。

回归分析:分析不同变量之间存在关系的研究。

回归模型:刻画不同变量之间关系的模型。如果这个模型是线性的,则称为线性回归模型

一旦确定了回归模型,就可以进行预测等分析工作,如从碳排放量预测气候变化程度、从广告投入量预测商品销售量等。

线性回归模型的决策函数为:

$$y = ax + b$$

其中,$a,x$ 为向量,$y,b$ 为标量。模型训练的目的是为了求解参数 $w,b$。

求解最佳参数,需要一个标准来对结果进行衡量,为此我们需要定量化一个目标函数式,使得计算机可以在求解过程中不断地优化。

将训练集数据(设数量为 $m$)代入模型,都可以得到一组预测值 $f(x_{i})$,对比已有的真实值 $y_{i}$,可以定义平方损失函数如下:

$$L(w,b) = \frac{1}{m}\sum_{i=1}^{m}\left ( f(x_{i}) - y_{i} \right )^{2}$$

现在的任务是求解最小化 $L$ 时 $w$ 和 $b$ 的值,即核心目标优化式为

$$(w^{*},b^{*}) = arg \; \min_{w,b} \sum_{i=1}^{m}\left ( wx_{i} + b - y_{i} \right )^{2}$$

求解方式有两种:

1)最小二乘法

2)梯度下降法

 

 

 

 

 

 

 

 

 

 

 

未完待续。。。。。。

线性回归模型

原文:https://www.cnblogs.com/yanghh/p/13769265.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!