首页 > 其他 > 详细

斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

时间:2019-04-06 15:43:25      阅读:165      评论:0      收藏:0      [点我收藏+]
版权声明:本文为博主原创文章。未经博主同意不得转载。 https://blog.csdn.net/gshengod/article/details/29368665

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.拟合问题

? ? ? ?这节课首先讲到了一个我们常常遇到的问题。欠拟合(underfitting)以及过拟合(overfitting)。当中过拟合是最常见的。这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合。

比方说我们有一个特征值X。技术分享图片就是easy造成欠拟合,由于这个结论是一条直线。

可是,当我们把x平方,技术分享图片。这个式子就会得到比較好的拟合。

可是当我们把x三次方。四次方。。。

都加上,就会出现过拟合。

这三种情况分别相应下图的左1。右1,下。

技术分享图片

2.局部权重回归(linear regression)

? ? ? 上一节讲了回归问题。

是通过所有数据集拟合出每一个特征值相应的參数。在linear regression中,我们预測一个x它所相应的y。我们仅仅要找到这个x周边的数值,拟合一条直线出来,就能够了。

? ? ? ?这里涉及到怎样找到x周围的数值。这就涉及到一个截取近似数值的问题。Andrew使用的是一个相似于高斯公式变形的方法技术分享图片

3.最小二乘法

? ? ? ?在讲logical regression之前,Andrew还特意推导了一下为什么我们用最小二乘法来做推断。用到了中心极限定律。

设噪声符合高斯分布,然后在log下推导。推出了用最小二乘法是推断预測结果的形式。


4.逻辑回归(logical regression)

? ? ? 首先讲了为什么要用sigmoid函数,把离散的数据变为线性的。

之后就是通过上一节讲的梯度下降法的变形拟合出逻辑回归的每一个參数。

sigmoid函数:技术分享图片


斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

原文:https://www.cnblogs.com/ldxsuanfa/p/10661832.html

(0)
(0)
   
举报
评论 一句话评论(0
分享档案
最新文章
教程昨日排行
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!