今天学习打卡内容为 林轩田 老师的 机器学习基石课程。
这个应该是每一个学习机器学习同学都会看的入门课程。课程重点主要是讲一些基础理论证明的问题,不是模型应用的课程。
例如:
提出了3个主要的理论基础:Hoeffding, Multi-Bin Hoeffding, VC Dimension。
通过一系列的推算,证明了机器学习的可行性。
机器学习前提:
训练样本D和最终测试h的样本都是来自同一个数据分布
条件:
1.当N足够大;
2.h个数M是有限的
学习过程中常出现的2种error--false accept和false reject。然后通过cost function来处理这些error。
也从数学方面证明了奥卡姆剃刀定律:简单是最好的。--模型阶数越大,Ein会比较好,但是Eout很大。
因为根据VC Bound理论,阶数越大,即VC Dimension越大,就会让模型复杂度更高,Eout更大。我们把这种Ein很小,Eout很大的情况称之为bad generation,即泛化能力差。
。。。。。。。
课程从数学的角度,证明一系列机器学习中会用到的各种常识性知识。看完后,你就明白之前看logistic regression视频中,老师为什么要去除高阶项,且保留到几阶是比较好的。
视频课程B站就能搜索到,但是非常值得学习。
原文:https://www.cnblogs.com/zhoujianjie1988/p/11297069.html