首页 > 其他 > 详细

自助采样包含训练集里63.2%的样本?

时间:2018-10-25 13:48:36      阅读:159      评论:0      收藏:0      [点我收藏+]

自助采样包含训练集里63.2%的样本?

在学习随机森林的时候,经常会看到这么一句话“ 自助采样法给bagging带来的好处就是:由于每个学习器只是使用了%63.2的数据,剩下的约%36.8的样本可以用作验证集来对泛化性能进行“包外估计”。

那么这个63.2%是怎么来的呢?假设我们有n个样本,有放回的进行抽取,那么每个样本不被抽取的概率为\(1 - \dfrac{1}{n}\)。我们需要抽取n轮,那么某个样本一直不被抽到的概率为
\[ p=(1 - \dfrac{1}{n})^n \]
当n足够大的时候有
\[ p = \lim_{n\to +\infty}(1 - \dfrac{1}{n})^n \]
这个p该怎么算?实际上在课本里有一个公式
\[ e^x=\lim_{n\to\infty}(1 + \dfrac{x}{n})^n \]
当x=-1的时候对应着上述的p,由此可得自助采样没有采到的样本大概占整个样本集的\(e^{-1}\),那么自助采样包含训练集里的样本即为\(1 - e^{-1} \approx 0.632 \approx \dfrac{2}{3}\)

自助采样包含训练集里63.2%的样本?

原文:https://www.cnblogs.com/crackpotisback/p/9849090.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!