从大量数据中抽取出一些样本，例如，从大量弹珠中随机抽取出一些样本，总的样本中橘色弹珠的比例为
，抽取出的样本中橘色弹珠的比例为
，这两个比例的值相差很大的几率很小，数学公式表示为：
用抽取到的样本作为训练样本集（in-sample），可以求得一个最佳的假设g，该假设最大可能的接近目标函数f，但是在训练样本集之外的其他样本（out-of-sample）中，假设g和目标函数f可能差别很远，不能说抽取样本分布等同于所有样本的分布，只是大致相近。
二者的错误几率相差为：
当数据资料足够多，且模型H集合有有限个的选择，可以得到Ein和Eout是大致相等的
原文：http://www.cnblogs.com/zsw900610/p/6828066.html