1、经验误差与过拟合
错误率为分类错误的样本数占样本总数的比例，相应的精度=1-错误率，模型的实际预测输出与样本的真实输出之间的差异称为“误差”，模型在训练集上的误差称为“训练误差”，在新样本上的误差称为“泛化误差”。我们希望得到在新样本上表现好的学习器，也就是泛化误差小的学习器，但是并不是泛化误差越小越好，我们应该尽可能出训练样本中学出适用于所有潜在样本的“普遍规律”，然而模型把训练样本学的太好，很可能把训练完本自身的特点当做所有潜在样本都具有的一般性质，这样就导致了泛化性能下降，这种现象称为“过拟合”，相对立的是“欠拟合”，是指训练样本的一般性质尚未学好。欠拟合比较容易克制，例如在决策树学习中扩展分支、在神经网络中增加训练轮数
原文：https://www.cnblogs.com/LXP-Never/p/9693923.html