偏差bias
偏差是指预测结果与真实值之间的差异，排除噪声的影响，偏差更多的是针对某个模型输出的样本误差
偏差是模型无法准确表达数据关系导致，模型拟合度不够导致，比如模型过于简单，非线性的数据关系采用线性模型建模，偏差较大的模型是错的模型；
偏差不是随机产生的，可通过一定的特征工程进行预测；
方差variance
方差是指多个(次)模型输出的结果之间的离散差异，即不同模型或同一模型不同时间的输出结果方差较大
方差是由训练集的数据不够导致，一方面量 (数据量) 不够，有限的数据集过度训练导致模型复杂，另一方面质(样本质量)不行，测试集中的数据分布未在训练集中，导致每次抽样训练模型时，每次模型参数不同，输出的结果都无法准确的预测出正确结果；
残差是指预测结果与真实值之间的差异，残差是模型准确，但仍然与真实值有一定的差异，这里可以理解成噪声
噪声是随机的，意味着不可预测
原文：https://www.cnblogs.com/hapyygril/p/13637128.html