第一章
归纳（induction）：特殊到一般的“泛化”过程，generalization，从具体的事实归纳出一般性规律
演绎（deduction）：从一般到特殊的“特化”过程，specialization，从基础原理推演出具体情况。
有归纳偏好：满足条件的模型很多，选择哪个呢？
第二章
过拟合overfitting和欠拟合underfitting
过拟合：学习能力过于强大，把训练样本所包含的不打一半的特性都学到了，说白了就是学习到了一些样本的特有特征
评估方法：1 留出法 ：分为连个子集，一个用于训练，一个用于验证
2 交叉验证（cross-verification）：分成k份，K-1用于训练，剩下的一份用于验证，轮训K次，取平均。（留1法）
3 自助法
原文：http://www.cnblogs.com/diegodu/p/5830161.html