一、基本术语
一个示例=一个样本
属性=特征
属性值-属性空间
一个特征向量，即一个示例
训练集vs验证集vs测试集
假设：模型对应了关于数据的某种潜在规律
学习的任务：分类、回归、聚类
泛化能力：模型适用于新样本的能力
独立同分布：假设全体样本服从一个未知的分布，每个样本都是独立地从这个分布上采样获得的，即“独立同分布”
二、假设空间
1. 学习是一个“归纳”过程
2. 学习的过程看作是在所有假设组成的空间中，找到与训练集“匹配”的假设（能够将训练集中的示例判断正确的假设）
3. 假设的表示一旦确定，假设空间及其规模大小就确定了
4. 一个模型对应于一个假设
三、归纳偏好
用于选择“正确”的模型（对于某种类型的假设有偏好）
奥卡姆剃刀
没有免费的午餐 NFL
原文：http://www.cnblogs.com/eniac1946/p/7330718.html