吴恩达机器学习入门笔记2-模型评估

2 模型评估

2.1 数据集划分为训练集与测试集方法

常按照7：3的比例选择，若数据已经随机的话就取前70%作为样本集

2.1.1 留出法

直接将数据集D划分为两个互斥的集合

• 划分应保持数据分布一致性
• 存在多种划分方式，采用若干次随机划分、重复进行实验评估后取平均值作为评估结果
• 常见做法：2/3~4/5样本用于训练，剩余用于测试，测试集至少含30个样例

2.1.2 交叉验证法--k折交叉验证

将数据集D划分成k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，剩下一个作为测试集，进行k次训练与测试，返回k个测试结果的均值

• 通常k=10
• 采用不同划分方式 例如10次10折交叉验证
• 留一法：m个样本中k=m-1 但样本量太大时计算复杂度高
• 典型分法：60%作为训练集，20%作为验证集，20%作为测试集，选择验证集误差最小的模型

2.1.3 自助法

每次随机挑选数据集D中一个样本放入数据集D‘ 再将该样本放回D后继续重复上述过程，最后得到训练集D‘，且D中有36.8%的数据未出现在D‘中，将这些数据作为测试集

• 这样的测试结果成为包外估计
• 改变了初始数据集分布，引入估计偏差，数据量不足时使用

2.2 调参

• 常用做法：给定变化范围与步长
• 两类参数：算法参数与模型参数，前者个数少，人工设定；后者个数多，学习产生
• 模型评估与确定仅使用部分样本作为训练集，得出最优模型后再用全部样本重新训练，才是最终模型

2.3 性能度量

回归任务最常用的性能度量为均方误差
\[ E(f;D)=\frac{1}{m}\sum_{i=1}^{m}(f(x_i)-y_i)^2\tag{2.1} \]
更一般，对于数据分布D和概率密度函数p(.)，均方误差描述为
\[ E(f;D)=\int_{x\in D}(f(x)-y)^2p(x)dx\tag{2.2} \]

2.3.1 F1度量

F1是基于查准率与查全率的调和平均

2.4 0/1测试误差

\[ err(h_\theta(x),y)= \begin{cases} 1, & \mbox{if }h_\theta(x)\ge0.5,y=0\\&\mbox{ or if }h_\theta(x)<0.5,y=1 \\ 0, & \mbox{otherwise}\end{cases}\tag{2.3} \]

\[ Test error=\frac{1}{m_{test}}\sum_{i=1}^{m_{test}}err(h_\theta(x_{test}^{(i)}),y_{test}^{(i)})\tag{2.4} \]

2.5 偏差、方差、噪声

• 偏差：度量学习算法的期望预测与真实结果的偏离程度，刻画学习算法本身的拟合能力

• 方差：度量了来自同一分大小相同的不同训练集导致的学习性能的变化，刻画数据扰动所造成的影响

• 噪声：表达了当前任务上任何学习算法所能达到的期望泛化误差的下界，刻画学习问题本身的难度

• 偏差与方差冲突

• 训练集误差与交叉验证误差大，意味着模型偏差大，模型欠拟合

  训练集误差很小但交叉验证误差很大，意味着模型方差大，模型过拟合

  

2.6 学习曲线

横坐标为样本数，纵坐标为误差，==求训练误差与验证误差记得正则化项为0==

• 拟合情况好的学习曲线，样本越多，训练集误差上升，验证集误差下降，因为参数进行了更多的训练
• 编程中，部分训练集每次训练一组参数，就用该模型对==验证集上所有样本==进行代价函数计算

• 高偏差下的学习曲线，样本数增多误差趋于稳定值

• 高方差下的学习曲线，交叉验证误差均大于训练集误差很多，增大样本数可以减小验证集误差，因为把更多情况包括进去，导致验证集出现新样本的概率减小

2.7 修改模型的方法

• 增大训练样本数：解决高方差问题
• 减少特征数量：防止过拟合，解决高方差问题
• 增加特征数量：增大模型复杂程度，解决高偏差问题
• 增加多项式：即增加合成特征，解决高偏差问题
• 减小正则化参数\(\lambda\)，即增大特征参数，防止欠拟合，解决高偏差问题
• 增大正则化参数\(\lambda\)，即增减小特征参数，防止过拟合，解决高方差问题

2.8 决策边界

所有算法均为了按照一定准则找到最优的参数\(\theta\) ，\(\theta^TX\)即为决策边界的图形

吴恩达机器学习入门笔记2-模型评估

原文：https://www.cnblogs.com/jestland/p/11548465.html