0 引言

在具体的机器学习实践中，发现碰到了很多问题，这些问题单凭不断实验已经无法解决了，必须要从理论上提高认识水平，来进一步指导自己的研究。具体的问题有下面这些。

（1）针对具体问题，是选择特征工程 + 机器学习(ML)方法还是采用端到端的深度学习(DL)方法？

　　（1.1）问题本身是否适合用深度学习/机器学习，通常认为深度学习模型复杂度高，需要数据量大，可解释性差，但是泛化能力好。而机器学习模型复杂度相对较低，所需数据量小，可解释性好，泛化能力一般比深度学习要差一些。

　　（1.2）如果采用机器学习，考虑自己提取特征的话，需要调研文献，看看学术界针对具体问题提取了哪些特征，这些特征是否容易泛化等。

（2）如何评价(evaluation)模型的效果？

　　（2.1）训练集与测试集的划分；

　　（2.2）其他指标：准确率，召回率等，分别是什么意义？能够具备说服能力？

（3）如果模型的效果不好，要怎样改进？

　　（3.1）如果模型出现欠拟合(underfitting)的情况，应该怎么办？

　　（3.2）如果模型出现过拟合(overfitting)的情况，应该怎么办？

（4）细节问题：梯度下降法，正则化方法等等

2 梯度下降：代价函数(cost function)和等高线图(contour line)

（1）采用两个参数来说明什么是等高线图

 （2）梯度下降时，必须同步更新权重；另外需要设置学习率(learing rate, 图中的 α )，保证收敛速度的同时，使权重收敛到更为合适的位置。

 （3）学习率不合适会导致的问题：太小的话，收敛速度太慢；太大的话，可能导致无法收敛到最低点，甚至发散。

 （4）梯度下降法会在逼近局部最优权重时，自动减少步幅，因为局部最优点的偏导数等于零。

3 过拟合与正则化

（1）什么是过拟合：当变量过多时，模型能够很好地拟合训练集，但是在应用到测试集时，拟合效果不好。

  （2）解决过拟合的方法：

　　（2.1）通过人工进行特征选择，达到减少变量的目的；

　　（2.2）通过正则化方法，使权重参数具备更强的泛化(generalize)能力。

 （3）正则化：通过往代价函数中引入新的项，达到避免过拟合的目的。正则化项通常可以使参数变小。

　　图中是一个不好的例子，这个例子展示了正则化参数太大会导致的不好的结果，即欠拟合。

 4 如何评价模型

（1）训练集：测试集 = 7：3， 随机选择会更好； 采用misclassification error来评价模型的准确率

80 吴恩达机器学习课程笔记

原文：https://www.cnblogs.com/ghjnwk/p/11522305.html