3-分类

1、场景

• 　　根据用户的收入、贷款、年龄等特征 判断是否给用户发放贷款
• 　　根据病人的体检各项指标 判断是否患有癌症
• 　　各自手写字体的图片 判断是哪个字

2、求解方式

　　2.1 是否可以回归进行分类？

 　　 答案肯定不可以，

　　　　原因一，如下图右图所示，使用回归方法来进行分类任务，效果不好（最好的效果应该是左图的那根线）；原因是定义回归好坏的loss function不适用于分类任务

 　　　　原因二：多分类如下，但是class1，class2，class3 并没有如下的大小关系，训练出来的效果肯定不好

 　　　2.1 正确的求解方法

　　　　　2.1.1 建模

 　　　　　　2.1.2 求解方式1

　　　　　　　　假设特征是服从几率模型，高斯分布

　　　　　　给定一系列的输入data（输入特征），任何一个高斯分布（不同的u和D）都可能产生这些输入的data，只是不同的高斯分布下的这些data的几率不同。

 　　　　　所以我们就是计算出那个u和D使得可能性最大

　　　　　　计算出了u和D，计算出输入的分布，则可以进行分类任务

　　　　　　 最终的效果如下，从下图可以看到效果不好

　　　　　　2.1.3　　优化：如下2个类别分别训练不同的u和D，参数比较多，可能会过拟合，所有2个类别使用相同的D

 　　　　2.1.4　　求解方式2

　　　　　　　　2.1.4.1 优化model

 　　　　　　　　综上，与其找u1，u2，b然后计算w，和b，不如直接找最优的w，b

　　　　　　　　2.1.4.2 建模

 　　　　　　　　2.1.4.3 Loss（定义function的好坏）

 　　　　　　　　由max L（w,b）转化为 min （-lnL(w,b)）的目的是引入交叉熵

 　　　　　　　　所以；

　　　　　　2.1.4.4 find best function

　　　　　　　偏导数

　　　　　　　2.1.4.4 和回归对比

 　　　　　　　　2.1.4.4 分类不能使用回归的l2 loss

3-分类

原文：https://www.cnblogs.com/pyclq/p/12679686.html