•logistic回归中有一个参数是penalty，penalty用来控制logistic回归的正则化，默认penalty = ‘l2‘，也可等于l1
当使用penalty = ‘l1‘时就是使用了L1正则化，使用L1正则化的logistic回归是一个解释性更强的模型，只使用了少数几个特征。
•one-vs.-rest “一对其余” 多分类线性模型
♠训练集中所有属于类别0的点都在 与类别0对应的直线 上方，说明这些点 位于 这个二类分类器 属于“类别0”的那一侧。
属于类别0的点 位于 类别1对应的直线的左侧，这说明类别0的点被 类别1对应的直线划为“其余”。
属于类别0的点 位于 类别2对应的直线的上方，这说明类别0的点被 类别2对应的直线划为“其余”。
因此，这一区域的所有点被 最终分类器 划为类别0（类别0对应的置信方程结果 >0，其余两个方程的结果 <0）
♠对于图像中央的三角区域，三个二类分类器都将其划为其余，三角区域内的点如何归属？
三角区域内的点被归属为分类方程结果最大的那个类别，即最靠近的那条线的类别。
•线性模型总结
♠线性模型中的主要参数是alpha和C:
在线性回归（OLS）、岭回归、lasso回归中为alpha，
在logistic回归、linear SVM中为C，
alpha越大或C越小，说明约束力越大，模型越简单，泛化能力越好。
♠特征数量大于样本数量时，线性模型的表现通常很好
♠回归：线性回归、岭回归、lasso回归
线性回归：不可控制模型的复杂度
岭回归：可控制模型的复杂度，L2正则化，
lasso回归：L1正则化（适用于特征很多但只有几个特征的情况 和 需要建立容易理解的模型的情况）
分类：logistic回归、linearSVM
logistic回归：LI正则化、L2正则化（有penalty参数控制），可用于二分类和多分类
linearSVM：L2正则化，用于二分类
原文：https://www.cnblogs.com/bozi/p/12264849.html