机器学习之线性模型

概念储备：　

3.1基本形式

　　对于给定d个属性描述的示例x=（x1，x2，......，xd）,通过属性的线性组合来进行预测。一般的写法如下：

　　因此，线性模型具有很好的解释性（understandability，comprehensibility），参数w代表每个属性在回归过程中的重要程度。

3.2 线性回归

　　对于线性回归，我们先考虑简单的问题，输入的属性数目只有一个。

　　　　对于线性回归而言，

　　均方误差有非常好的几何意义，它对应了常用的欧几里得距离（欧式距离），

　　基于均方误差最小化来进行模型求解的方法称“最小二乘法”

　　在求解时，我们考虑XTX可能不满秩，因此将对应多个接都能使得均方误差最小化，选择哪个解作为输出，将由学习算法的偏好决定，最常见的方法是引入正则化。

　　广义线性回归，其中函数g（.）称为“联系函数”

3.3 对数几率回归（逻辑回归）

　　利用回归来实现分类，只需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。我们利用对数几率函数代替单位阶跃函数，如下：

　　对数几率函数是一种“Sigmoid函数”，在神经网络中扮演重要的作用。将输出值转化为接近0或者1的y值，

　　然后将上面这式子进行变形

　　若将y看做是样本x作为正例的可能性，则1-y是其作为反例可能性，两者之间的比值为y/1-y称为几率（odds），对几率取对数则得到“对数几率”。

　　逻辑回归不仅能够能够实现对任务进行分类，同时可以得到近似概率预测

　　利用极大似然法（maximum likelihood method）进行估计w和b。

　　上述的函数是关于B的高阶可导函数，根据凸优化理论，经典的数值优化算法如梯度下降法（gradient descent method）、牛顿法（Newton method）可求得最优解。

　　协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。

机器学习之线性模型

原文：http://www.cnblogs.com/hxyue/p/5879406.html