线性回归
优点：结果易于理解，计算上不复杂
缺点：对非线性的数据拟合不好
适用数据类型：数值型和标称型数据
回归的目的就预测数值型的目标值。最直接的办法就是依据输入写一个目标值的计算公式。这个计算公式就是所谓的回归方程(regression equation)，其中的参数就是回归系数，求这些回归系数的过程就是回归。
说道回归，一般都是指线性回归（linear regression）。
一元线性回归的矩阵形式可以写成，其中 
是噪声，b是回归系数（斜率）
或者 
，其中y、X、a、都是n维向量，而b是一个标量。因为此时特征就是一个。
如果变成了d维的特性，那么b就是一个由回归系数组成的d维向量，X变成了n×d的矩阵，此时可以写成
或者 
，其中X是n×（d+1）的矩阵（第一列元素都是1，其余列都是x1...xn），w是（d+1）×1的向量
原文：http://www.cnblogs.com/tonglin0325/p/6209405.html