给定由$d$个属性描述的示例 $\textbf{x} =(x_1;x_2;...,x_n)$,其中$x_i$是$x$在第$i$个属性上的取值，线性模型（linear model）试图学习一个通过属性的线性组合来进行预测的函数，即
$f(\textbf{x}) = w_1x_1+w_2x_2 +...+w_nx_n + b$ (1)
向量形式则为
$f(\textbf{x}) = \textbf{w}^T\textbf{x} + b$ (2)
其中$\textbf{w} = (w_1;w_2;...;w_n)$. $w$和$b$学得之后，模型就可以确定。
我们将要用来描述回归问题的标记如下：
$m$ 代表训练集中实例的数量
$n$ 代表属性特征数量
$x$ 代表特征/输入变量
$y$ 代表目标变量/输出变量
$x^{(i)},y^{(i)}$ 代表第 $i$ 个实例
线性回归试图学得
$f(\textbf{x}) = \textbf{w}^T\textbf{x}+ b$, 使得 $f(\textbf{x}) ≈y$
这里为了计算方便，我们将$b$记为$w_0$, 则有：
$f(\textbf{x}) = \textbf{w}^T\textbf{x} = w_0x_0+w_1x_1+...+w_nx_n$, where $x_0=1$
均方误差是回归任务中常用的性能度量：
$(\textbf{w}^*,b^*) = \arg\underset{\textbf{w},b}{\min}\sum_{i=1}^{m}[f(x^{(i)}) - y^{(i)}]^2$
求解$\textbf{w}$和$b$有以下两种方法。
代价函数：$J(\textbf{w}) = \frac{1}{2m}\sum_{i=1}^{m}[f(x^{(i)}) - y^{(i)}]^2 \ +\ \frac{\lambda}{2m}\sum_{j=1}^{n}w_j^2$ （后面是正则化项）
梯度下降：$w_j := w_j - \alpha\frac{\partial}{\partial{w_j}}J(\textbf{w})$
repeat until convergence{
$w_j := w_j - \alpha\frac{1}{m}[(f(x^{(i)}) - y^{(i)})x_j^{(i)}] \ - \ \alpha\frac{\lambda}{m}w_j$
}
$\textbf{w} = (\textbf{x}^T\textbf{x})^{-1}\textbf{x}^Ty$
原文：http://www.cnblogs.com/xuanyuyt/p/6389139.html