线性回归考虑的是有$n$个样本$\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\}$，每一个样本对应$m+1$维特征$\mathbf{x}_i=\{x_{i0},x_{i1},x_{i2},\cdots,x_{im}\}$（其中$x_{i0}=1$），记为$\mathbf{X}_{n\times (m+1)}$，且每一个样本都一个对应的结果输出，记为$\mathbf{y}_{n}$。需要找到参数$\mathbf{w}_{m+1}$，构造如下模型，
$$
\mathbf{y}=\mathbf{X}\mathbf{w}=\begin{pmatrix}\mathbf{x}_0\\ \mathbf{x}_1\\ \vdots\\ \mathbf{x}_m\end{pmatrix}\begin{pmatrix}w_0\ w_1\ \cdots\ w_m\end{pmatrix},
$$
拟合出来的结果与真实目标之间的误差可以表示如下，
$$
J(\mathbf{w})=\frac{1}{2}\left(\mathbf{X}\mathbf{w}-\mathbf{y}\right)^T\left(\mathbf{X}\mathbf{w}-\mathbf{y}\right),
$$
其中，加入参数因子$\frac{1}{2}$是为了求导方便。
https://www.cnblogs.com/huangyc/p/9782821.html
https://blog.csdn.net/ccnt_2012/article/details/81127117
原文：https://www.cnblogs.com/CZiFan/p/11725382.html