最小二乘法

当Ax=b没有解时，左右同时乘以A^T，解 $A^TA\hat{x}=A^Tb$ 得到原式的近似解 $\hat{x}$ 。

乘上A^T源自投影矩阵求x的变形：A^T(b-Ax)=0，目的是为了得到 $p=A\hat{x}$ ，使p足够接近原式中的b， $A^TA\hat{x}=A^Tb$ 这个式子本身似乎没什么几何意义。通过偏导数可以证明 $\hat{x}$ 最小化了sum of squares of the errors

求解x的方程 $A^TA\hat{x}=A^Tb$ 就是大名鼎鼎的normal equation. 利用最小二乘法解拟合直线的一个例子可以见右图。

线性代数学习笔记（五）,布布扣,bubuko.com

线性代数学习笔记（五）

原文：http://www.cnblogs.com/ericxing/p/3617670.html