四个子空间的正交性

矩阵A的四个子空间是：row space, column space, nullspace and left nullspace，其中：

• row space and nullspace are orthogonal complements
• column space and left nullspace are also orthogonal complements

orthogonal complements 的概念

SPACEA 和 SPACEB 是orthogonal complements的意思是：SPACEA中的任意向量 都和 SPACEB中的任意向量垂直（orthogonal），且dim(SPACEA) + dim(SPACEB) = n，所有与SPACEB垂直的向量都在SPACEA中（complement）

三维空间中，只有：①点 和 整个三维空间；②线 和 垂直于线的平面  才能是orthogonal complements，线和线即使垂直也不是，因为不满足complement这个条件！面和面更不行，orthogonal和complement都不满足！

orthogonal complements 的意义

complement的意义是：任意一个x都能唯一地分为一个row space component x_r 和一个nullspace component x_n，Ax = Ax_r+Ax_n，如图所示：

• 可划分：row space的basis与nullspace的basis构成了n个独立的basis，所以可以表达任意的x
• 唯一性：每个b都只有一个x_r与之对应，如果有两个的话，Ax_r1-Ax_r2=0，x_r1-x_r2即属于row space又属于nullspace，决定了x_r1=x_r2，x_n随之唯一。

（并不是所有的b都在column space中，假如Ax=b无解时，b就不是A的column的线性组合，b也就不再A的column space中了。）

Projection matrix

寻找向量b在矩阵A构成的column space的投影 $p = A\hat{x}?$ 的步骤：

1. 通过error vector e=b-p与column space垂直，找出向量 $\hat{x}?$ ;
2. find the projection  $p = A\hat{x}?$ ;
3. find the matrix $P$ . 

第一步：找出向量 $\hat{x}?$  

写成： $A^T(\mathbf{b}-A\mathbf{\hat{x}})=\mathbf{0}?$

得到： $\mathbf{\hat{x}}=(A^TA)^{-1}A^T\mathbf{b}?$

第二步与第三步

$p=A\mathbf{\hat{x}}=A(A^TA)^{-1}A^T\mathbf{b}?$

$P=A(A^TA)^{-1}A^T?$

线性代数学习笔记（四）,布布扣,bubuko.com

线性代数学习笔记（四）

原文：http://www.cnblogs.com/ericxing/p/3615406.html