首先要注意的是各种表示方式：
标量：用小写的变量名称表示
向量：粗体的小写变量名称，比如x。向量有个点要注意一下，就是向量默认都是列向量，即他们是立起来的。
矩阵：粗体的大写变量名称，比如A。
张量：多维坐标的数组。矩阵是二维数组
注意：本章中的Ax = b中的矩阵A都是m*n的，向量x都是n行的列向量，向量b都是m行的列向量
分析方程Ax = b有多少解可以这样理解
将A的列向量看作是从原点出发的不同方向，确定有多少种方法可以到达向量b。向量x中的每个元素表示我们应该沿这些方向走多远，即xi表示我们需要沿着第i个方向走多远。
这个一开始理解有误，错把xi当成第i维的单位向量，以致于总是想不通上面那两句话的意思。但是其实上面的理解中并不需要有“第i维的单位向量”这种东西，x不是方向，而是步长，A的列向量A:,i才是方向（以及该方向的长度），而且方向不必沿坐标轴，或者说基本是不可能沿坐标轴。
因为xi（它是一个标量）只跟A的第i列相乘，所以可以理解为A:,i是方向，而xi是步长，最后需要到达b（b={b1,b2,…,bn}，是个n维向量，可以代表n维空间中的一个点）这个点
一些概念：
线性组合的概念直接百度就能明白
生成子空间：一组向量的生成子空间是原始向量线性组合后所能抵达的点的组合
列空间&值域：两个是同一个概念。主要是针对Ax = b来说的，即A的列向量的生成子空间
线性相关和线性无关：一组向量里面，任何一个都不能被其他向量通过组合表示的，就称为线性无关。而一旦有向量能被其他向量通过线性组合表示，那么该向量就是冗余的，这种冗余被称为线性相关。
奇异矩阵：列向量线性相关的方阵被称为奇异的（方阵：n*n的矩阵
要使Ax = b有解，有两个要求，一个是n≥m，另一个要求是要求列向量中至少m个线性无关。第一点可以这样简单地理解：我们从上面（关于方程Ax = b的理解那一块）可以知道A的列向量可以看做一个方向（方向向量），如果A是3*2的，那么无论它的这两个方向怎么摆，都只能表示一个平面内的点，没办法表示三维空间中的其他点，因为两个矢量只能构成一个平面。至于为何要m个线性无关的列向量，举个例子来说明，如果A是3*3的，但是其中一个列向量可以被另外两个表示，那么其实这三个向量还是位于同一个平面，没办法将它们的方向扩充到整个三维空间中，所以还是不能表示空间中的所有点。
要使矩阵可逆，则还要保证Ax = b对于每一个b值至多有一个解，即矩阵至多有m个列向量。因为如果有更多的列向量，那么就会存在多组m个线性无关的列向量，那么就会不止一个解。再结合前面的n≥m的条件，那么该矩阵就必须是一个方阵，并且要求所有列向量都是线性无关的。而一个列向量线性相关的方阵被称为奇异的。
所以我们经常会在判断矩阵是否可逆或者强制要求矩阵可逆的时候，有要求矩阵是“非奇异矩阵”
一些东西：
关于逆矩阵的：逆矩阵A-1主要是作为理论工具使用的，并不会在实际中使用于大多数软件应用中。因为逆矩阵A-1在数字计算机上只能表现出有限的精度。
对于方阵而言，它的左逆和右逆是相等的。？？？？这个没懂
Deep Learning（Bengio）第二章 2.1-2.4节 读书笔记
原文：http://www.cnblogs.com/zkw159/p/6305913.html