向量空间
向量空间的概念
向量空间表示一整个空间的向量，然而，这并不意味着任意向量的集合就能被称为向量空间。所谓向量空间，必须满足空间对线性运算封闭（也即是相加和数乘）这一原则。
举个例子，
就是一个向量空间，它表示所有的二维实向量，如果你对它们做线性运算，会发现得到的结果仍然位于空间中，反应在图像上如图所示：
<center>图1. 二维向量空间中的两个向量</center>
很明显，向量空间构成了一个平面，![\left[\begin{matrix}3 \\ 2\end{matrix}\right],\left[\begin{matrix}0\\ 0\end{matrix}\right],\left[\begin{matrix}\pi \\ e\end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7D3%20%5C%5C%202%5Cend%7Bmatrix%7D%5Cright%5D%2C%5Cleft%5B%5Cbegin%7Bmatrix%7D0%5C%5C%200%5Cend%7Bmatrix%7D%5Cright%5D%2C%5Cleft%5B%5Cbegin%7Bmatrix%7D%5Cpi%20%5C%5C%20e%5Cend%7Bmatrix%7D%5Cright%5D)
均在的实数二维向量空间中，对它们做线性运算，得到的结果仍然在空间中。这个向量空间存在的关键在于，平面上任何向量都在向量空间中，尤其零向量。因为线性运算是“数乘”和“相加”，而任何向量乘上
或者加上其相反的反向向量得到的都是零向量，所以零向量必然存在于所有向量空间中。
推广到高维空间中，则
空间中包含所有的
维向量，每个列向量中有个分量，且分量均为实数。
- 那么如果我们把
坐标平面上的第一象限单独拿出来，这个区域
仍然是向量空间吗？
不是的，因为该空间无法满足“线性组合仍在空间中”的要求，比如做数乘运算时，随便取个负数得到的向量就会位于第三象限，因此空间不能称为向量空间，也就是说，在向量空间中任取一部分，得到的结果可能不是向量空间。
- 那么是否我们在一个向量空间中取子区域一定无法构成向量空间呢？
也不是的。例如图2，我们在二维向量空间中取一条过原点的直线，即可得到二维向量空间中的子空间，这条直线上的任意向量，进行线性运算后所得到的结果依然在这条直线上，并且过原点，包含了零向量，因此它是一个子空间。相反，如果这个直线不过原点，那么就不能称为子空间，因为它不包含零向量。
<center>图2. 二维向量空间中的子空间</center>
除此之外，空间中还存在其他子空间，比如零向量本身也是一个子空间。推广至三维，我们就可以得到
空间中的子空间：（1）过原点的平面；（2）过原点的直线；（3）零向量。
答案是否定的，假设我们有一条过原点的直线
和一个过原点的平面
（直线不在平面上），二者均可以视作向量空间，而两者的并集并不能满足线性运算封闭，因为在直线上任取一向量
，在平面上认取一向量
，两向量的和会位于直线与平面之间，脱离了两空间并集的范围。
答案是肯定的，因为两个向量空间本身就必包含零向量，并且已经称为向量空间，其交集的条件将更为严苛，也必满足两个向量空间的条件，因此可以构成一个子空间。如上一个例子，直线和平面的交基是零向量，零向量依然为向量空间。
列空间与零空间
以上向量空间都是通过图像的形式来描述的，但是对于高维度，我们无法通过作图的方式来绘制其图像，因此需要借助矩阵来描述向量空间。
列空间
列空间是指由矩阵的列向量所构造出的空间。
例如![A = \left[\begin{matrix}1 &1 &2 \\2&1&3\\ 3&1&4\\4&1&5\end{matrix}\right]](https://math.jianshu.com/math?formula=A%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%261%20%262%20%5C%5C2%261%263%5C%5C%203%261%264%5C%5C4%261%265%5Cend%7Bmatrix%7D%5Cright%5D)
，矩阵的列向量均是
空间中的四维向量，所以可以说
的列空间是的子空间。在这个列空间中，除了包含了三个列向量外，还包含了它们的各种线性组合，也就是说，A的列空间是由![\left[\begin{matrix}1 \\2\\ 3 \\4\end{matrix}\right],\left[\begin{matrix}1 \\1\\ 1 \\1\end{matrix}\right],\left[\begin{matrix}2 \\3\\ 4 \\5\end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C2%5C%5C%203%20%5C%5C4%5Cend%7Bmatrix%7D%5Cright%5D%2C%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C1%5C%5C%201%20%5C%5C1%5Cend%7Bmatrix%7D%5Cright%5D%2C%5Cleft%5B%5Cbegin%7Bmatrix%7D2%20%5C%5C3%5C%5C%204%20%5C%5C5%5Cend%7Bmatrix%7D%5Cright%5D)
三个向量所张成的子空间。那么这个空间有多大呢？这就需要用
来解释了。
Ax=b的空间解释（从A的角度）
还是以为例，假设有一个方程如下：
![Ax = \left[\begin{matrix}1 &1 &2 \\2&1&3\\ 3&1&4\\4&1&5\end{matrix}\right]\left[\begin{matrix}x_1 \\x_2\\ x_3 \end{matrix}\right] = \left[\begin{matrix}b_1 \\b_2\\ b_3 \\b_4\end{matrix}\right]=b](https://math.jianshu.com/math?formula=Ax%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%261%20%262%20%5C%5C2%261%263%5C%5C%203%261%264%5C%5C4%261%265%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7Dx_1%20%5C%5Cx_2%5C%5C%20x_3%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7Db_1%20%5C%5Cb_2%5C%5C%20b_3%20%5C%5Cb_4%5Cend%7Bmatrix%7D%5Cright%5D%3Db)
那么第一个问题是这个方程是否有解？
我们看到，我们可以把方程改写成如下形式：
![Ax = \left[\begin{matrix}1 &1 &2 \\2&1&3\\ 3&1&4\\4&1&5\end{matrix}\right]\left[\begin{matrix}x_1 \\x_2\\ x_3 \end{matrix}\right] = x_1\left[\begin{matrix}1 \\2\\ 3 \\4\end{matrix}\right] + x_2\left[\begin{matrix}1 \\1\\ 1 \\1\end{matrix}\right] + x_3\left[\begin{matrix}2 \\3\\ 4 \\5\end{matrix}\right]](https://math.jianshu.com/math?formula=Ax%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%261%20%262%20%5C%5C2%261%263%5C%5C%203%261%264%5C%5C4%261%265%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7Dx_1%20%5C%5Cx_2%5C%5C%20x_3%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20x_1%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C2%5C%5C%203%20%5C%5C4%5Cend%7Bmatrix%7D%5Cright%5D%20%2B%20x_2%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C1%5C%5C%201%20%5C%5C1%5Cend%7Bmatrix%7D%5Cright%5D%20%2B%20x_3%5Cleft%5B%5Cbegin%7Bmatrix%7D2%20%5C%5C3%5C%5C%204%20%5C%5C5%5Cend%7Bmatrix%7D%5Cright%5D)
的本质就是对的列向量进行线性组合，或者可以认为，就代表着的列空间。显然，三个四维向量的线性组合是无法填满整个四维空间的，就如同两个三维向量无法张成一个三维空间一样。因此，这里的只能是空间的部分子空间，也就是说，无法保证任意拿出一个四维向量![b = \left[\begin{matrix}b_1 \\b_2\\ b_3 \\b_4\end{matrix}\right]\in R^4](https://math.jianshu.com/math?formula=b%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7Db_1%20%5C%5Cb_2%5C%5C%20b_3%20%5C%5Cb_4%5Cend%7Bmatrix%7D%5Cright%5D%5Cin%20R%5E4)
，都能找到列向量的一种线性组合，使。
第二个问题是什么样的可以使有解？
上面介绍过，的本质就是对的列向量进行线性组合，也是的列空间，且是空间中的子空间，那么只要向量位于矩阵的列空间中，就可以找到一种由的列向量通过线性组合来构成的向量，也就使得有解。
第三个问题是能否去掉中的一列，却不影响的列空间呢？
首先来观察这三个向量，显然满足等式：![\left[\begin{matrix}2 \\3\\ 4 \\5\end{matrix}\right] = \left[\begin{matrix}1 \\2\\ 3 \\4\end{matrix}\right]+\left[\begin{matrix}1 \\1\\ 1 \\1\end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7D2%20%5C%5C3%5C%5C%204%20%5C%5C5%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C2%5C%5C%203%20%5C%5C4%5Cend%7Bmatrix%7D%5Cright%5D%2B%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C1%5C%5C%201%20%5C%5C1%5Cend%7Bmatrix%7D%5Cright%5D)
，也就是说第三列向量本身就是前两列向量的和，因此第三列向量对张成空间没有做任何贡献，仅仅依靠前两列就足以构成的列空间，我们称前两列为主列，所以去掉第三列不影响的列空间的构成。最后，从矩阵的角度，的列空间可以描述为中的二维子空间。
零空间
零空间是
的所有解所构成的一个空间。
我们还是以为例，其零空间就是下面这个方程的解所构成的空间：
![Ax = \left[\begin{matrix}1 &1 &2 \\2&1&3\\ 3&1&4\\4&1&5\end{matrix}\right]\left[\begin{matrix}x_1 \\x_2\\ x_3 \end{matrix}\right] = \left[\begin{matrix}0 \\0\\ 0 \\0\end{matrix}\right] = 0](https://math.jianshu.com/math?formula=Ax%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%261%20%262%20%5C%5C2%261%263%5C%5C%203%261%264%5C%5C4%261%265%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7Dx_1%20%5C%5Cx_2%5C%5C%20x_3%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D0%20%5C%5C0%5C%5C%200%20%5C%5C0%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%200)
由于零空间是解所构成的空间，因此我们要从
的角度来看，可以看到有三个分量，所以其零空间是的子空间。所以，对于
的矩阵来说，列空间是
的子空间，零空间是的子空间。列空间取决于列向量的维数，零空间取决于列向量的个数。
那么我们来验证一下为什么![\left[\begin{matrix}x_1 \\x_2\\ x_3 \end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7Dx_1%20%5C%5Cx_2%5C%5C%20x_3%20%5Cend%7Bmatrix%7D%5Cright%5D)
可以构成向量空间呢？首先它满足了加法封闭：在零空间中任取两向量
，都有
，显然%3D0)
，所以向量)
也属于零空间。其次它满足了数乘封闭：还是在零空间中任取一向量
，
，则
。由于矩阵和常数
的位置可以交换，所以%3D0)
，所以向量
也在零空间中。
回到我们的示例，我们知道矩阵中的三个向量，显然满足等式：，因此我们可以直接写出的一个解：![\left[\begin{matrix}1 \\1 \\-1\end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C1%20%5C%5C-1%5Cend%7Bmatrix%7D%5Cright%5D)
，所以其零空间即为![c\left[\begin{matrix}1 \\1 \\-1\end{matrix}\right]](https://math.jianshu.com/math?formula=c%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C1%20%5C%5C-1%5Cend%7Bmatrix%7D%5Cright%5D)
（为任意常数），反应在图像上，就是中的一条过原点的直线。
Ax=b的空间解释（从x的角度）
如果将构造零空间的方程中等号右侧变为任意向量的话，其解还能构成向量空间吗？
![Ax = \left[\begin{matrix}1 &1 &2 \\2&1&3\\ 3&1&4\\4&1&5\end{matrix}\right]\left[\begin{matrix}x_1 \\x_2\\ x_3 \end{matrix}\right] = \left[\begin{matrix}1 \\2\\ 3 \\4\end{matrix}\right] = b](https://math.jianshu.com/math?formula=Ax%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%261%20%262%20%5C%5C2%261%263%5C%5C%203%261%264%5C%5C4%261%265%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7Dx_1%20%5C%5Cx_2%5C%5C%20x_3%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%5C%5C2%5C%5C%203%20%5C%5C4%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20b)
显然不是。因为如果我们将![\left[\begin{matrix}x_1 \\x_2\\ x_3 \end{matrix}\right] = \left[\begin{matrix}0 \\0\\ 0 \end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7Dx_1%20%5C%5Cx_2%5C%5C%20x_3%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D0%20%5C%5C0%5C%5C%200%20%5Cend%7Bmatrix%7D%5Cright%5D)
代入方程，会发现零向量并不是方程的解，也就是说解集中没有零向量，也就无法构成向量空间，反映在图像上，这里所有的解构成了一个不过原点的平面。这也告诉我们，想从的角度来研究，只有当是零向量时，的解集才能构成空间（零空间），其他情况中连零向量都不在解集中，也就无法构成向量空间了。所有，要么从的列向量入手，已知列向量，根据其线性组合构成子空间，要么从方程入手，从满足条件的的解集来构造子空间。
