1. 预备知识

1.1 从矩阵子空间角度理解矩阵向量乘

定义：设矩阵 $\mathbf{A}$ 为 $m \times n$ 的实数矩阵，则它的列空间为其所有列向量为基向量生成的 $\mathbb{R}^m$ 上的子空间，记作 $C(\mathbf{A})$ .

结论： $\mathbf{A}\boldsymbol{x}$ 的结果可以看做是对向量 $\boldsymbol{x}$ 的一种线性变换；也可以看做是矩阵 $\mathbf{A}$ 的 $n$ 个列向量的线性组合，其中组合系数为 $\boldsymbol{x}=\left\{ x_1,x_2,...,x_n\right\}$ 。显然， $\mathbf{A}\boldsymbol{x} \in C(\mathbf{A})$ 。

理解：设 $\mathbf{A}=\left[ \begin{matrix} a_{11}& a_{12}& \cdots& a_{1n}\\ a_{21}& a_{22}& \cdots& a_{2n}\\ \vdots& \vdots& \vdots& \vdots\\ a_{m1}& a_{m2}& \cdots& a_{mn}\\ \end{matrix} \right]$ ， $\boldsymbol{x}=\left[ \begin{array}{c} x_1\\ x_2\\ \vdots\\ x_n\\ \end{array} \right]$ ，则

$\begin{align} \mathbf{A}\boldsymbol{x}&=\left[ \begin{array}{c} a_{11}\\ a_{21}\\ \vdots\\ a_{m1}\\ \end{array} \right] x_1+\left[ \begin{array}{c} a_{12}\\ a_{22}\\ \vdots\\ a_{m2}\\ \end{array} \right] x_2+\cdots +\left[ \begin{array}{c} a_{1n}\\ a_{2n}\\ \vdots\\ a_{mn}\\ \end{array} \right] x_n \\ &=\boldsymbol{c}_1x_1+\boldsymbol{c}_2x_2+\cdots +\boldsymbol{c}_nx_n \end{align} \tag{1}$

.故， $\mathbf{A}\boldsymbol{x}=\boldsymbol{b}$ 可看成，求解这样一个 $\boldsymbol{x}$ ，它的各分量组成的系数能使得矩阵 $\mathbf{A}$ 的 $n$ 个列向量的线性组合刚好等于向量 $\boldsymbol{b}$ 。

1.2 垂直

向量与向量垂直：向量 $\boldsymbol{a}$ 与向量 $\boldsymbol{b}$ 垂直，则内积为0：

$\boldsymbol{a}^{\top}\boldsymbol{b}=0 \tag{2}$

向量与空间垂直：向量 $\boldsymbol{a}$ 与空间 $C(\mathbf{A})=span\{\boldsymbol{c}_1,\boldsymbol{c}_2,...,\boldsymbol{c}_n\}$ 垂直，则 $C(\mathbf{A})$ 的基向量都与 $\boldsymbol{a}$ 垂直：

$\begin{cases} \boldsymbol{c}_1^{\top}\boldsymbol{a}=0\\ \boldsymbol{c}_2^{\top}\boldsymbol{a}=0\\ \cdots\\\boldsymbol{c}_{n}^{\top}\boldsymbol{a}=0\\\end{cases} \\$

写成矩阵的紧凑形式： $\left[ \begin{array}{c} \boldsymbol{c}_{1}^{\top}\\\boldsymbol{c}_{2}^{\top}\\\vdots\\\boldsymbol{c}_{n}^{\top}\\\end{array} \right] \boldsymbol{a}=\boldsymbol{0}_n \\$

即： $\mathbf{A}^{\top}\boldsymbol{a}=\boldsymbol{0} \tag{3}$

2. 线性最小二乘

由1.1知， $\mathbf{A}\boldsymbol{x}=\boldsymbol{b}$ 无解，可理解为： $\boldsymbol{b}\notin C(\mathbf{A})$ ，如： $C(\mathbf{A})=span\{\left[ \begin{array}{c}1\\0\\0\end{array} \right] ,\left[ \begin{array}{c}0\\1\\0\end{array} \right] \}$ ， $\boldsymbol{b}=\left[ \begin{array}{c} 1\\ 1\\1 \\ \end{array} \right]$ 。此时，一种很直观的解法为，求解这样一个近似解 $\boldsymbol{\hat{x}}$ ，它的各分量组成的系数能使得矩阵 $\mathbf{A}$ 的 $n$ 个列向量的线性组合刚好等于向量 $\boldsymbol{b}$ 在 $C(\mathbf{A})$ 中的投影 $\boldsymbol{\hat{b}}$ ，即 $\mathbf{A}\boldsymbol{\hat{x}}=\boldsymbol{\hat{b}}$ .

利用投影性质及1.2内容：

$\begin{align}\boldsymbol{e}\bot \boldsymbol{C}\left( \mathbf{A} \right) &\Longleftrightarrow \mathbf{A}^{\top}\boldsymbol{e}=\mathbf{0} \\&\Longleftrightarrow \mathbf{A}^{\top}\left( \boldsymbol{b}-\boldsymbol{\hat{b}} \right) =\mathbf{0} \\&\Longleftrightarrow \mathbf{A}^{\top}\left( \boldsymbol{b}-\mathbf{A}\boldsymbol{\hat{x}} \right) =\mathbf{0} \\&\Longleftrightarrow \mathbf{A}^{\top}\mathbf{A}\boldsymbol{\hat{x}}=\mathbf{A}^{\top}\boldsymbol{b} \end{align} \\$

所以： $\boldsymbol{\hat{x}}=\left( \mathbf{A}^{\top}\mathbf{A} \right) ^{-1}\mathbf{A}^{\top}\boldsymbol{b} \tag{4}$

3. 非线性最小二乘

与线性情况类似，不过此时求解方程为 $f\left( \boldsymbol{x} \right) =\boldsymbol{b}$ ，需要做一个线性化。

对 $f\left( \boldsymbol{x} \right)$ 在给定初始点 $\boldsymbol{x}_0$ 处作一阶泰勒展开（假设可以这么展开）：

$f\left( \boldsymbol{x} \right) \approx f\left( \boldsymbol{x}_0 \right) +\mathbf{J}\left( \boldsymbol{x}-\boldsymbol{x}_0 \right) \\\triangleq \mathbf{J}\Delta \boldsymbol{x}+f\left( \boldsymbol{x}_0 \right) \tag{5}$

上式中 $\Delta \boldsymbol{x}$ 可看作是需要求解的当前点与真值点之间的差值。这时就可以用线性最小二乘方法求解问题了：

$\mathbf{J}\Delta \boldsymbol{x}+f\left( \boldsymbol{x}_0 \right) =\boldsymbol{b}\\\mathbf{J}\Delta \boldsymbol{x}=\boldsymbol{b}-f\left( \boldsymbol{x}_0 \right) \\\therefore \Delta \boldsymbol{\hat{x}}=\left( \mathbf{J}^{\top}\mathbf{J} \right) ^{-1}\mathbf{J}^{\top}\left( \boldsymbol{b}-f\left( \boldsymbol{x}_0 \right) \right)$

然后，修改当前点为 $\boldsymbol{x}_1=\boldsymbol{x}_0+\Delta \boldsymbol{\hat{x}}$ ，再进行线性化、求解线性最小二乘解，继续迭代下去，直至达到收敛条件（如到达最大迭代步数、步长小于阈值、前后误差变化小于阈值等等）为止了。至于泰勒展开和迭代的收敛性质则是另外的问题了。

另外，如果 $f\left( \boldsymbol{x} \right)$ 为代价函数，目标为最小化代价函数的平方，则令 $\boldsymbol{b}=\boldsymbol{0}$ 代入上式即可求解了。

矩阵最小二乘法