线性代数之——矩阵乘法和逆矩阵

1. 矩阵乘法

如果矩阵 $B$ 的列为 $b_1, b_2, b_3$ ，那么 $EB$ 的列就是 $Eb_1, Eb_2, Eb_3$ 。

$\boldsymbol{EB = E[b_1 \quad b_2 \quad b_3] = [Eb_1 \quad Eb_2 \quad Eb_3]}$

$E\space(B 的第\space j \space列) =EB \space的第 \space j \space列$

置换矩阵（permutation matrix）

在消元的过程中，如果遇到了某一行主元的位置为 0，而其下面一行对应的位置不为 0，我们就可以通过行交换来继续进行消元。

如下的矩阵 $P_{23}$ 可以实现将向量或者矩阵的第 2 、 3 行进行交换。

$P_{23} = \begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix}$

$\begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix} \begin{bmatrix} 1 \\ \boldsymbol 3\\ \boldsymbol 5\end{bmatrix} = \begin{bmatrix} 1 \\ \boldsymbol 5\\\boldsymbol 3\end{bmatrix}$

$\begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix} \begin{bmatrix} 2&4&1 \\ \boldsymbol0&\boldsymbol0&\boldsymbol3\\0&6&5 \end{bmatrix} = \begin{bmatrix} 2&4&1 \\0&6&5 \\\boldsymbol0&\boldsymbol0&\boldsymbol3\end{bmatrix}$

置换矩阵 $P_{ij}$ 就是将单位矩阵的第 $i$ 行和第 $j$ 行进行互换，当交换矩阵乘以另一个矩阵时，它的作用就是交换那个矩阵的第 $i$ 行和第 $j$ 行。

增广矩阵（augmented matrix）

在消元的过程中，方程两边的系数 $A$ 和 $b$ 都要进行同样的变换，这样，我们可以把 $b$ 作为矩阵 $A$ 的额外的一列，然后，就可以用消元矩阵 $E$ 乘以这个增广的矩阵一次性完成左右两边的变换。

$E[A \space \boldsymbol b] = [EA \space E \boldsymbol b]$

$\begin{bmatrix} 1&0&0 \\ -2&1&0\\0&0&1\end{bmatrix} \begin{bmatrix} 2&4&-2&\boldsymbol 2 \\ 4&9&-3&\boldsymbol 8 \\-2&-3&7&\boldsymbol {10} \end{bmatrix} = \begin{bmatrix} 2&4&-2&\boldsymbol 2 \\ 0&1&1&\boldsymbol 4 \\-2&-3&7&\boldsymbol {10} \end{bmatrix}$

矩阵乘法的四种理解

如果矩阵 $A$ 有 $n$ 列， $B$ 有 $n$ 行，那么我们可以进行矩阵乘法 $AB$ 。

假设矩阵 $A$ 有 $m$ 行 $n$ 列，矩阵 $B$ 有 $n$ 行 $p$ 列，那么 $AB$ 是 $m$ 行 $p$ 列的。

$(m×n)(n×p)=(m×p) \quad \begin{bmatrix} \boldsymbol{m \space 行} \\{n \space 列} \end{bmatrix} \begin{bmatrix} n \space 行 \\\boldsymbol{p \space 列} \end{bmatrix}= \begin{bmatrix} \boldsymbol{m \space 行} \\\boldsymbol{p \space 列}\end{bmatrix}$

矩阵乘法的第一种理解方式就是一个一个求取矩阵 $AB$ 位于 $(i, j)$ 处的元素

$(AB)_{ij} = A \space 的第 \space i \space 行与\space B \space的第\space j \space 列的内积 = \sum a_{ik}b_{kj}$

第二种理解，矩阵 $AB$ 的列是 $A$ 的列的线性组合

${AB = A[b_1 \quad b_2 \cdots b_p] = [Ab_1 \quad Ab_2 \cdots Ab_p]}$

第三种理解，矩阵 $AB$ 的行是 $B$ 的行的线性组合

$AB = \begin{bmatrix}a_1 \\ a_2 \\ \vdots \\a_m\end{bmatrix}B = \begin{bmatrix}a_1 B \\ a_2B \\ \vdots \\a_m B\end{bmatrix}$

第四种理解，矩阵 $AB$ 是所有 $A$ 的列与 $B$ 的行的乘积的和

$AB = [a_1 \quad a_2 \cdots a_n] \begin{bmatrix}b_1 \\ b_2 \\ \vdots \\b_n\end{bmatrix} = \sum_{i=1}^{n} a_i b_i$

其中，一列乘以一行称为外积（outer product），(n×1)(1×n)=(n, n)，结果为一个 n×n 的矩阵。
$\begin{bmatrix}2&7 \\ 3&8 \\ 4&9\end{bmatrix} \begin{bmatrix}1&6 \\ 0&0\end{bmatrix} = \begin{bmatrix}2 \\ 3 \\ 4\end{bmatrix}[1 \quad 6] + \begin{bmatrix}7 \\ 8 \\ 9\end{bmatrix}[0 \quad 0] = \begin{bmatrix}2&12 \\ 3&18 \\ 4&24\end{bmatrix}$

矩阵乘法的性质

结合律： $\boldsymbol{A(BC) = (AB)C}$
交换律： $\boldsymbol{(A+B)C = AC+BC}$
交换律： $\boldsymbol{A(B+C) = AB+AC}$

$A^p = \underbrace{AA\cdots A}_{\text{p 个}}$
$A^pA^q = A^{(p+q)}$
$(A^p)^q = A^{pq}$
$A^0=I$

分块矩阵

矩阵还可以被划分为小块，其中每个小块都是一个更小的矩阵。

如果对矩阵 $A$ 的列的划分和对矩阵 $B$ 的行的划分正好匹配，那么每个块之间就可以进行矩阵乘法。

一种特殊的划分就是矩阵 $A$ 的每个小块都是 $A$ 的一列，矩阵 $B$ 的每个小块都是 $B$ 的一行，这种情况就是我们上面说的矩阵相乘的第四种理解。

同样地，在消元的时候，我们也可以按块对系数矩阵进行消元。

2. 矩阵的逆

假设 $A$ 是一个方阵，如果存在一个矩阵 $A^{-1}$ ，使得

$A^{-1}A = I \quad 并且 \quad AA^{-1} = I$

那么，矩阵 $A$ 就是可逆的， $A^{-1}$ 称为 $A$ 的逆矩阵。

逆矩阵的逆就是进行和原矩阵相反的操作。消元矩阵 $E_{21}$ 的作用是第二个方程减去第一个方程的 2 倍。

$E_{21} = \begin{bmatrix} 1&0&0 \\ -2&1&0\\0&0&1\end{bmatrix}$

其逆矩阵 $E_{21}^{-1}$ 的作用则是第二个方程加上第一个方程的 2 倍。

$E_{21}^{-1} = \begin{bmatrix} 1&0&0 \\ 2&1&0\\0&0&1\end{bmatrix}$

当且仅当在消元过程中产生 $n$ 个主元的时候（允许行交换），矩阵 $A$ 的逆才存在。
矩阵 $A$ 不可能有两个不同的逆矩阵，左逆等于右逆。假设 $BA=I$ ， $AC=I$ ，那么一定有 $B=C$ 。
$B(AC) = (BA)C \to BI = IC \to B=C$
如果矩阵 $A$ 是可逆的，那么 $Ax=b$ 有唯一解 $x=A^{-1}b$ 。
如果存在一个非零向量 $x$ 使得 $Ax= \boldsymbol 0$ ，那么 $A$ 不可逆，因为没有矩阵可以将零向量变成一个非零向量。

$若 \space A^{-1} \space 存在，则\space x = A^{-1} \boldsymbol 0 = \boldsymbol 0$

一个 2×2 的矩阵是可逆的，当且仅当 $ad-bc$ 非零。

一个对角化矩阵如果其对角线上元素非零，那么其有逆矩阵。

如果矩阵 $A$ 和矩阵 $B$ 都是可逆的，那么它们的乘积 $AB$ 也是可逆的。

$(AB)^{-1} = B^{-1}A^{-1}$
$(AB)^{-1}AB = B^{-1}A^{-1}AB = B^{-1}IB = I$

同样地，针对三个或更多矩阵的乘积，有

$(ABC)^{-1} = C^{-1}B^{-1}A^{-1}$

3. 高斯－若尔当消元法（Gauss-Jordan Elimination）求矩阵的逆

我们可以通过消元法来求解矩阵 $A$ 的逆矩阵。思路是这样的，假设 $A$ 是一个 3×3 的矩阵，那么我们可以建立三个方程来分别求出 $A^{-1}$ 的三列。

$AA^{-1} = A[x_1 \quad x_2 \quad x_3] = [e_1 \quad e_2 \quad e_3]=\begin{bmatrix} 1&0&0 \\ 0&1&0\\0&0&1\end{bmatrix}$

$\begin{alignedat}{2} Ax_1 = e_1 \\ Ax_2 = e_2\\ Ax_3 = e_3 \end{alignedat}$

而高斯－若尔当消元法则是一次性求解出这些方程，之前我们求解一个方程的时候，将 $b$ 作为 $A$ 的一列组成增广矩阵，而现在我们则是把 $e_1、e_2、e_3$ 三列一起放入 $A$ 中形成一个增广矩阵，然后进行消元。

到这里，我们已经得到了一个下三角矩阵 $U$ ，高斯就会停在这里然后用回带法求出方程的解，但若尔当将会继续进行消元，直到得到简化阶梯形式（reduced echelon form）。

最后，我们将每行都除以主元得到新的主元都为 1，此时，增广矩阵的前一半矩阵就是 $I$ ，而后一半矩阵就是 $A^{-1}$ 。

我们用分块矩阵就可以很容易地理解高斯－若尔当消元法，消元的过程就相当于乘以了一个 $A^{-1}$ 将 $A$ 变成了 $I$ ，将 $I$ 变成了 $A^{-1}$ 。

$A^{-1}[A \quad I] = [I \quad A^{-1}]$

获取更多精彩，请关注「seniusen」!

最后编辑于：2019.11.16 13:05:08

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 211,123评论 6赞 490
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,031评论 2赞 384
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 156,723评论 0赞 345
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,357评论 1赞 283
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,412评论 5赞 384
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,760评论 1赞 289
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,904评论 3赞 405
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,672评论 0赞 266
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,118评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,456评论 2赞 325
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,599评论 1赞 340
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,264评论 4赞 328
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,857评论 3赞 312
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,731评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,956评论 1赞 264
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,286评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,465评论 2赞 348

线性代数之——矩阵乘法和逆矩阵

1. 矩阵乘法

2. 矩阵的逆

3. 高斯－若尔当消元法（Gauss-Jordan Elimination）求矩阵的逆

推荐阅读更多精彩内容