[漫谈]高中的消元法解方程与线性代数及LU分解之间的联系

司南牧(李韬)

专写通俗易懂的东西，只讲人话

疯言疯语：
可怕的概念都是玻璃老虎。——Ai酱

高斯消元、LU分解无非都是高中学过的解方程的消元法。

高中的消元法

现在有一个方程组需要你解，你会怎么解？答：高中教过可以用消元法来解未知数。

那么我们看看消元法怎么做的。

1. 第二个式子-2×第一个式子得到下面这个方程组：

2. 第二个式子两边÷12.

3. 回代

确实任何线性方程都可以这么解，事实上计算机解方程也是这么做的。由于每次都要重复写 x_1,x_2 。太麻烦了，反正他们也不起作用。于是数学家们就把方程组中的数字放在一起，符号也放在一起。这样使得消元的时候就不用总是重复写这 x_1,x_2 两个符号，大大简化的书写的复杂度。这种把数字和符号放在一起的写法叫做矩阵。计算机里面解方程都是输入矩阵，输出向量的。我们把最原始的那个方程组里面所有数字弄出来，得到下面这个式子：

我们定义

，我们的目标是得到

，写成矩阵形式就是

通过我们高中的学的消元法可以将矩阵A变成

。这个对角线都是1，其他元素都是0的这个矩阵，数学家把它叫做单位矩阵。消元法的矩阵形式叫做高斯消元法。它的作用就是求解线性方程。现在用计算机解方程都是用消元法来解方程的。

矩阵高斯消元法

1. 把系数矩阵变成对角线左下都是0的形式

2. 消除右上角的值,使得左边的矩阵变成单位矩阵。

但是，这是我们人去消元，我们知道这么做。但是怎么让计算机知道怎么消元呢？我们能不能通过矩阵相乘的方式进行消元操作？这就是高斯消元法的初衷。理解这个非常重要，我们通过一系列矩阵乘法操作把矩阵A变成了单位矩阵，那么前面的那些矩阵不就是A的逆矩阵么？线性代数的各种矩阵分解基本是利用这个思路来进行矩阵分解。

我们看看高斯消元法的第一步怎么用矩阵表示：

我们是把第一行×-2加到第二行，来实现消除第二行的第一个数字。那么怎么用矩阵来表示“把第一行×2加到第二行”这个操作呢？先看看结果，待会再解释为何要左乘这个矩阵。

左乘是可以对行操作的。而消元法它只对行操作不对列操作。所以得左乘。

由于矩阵A的第一行没有变，所以A左乘的那个矩阵的第一行是[1,0]。然后我们对第一行乘-2然后加到第二行，所以左乘的那个矩阵第二行为[-2,1]（哪一行变了就着重关注哪一行，其他没变的行肯定是[0..1.0..]之类）。其他的几步消元操作基本是左乘类似的矩阵。这种一次只操作一行的矩阵，叫做初等变换矩阵。这种矩阵一般记作E。可以实现把第1行加到第2行的这种矩阵可以表示为 E_{12} 。

LU分解与高斯消元法的联系

LU分解它要做的事情是把一个矩阵A分解成一个下三角矩阵和一个上三角矩阵相乘的形式，即A=L*U。（L是Lower Tiangular Matrix的意思，U是Upper Triangular Matrix的意思）。

所以我们要求下三角矩阵L，和上三角矩阵U。

什么是下三角矩阵？下面这个矩阵就是下三角矩阵，对角线和左下是非零，其他地方是0.

上面这个矩阵是不是很熟悉？这个矩阵就是前面提到的 E_{12} 矩阵。

所以LU分解中的下三角矩阵L就是把矩阵A变成上三角矩阵形式的一系列初等变换矩阵的乘积的结果的逆矩阵，在本文中L就是E_{12}^{-1}。为啥是逆矩阵？因为 E_{12}A=U ，而我们期待的是 A=LU 。所以 L=E_{12}^{-1} 。我们知道E_{12}是把第一行×-2加到第二行，那么它的逆矩阵就是撤消这个操作。所以它的逆矩阵做的事是把第一行×2加到第二行。L=E_{12}^{-1}矩阵就是下面这个矩阵（撤消 E_{12} 的操作）