解线性方程组迭代法
在数值分析中，迭代法是解决大规模线性方程组的重要工具。迭代法可以有效地减少计算复杂度，使得求解效率更高。本文将从前置知识开始，介绍向量和矩阵的范数，再深入探讨求解线性方程组的 Jacobi 和 Gauss-Seidel 迭代法。
一、前置知识：向量和矩阵的范数
在理解迭代法之前，我们需要掌握范数（norm）的概念。范数是衡量向量或矩阵“大小”的一种工具，它帮助我们分析和评估数值方法的收敛性。
1.1 向量范数的定义
设 x 是 n 维向量，则向量 x 的范数可以表示为 ||x||，其物理意义为向量的长度或大小。常见的向量范数包括：
-
1-范数（曼哈顿距离）：
\[||x||_1 = \sum_{i=1}^{n} |x_i| \] -
2-范数（欧几里得距离）：
\[||x||_2 = \left( \sum_{i=1}^{n} |x_i|^2 \right)^{1/2} \] -
∞-范数（切比雪夫距离）：
\[||x||_\infty = \max_{1 \leq i \leq n} |x_i| \]
1.2 范数的三大特征
范数有以下三个重要特征，这些特征与绝对值的性质类似：
-
正定性：
对于任意向量x，有\[||x|| \geq 0，且 ||x|| = 0 \iff x = 0 \] -
线性性（齐次性）：
对于任意标量α和向量x，有\[||\alpha x|| = |\alpha| \cdot ||x|| \] -
三角不等式：
对于任意向量x和y，有\[||x + y|| \leq ||x|| + ||y|| \]
这些特征与绝对值的三大特征相似：
- 绝对值的正定性：
|a| ≥ 0且|a| = 0当且仅当a = 0。 - 绝对值的线性性：
|αa| = |α| ⋅ |a|。 - 绝对值的三角不等式：
|a + b| ≤ |a| + |b|。
1.3 矩阵的范数
矩阵 A 的范数 ||A|| 可以定义为其作用在向量 x 上时的放大倍数，即：
常用的矩阵范数包括：
-
1-范数：列和范数
\[||A||_1 = \max_j \sum_{i=1}^{m} |a_{ij}| \] -
∞-范数：行和范数
\[||A||_\infty = \max_i \sum_{j=1}^{n} |a_{ij}| \] -
2-范数：谱范数（最大特征值的平方根）
1.4 正定矩阵
一个矩阵 A 被称为正定矩阵，如果对任意非零向量 x，总有：
正定矩阵在迭代法中有重要作用，因为它们能够保证算法的收敛性。
二、解线性方程组的迭代法
在求解线性方程组 Ax = b 的问题中，直接求解（如高斯消元法）在处理大型稀疏矩阵时效率低下。因此，迭代法成为更好的选择。
2.1 Jacobi 迭代法
Jacobi 迭代法是求解线性方程组的基本方法之一。其核心思想是将 Ax = b 转化为：
Jacobi 迭代法的步骤
- 初始化
x^{(0)}，设定初始猜测。 - 根据上式计算新的
x_i。 - 检查是否满足收敛条件
||x^{(k+1)} - x^{(k)}|| < \epsilon。 - 若未满足，重复步骤 2 和 3。
收敛性分析
Jacobi 迭代法的收敛性与矩阵 A 的特性相关。当 A 是严格对角占优或正定矩阵时，Jacobi 迭代法可以保证收敛。
2.2 Gauss-Seidel 迭代法
Gauss-Seidel 迭代法在 Jacobi 迭代法的基础上进行改进，每次计算 x_i 时立即使用最新的迭代结果。
其迭代公式为：
Gauss-Seidel 迭代法的步骤
- 初始化
x^{(0)}。 - 按照上式逐步更新
x_i。 - 检查收敛条件
||x^{(k+1)} - x^{(k)}|| < \epsilon。 - 若未满足，重复步骤 2 和 3。
Gauss-Seidel 方法与 Jacobi 方法的对比
- 收敛速度：Gauss-Seidel 通常比 Jacobi 收敛更快，因为它在每次迭代中使用更新后的新值。
- 内存消耗：Gauss-Seidel 直接更新当前的解向量，而 Jacobi 需要保留整个旧解向量，因此 Gauss-Seidel 更节省内存。
2.3 迭代法的收敛性条件
为了确保 Jacobi 和 Gauss-Seidel 方法的收敛，需要满足以下条件之一：
- 矩阵
A是严格对角占优：即|a_{ii}| > \sum_{j \neq i} |a_{ij}|。 - 矩阵
A是正定矩阵。
总结
本文介绍了向量和矩阵的范数、正定矩阵的定义及其三大特征，并深入讲解了 Jacobi 和 Gauss-Seidel 迭代法。通过掌握这些知识，可以更好地理解迭代法在求解线性方程组中的应用，以及如何利用其特性来加速收敛。
在实际应用中，选择合适的迭代法需要根据矩阵的特性进行判断，而范数和正定性则是评估收敛性的重要工具。
