线性方程组的迭代法就是用某种极限过程逐步逼近线性方程组精确解的方法。迭代法具有需要的存储空间少、程序设计简单、原始系数矩阵在计算过程中始终不变等优点，但有收敛性或收敛速度的问题。迭代法是解大型稀疏矩阵方程组的重要方法。迭代法的基本思想是构造一串收敛到解的序列，即建立一种从已有近似解计算新的近似解的规则。由不同的计算规则得到不同的迭代法。
本文的主要思想来自于中南大学 郑洲顺 教授在中国大学MOOC上的 科学计算与数学建模 课程， 第六章 回归问题-线性方程组的迭代解法，链接如下。
https://www.icourse163.org/learn/CSU-1001985002?tid=1206784225#/learn/content?type=detail&id=1211843352&sm=1
求回归系数的本质是解线性方程组。迭代法解线性方程组的基本思路如下。
为了应用迭代法解线性方程组，首先应该找到一个迭代矩阵B，当k->无穷大时，误差->0，此时称该线性方程组迭代法收敛。值得一提的是，线性方程组迭代法的敛散性与具体的迭代矩阵有关。迭代矩阵不同，线性方程组迭代法的敛散性也有可能不同。
直接给出结论如上。即当迭代矩阵的谱半径 < 1时，线性方程组时收敛的。由于谱半径时矩阵范数的下限，故存在如下迭代法收敛的充分条件。
迭代矩阵谱半径可以衡量迭代矩阵的收敛速度，谱半径越小，迭代速度越快。
原文：https://www.cnblogs.com/ghjnwk/p/12124780.html