1、范数
Frobenius范数：
加权Frobenius范数和加权l2范数（其中M是n x n的对称正定矩阵）：
椭圆向量范数：
特别，我们有
关于范数的几个重要不等式是：
2、无约束问题的最优性条件
3、最优化方法的结构
1、最速下降法（梯度下降法，简称梯度法）—— P118
收敛性：线性收敛
2、两点步长梯度法 —— P127
或 
其中，
收敛性：R-超线性收敛
原文：https://www.cnblogs.com/lucifer1997/p/11525084.html