优化问题有很多经典和常用的模型,比如拉格朗日松弛,分支定界,启发式模型等,但在机器学习中用的最多的还是梯度下降,梯度下降再优化凸函数有很好的优势,可以找到最小值。
凸
凸函数的数学定义:
梯度下降的实现步骤:
J就是逻辑回归的目标函数,求出对每一个参数的偏导并求反,为梯度下降的方向:
通过上面的公式更新参数,迭代,直到稳定为止。
浅谈梯度下降
原文:https://www.cnblogs.com/wyx501/p/10504422.html