优化问题有很多经典和常用的模型，比如拉格朗日松弛，分支定界，启发式模型等，但在机器学习中用的最多的还是梯度下降，梯度下降再优化凸函数有很好的优势，可以找到最小值。
凸
凸函数的数学定义：
梯度下降的实现步骤：
J就是逻辑回归的目标函数，求出对每一个参数的偏导并求反，为梯度下降的方向：
通过上面的公式更新参数，迭代，直到稳定为止。
浅谈梯度下降
原文：https://www.cnblogs.com/wyx501/p/10504422.html
