算法目的:找到(损失)函数的最小值以及相应的参数值。从而找到最小的损失函数。
梯度下降法:通过模拟小球滚动的方法来得到函数的最小值点。
小球会根据函数形状找到一个下降方向不停的滚动,它的高度一直是下降的。随着时间的推移,小球会滚到底,从而找到最小值点。
但是梯度下降法不能保证到达最小值点,也有可能到达 鞍点 (这一点的梯度为0)或者 极小值点。
如何计算模型参数的估计值(梯度下降法)
原文:https://www.cnblogs.com/xzt6/p/13736896.html