机器学习之梯度下降法

时间：2018-07-28 17:03:36 阅读：109 评论：0 收藏：0 [点我收藏+]

梯度下降法

　既然在变量空间的某一点处，函数沿梯度方向具有最大的变化率，那么在优化目标函数的时候，自然是沿着负梯度方向去减小函数值，以此达到我们的优化目标。

　如何沿着负梯度方向减小函数值呢？既然梯度是偏导数的集合，如下：

　同时梯度和偏导数都是向量，那么参考向量运算法则，我们在每个变量轴上减小对应变量值即可，梯度下降法可以描述如下：

　以上就是梯度下降法的由来，大部分的机器学习任务，都可以利用Gradient Descent来进行优化。

原文：https://www.cnblogs.com/gylhaut/p/9382534.html

踩

(0)

评论一句话评论（0）

分享档案

更多>