那么，为什么梯度的方向刚好是我们下坡的反方向呢？为什么我们不是沿着梯度的方向下坡呢？这是因为，只有沿着梯度的反方向，我们才能下坡，否则就是上坡了……举个例子，在y=f（x）的二维平面上，规定好x轴和y轴的方向后，如果曲线f（x）的值是随着x的增加上升的，那么它在某一点的切线的数值一定是正的。反之，若曲线f（x）的值是随着x的增加下降的，则它在下降的某一点的切线的数值一定是负数。梯度是方向导数在某一点的最大值，所以其值必然是正数。如果沿着梯度方向走，经验损失函数的值是增加的……所以，我们要下坡，就必须沿着梯度方向的反方向了。
原文：https://www.cnblogs.com/miaozhijuan/p/12638981.html