梯度下降法的作用是求到一种方案，使得拟合过程中的损失函数最小(结果可能只为局部最优值)，除此之外还有最小二乘法等方法。
关于此方法详细的阐述参见：这里
梯度下降法初始点的选取分为随机选取初值和自动求取初值两种方法。
梯度下降法有两种具体的实现方法：
1.批量梯度下降法：每次向梯度的反方向移动(梯度为函数增长最快的方向，减少最快的方向为其反方向)。
2.随机梯度下降法：轮流对分量求偏导，除求偏导的分量外其他分量设为0，向“偏导方向”的反方向移动。
关于这两种方法具体的阐述见：这里
原文：http://www.cnblogs.com/DLarTisan/p/6664149.html