梯度下降中，计算完各个参数的导数之后就需要更新参数值了，最常用的更新参数方法就是：
?
【SGD】：
x += - learning_rate * dx
?但是这种方法收敛速度非常慢，其实除了这个更新参数的方法，还有很多的方法可以进行参数更新。
?
?
【Momentum update】：
?
这个方法对于深度学习的网络参数更新往往有不错的效果。本质意思是，在更新新的参数的时候需要考虑前一个时刻的“惯性”，其更新参数如下：
?
# Momentum update v = mu * v - learning_rate * dx # integrate velocity x += v # integrate position
?
上面计算方法和下面的等价（其中的ρ等价于上面的mu）：
?
?其中一般的，v初始为0，mu是优化参数，一般初始化参数为0.9，当使用交叉验证的时候，参数mu一般设置成[0.5,0.9,0.95,0.99]，在开始训练的时候，梯度下降较快，可以设置mu为0.5，在一段时间后逐渐变慢了，mu可以设置为0.9、0.99。也正是因为有了“惯性”，这个比SGD会稳定一些。
?
?
【Nesterov Momentum】
?
这是一个和上面的Momentum update有点不一样的方法，这种方法最近得到了较为广泛的运用，对于凸函数，它有更为快的收敛速度。
计算公式：
?
x_ahead = x + mu * v # evaluate dx_ahead (the gradient at x_ahead instead of at x) v = mu * v - learning_rate * dx_ahead x += v
?
?
其基本思路如下：（参考自各种优化方法的比较）
?
首先，按照原来的更新方向更新一步（x_ahead,也就是棕色线），然后在该位置计算梯度值（也就是dx_ahead,红色线），然后用这个梯度值修正最终的更新方向（绿色线）。上图中描述了两步的更新示意图，其中蓝色线是标准momentum更新路径
?
【Adagrad】
?
adagrad是一种自适应学习率的更新方法，计算方法如下：
?
# Assume the gradient dx and parameter vector x cache += dx**2 x += - learning_rate * dx / (np.sqrt(cache) + eps)
?这个方法其实是动态更新学习率的方法，其中cache将每个梯度的平方和相加，而更新学习率的本质是，如果求得梯度距离越大，那么学习率就变慢，而eps是一个平滑的过程，取值通常在（10^-4~10^-8 之间）
?
?
【RMSprop】
?
RMSpro是还没有发布的方法，但是已经使用的额相当广泛，其和Adagrad的方法差不多，计算方法如下：
?
cache = decay_rate * cache + (1 - decay_rate) * dx**2 x += - learning_rate * dx / (np.sqrt(cache) + eps)
?其中，decay_rate取值通常在[0.9,0.99,0.999]
?
?
【Adam】
?
adam现在已经被广泛运用了,adam的更新参数方法如下：
?
m = beta1*m + (1-beta1)*dx v = beta2*v + (1-beta2)*(dx**2) x += - learning_rate * m / (np.sqrt(v) + eps)
?m,v一般初始化为0，而这篇论文中，eps取值为1e-8 beta1=0.9 beta2=0.9999
?
?
?
【几种常见参数更新方法的比较】：
?
原文：http://luchi007.iteye.com/blog/2290302