自然梯度下降

高票适合对统计，ml，optimization有很高造诣的人理解。我这个回答尝试通过简单的数学推导来给理解natural gradient descent.

• 正如之前层主所说的，要不是trpo和ppo，我怎么会入这个坑？？

在标准的stochastic gradient descent里面, 我们假定用N个可train的parameters, 就像torch.nn里面的parameters, k 代表迭代中的第k步:

假定cost function 为J(w). 在 linear regression中, J(w) 就是mean squared error; 在logistic regression中，J(w) 即为cross entropy。同理所有的regression和classification问题。

• gradient:
• update: 对于任意一个wi,

这里也同时顺便提一句为什么policy gradient 的基础上搞出了trpo和ppo，原因:

1. REINFORCE的基础上 subtract了baseline加了causality(a2c)，发现还是不行
2. 有一个很重要的原因就是policy space 和 parameter space是不一样的，parameter space一小步可能就是parameter的一大步了。
3. 还有一个很重要的原因就是：REINFORCE 是on policy的，怎么有效利用过去w的samples很重要。

回到正题，现在我们假定 J(w) 在Euclidean coordinates 中，即有 。在Euclidean coordinates，用标准的stochastic gradient descent 是没有问题的。直观来讲，因为坐标轴之间是相互垂直的，在 上的增长，并不会影响到 ； 代表的还是最陡峭的方向。

但是一旦到了黎曼空间里面 or Riemannian manifold， 代表的就不是最陡峭的方向了。直观来讲，把地球展开成二维（假设我们有二向箔），它将变成（一幅画）一个地图，在这个地图上的确两点之间线段最短（standard gradients，切线可以理解成无限接近的两点），但是我们一旦回到三维，测量距离的时候，我们要考虑地球的弯曲(the global curvature of the earth‘s surface)，切线某种意义上失去了这个curvature。

所以在黎曼几何里面，距离就定义成了 。G(w)这里叫Riemannian metric tensor，黎曼度量。

• update --->:

在统计机器学习里面，G(w) 可以简单地认为是fisher information matrix (the variance of the score function)。

在trpo 里面，如果只泰勒展开近似，结合拉格朗日对偶，并且不backtrack line search，

• 是Fisher information matrix, g是the gradient of the surrogate advantage function w.r.t. .

基本上就是由上面的一套操作(许多套操作)得到的了。

最后回答不易，欢迎点赞，评论。如果有任何错误，欢迎指正。

References:

1. TRPO:

2. A Natural Policy Gradient

3. Natural Gradient Works Efficiently in Learning (Shun-ichi Amari)

4. WHY NATURAL GRADIENT? (Shun-ichi Amari)