首页 > 其他 > 详细

Benchmarking Batch Deep Reinforcement Learning Algorithms

时间:2021-09-05 23:20:10      阅读:6      评论:0      收藏:0      [点我收藏+]

技术分享图片
发表时间:2019
文章要点:这篇文章主要是针对batch RL做了一个离散动作空间的benchmark,对比了DQN和一些batch RL算法的性能(DQN,REM,QR-DQN,KL-Control,BCQ)。并且把BCQ从连续动作空间改成适用离散动作空间,取得了SOTA的效果。作者得出的结论是,要想batch RL效果好,就要考虑外推误差(extrapolation error)的问题,否则会造成unstable value estimates,导致效果不好。extrapolation error的意思就是说我在评估action value的时候,可能在fix data上并没有这个值,但是由于TD更新,不小心把这个data里没有的action value更新大了,但是其实这个值实际可能很差,这就造成了误差导致效果更差了(induced from evaluating state-action pairs which are not contained in the provided batch of data. This erroneous extrapolation is propagated through temporal difference update of most off-policy algorithms, causing extreme overestimation and poor performance)。这个其实不做实验也能想到,不过这个结论没毛病。
总结:这篇paper主要就是做了个benchmark,得出的结论也是make sense的。
疑问:文章提了好多个batch RL的算法都没看过,要是以后真要做batch RL的东西,可以从这篇里面找这些算法出来看看:QR-DQN,REM,BCQ,BEAR-QL,KL-Control,SPIBB-DQN。

Benchmarking Batch Deep Reinforcement Learning Algorithms

原文:https://www.cnblogs.com/initial-h/p/15225679.html

(0)
(0)
   
举报
评论 一句话评论(0
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!