举例：用蒙特卡罗方法来学习状态值函数Vπ(s)。如上所述，估计Vπ(s)是对于所有到达过该状态的回报取平均值。这里又分为first-visit MC methods和every-visit MC methods。这里，我们只考虑first MC methods，即在一个episode内，我们只记录s的第一次访问，并对它取平均回报。现在我们假设有如下一些样本，取折扣因子γ=1，即直接计算累积回报，则有根据first MC methods，对出现过状态s的episode的累积回报取均值，有Vπ(s)≈ (2 + 1 – 5 + 4)/4 = 0.5. 容易知道，当我们经过无穷多的episode后，Vπ(s)的估计值将收敛于其真实值。
在一条轨迹下来以后，更新Q值后，做第二条轨迹，这样就做到了不依赖MDP模型的强化学习方法。
然而该方法缺乏环境探索，难以更新策略
-------------------------------------------------------------------------------------
以上内容转自：
https://blog.csdn.net/linyijiong/article/details/81488777
【转载】 强化学习中 采用 【首次访问的蒙特卡洛预测法】 的算法描述
原文：https://www.cnblogs.com/devilmaycry812839668/p/10574844.html