8.1 模型与规划
规划，指利用已有经历对环境提炼模型，减少对环境交互的依赖。
8.2 Dyna框架
8.3 当模型不对时
第一种情况，原路已经行不通，在堵塞处往返多次后，value会被慢慢修正，并找到正确的路
第二种情况，发现新的短路，这种情况吧Dyna-Q几乎找不到这条路，但是Dyna-Q+作了改进，对很久没更新的(s,a)，reward会附加上$k\sqrt t$。
8.4 Prioritized Sweeping
通过价值发生变化的程度来进行规划，变化大的优先规划，变化过小的略过规划
8.5 规划的另一种理解
对规划通常的理解是改善策略，也可以理解为为决定下一个action作准备。
对于象棋这种不需要太快响应的应用来说，花更多时间在规划上可以使下一步下的更好。
8.6 启发式搜索
传统的启发式搜索并不保存action value，但实际上可以和backup结合，用来高效地改进action value。
如果我们有一个完美的模型（例如棋类游戏），但是价值函数不完美，那么我们用较深的启发式搜索可以获得更好的策略。
8.7 蒙特卡洛树搜索
首先，并发出一大堆等概率随机的trajactories，然后，根据每个路径上的赢率，选择赢率最大的。
（略）
原文：http://www.cnblogs.com/milaohu/p/7630099.html