开源里面比较干净的Forward Mode实现应该是ceres-solver里的的Jet[1]了。文件注释里解释得很详细。Reverse Mode比较成熟的实现是Stan[3]的。Adept[2]的实现思路有点意思（范伟.gif），速度上跟Stan差不多（Stan在对节点函数上做了更多优化的工作），但是似乎缺乏实际产品的检验，稳定性可能不如Stan。Adept 2.0 版本自己实现了Array，原因大抵是作者想写出自己的风格…向不成熟的方向又迈进了一步。
AD在优化问题里面是一个非常方便的工具。但是不要忘了最简单的 df = (f(x+h) - f(x-h)) / 2h 这样简单而高效的形式，结合两者在某些优化问题里会有更好的效果。
秋天盒饭凉得快，我得赶紧吃了。
[1]: ceres-solver/jet.h at master · kashif/ceres-solver · GitHub原文：https://www.cnblogs.com/yhlx125/p/9141286.html