马尔可夫过程（Markov Process）和马尔可夫链

对于一个随机过程，如果其未来所处的状态仅与其当前状态有关，而与过去的状态无关，则该随机过程被称为Markov过程，其具有马尔可夫性（亦“无后效性”）。

对于一个有限状态自动机，其状态集为S={s1, s2, ..., sn}。用X = x1, x2, ..., xT表示该状态机在t = 1, 2, ..., T时刻所处的状态。那么，我们称满足以下条件的状态链X为Markov链：

（式1） P (x1, x2, ..., xT) = P(x1) * ∏(t=2)(T) P (xt | x1, x2, ..., x(t-1))，其中∏(t=2)(T)表示对后面表达式在t从2到T上的连乘，P ( ...| ...)为条件概率。

如果假设影响未来的当前状态仅有一个，亦即状态机在t 时刻的状态仅与t-1时刻的状态有关，那么（式1）将变为：

P(x1, x2, ..., xT) = P(x1) * ∏(t=2)(T) P(xt | x(t-1))。

该假设就是“马尔可夫假设”，状态序列X就是一个离散时域上的 一阶Markov链。

【转载请注明作者rising_fallmoon及出处http://blog.csdn.net/rising_fallmoon】

马尔可夫过程（Markov Process）和马尔可夫链

原文：http://blog.csdn.net/rising_fallmoon/article/details/46764019