HMM基本原理及其实现（隐马尔科夫模型）

HMM基本原理

Markov链：如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性，或称此过程为马尔可夫过程。马尔可夫链是时间和状态参数都离散的马尔可夫过程。HMM是在Markov链的基础上发展起来的，由于实际问题比Markov链模型所描述的更为复杂，观察到的时间并不是与状态一一对应的，而是通过一组概率分布相联系，这样的模型称为HMM。HMM是双重随机过程：其中之一是Markov链，这是基本随机过程，它描述状态的转移，是隐含的。另一个随机过程描述状态和观察值之间的统计对应关系，是可被观测的。

HMM的定义：

HMM实际上是分为两个部分的，一是马尔可夫链，由参数，A描述，它利用一组与概率分布相联系的状态转移的统计对应关系，来描述每个短时平稳段是如何转变到下一个短时平稳段的，这个过程产生的输出为状态序列；二是一个随机过程，描述状态与观察值之间的统计关系，用观察到的序列来描述隐含的状态，由B描述，其产生的输出为观察值序列。

HMM根据其结构的不同可以分为多种类型。根据状态转移概率矩阵的不同，HMM可分为各态遍历模型、从左到右模型、并行路径从左到右模型和无跳转从左到右模型等。根据观察值概率不同，HMM可分为离散HMM、半连续HMM、连续HMM等。

下图是一个典型的HMM：

HMM有三个典型的问题:

• 已知模型参数，计算某一特定输出序列的概率，通常使用forward算法解决。
• 已知模型参数，寻找最可能的能产生某一特定输出序列的隐含状态的序列，通常使用Viterbi算法解决。
• 已知输出序列，寻找最可能的状态转移以及输出概率，通常使用Baum-Welch算法以及Reversed Viterbi算法解决。

HMM的实现

C语言版：

　　1、 HTK（Hidden Markov Model Toolkit）

　　HTK是英国剑桥大学开发的一套基于C语言的隐马尔科夫模型工具箱，主要应用于语音识别、语音合成的研究，也被用在其他领域，如字符识别和DNA排序等。HTK是重量级的HMM版本。

　　HTK主页：http://htk.eng.cam.ac.uk/

　　2、 GHMM Library

　　The General Hidden Markov Model library (GHMM) is a freely available LGPL-ed C library implementing efficient data structures and algorithms for basic and extended HMMs.

　　GHMM主页：http://www.ghmm.org/

　　3、 UMDHMM（Hidden Markov Model Toolkit）

　　Hidden Markov Model (HMM) Software: Implementation of Forward-Backward, Viterbi, and Baum-Welch algorithms.

　　这款属于轻量级的C语言HMM版本。

　　UMDHMM主页：http://www.kanungo.com/software/software.html

C++版：

　　1、http://www.cs.ualberta.ca/~lindek/hmm.htm

　　2、http://www.shokhirev.com/nikolai/abc/alg/hmm/hmm.html

　　以上两个是C++版本的，但是实现的是离散型的HMM。

Java版：

　　Jahmm Java Library (general-purpose Java library)：

　　Jahmm (pronounced “jam”), is a Java implementation of Hidden Markov Model (HMM) related algorithms. It’s been designed to be easy to use (e.g. simple things are simple to program) and general purpose.

　　Jahmm主页：http://code.google.com/p/jahmm/

Python版：

　　http://www.biocomp.unibo.it/piero/PHMM/

Malab版：

　　Hidden Markov Model (HMM) Toolbox for Matlab：This toolbox supports inference and learning for HMMs with discrete outputs (dhmm’s), 

Gaussian outputs (ghmm’s), or mixtures of Gaussians output (mhmm’s).

　　Matlab-HMM主页：http://www.cs.ubc.ca/~murphyk/Software/HMM/hmm.html

Common Lisp版：

　　CL-HMM Library (HMM Library for Common Lisp)：

　　Simple Hidden Markov Model library for ANSI Common Lisp. Main structures and basic algorithms implemented. Performance speed comparable to C code. It’s licensed under LGPL.

　　CL-HMM主页：http://www.ashrentum.net/jmcejuela/programs/cl-hmm/

Haskell版：

　　The hmm package （A Haskell library for working with Hidden Markov Models）：A simple library for working with Hidden Markov Models. Should be usable even by people who are not familiar with HMMs. Includes implementations of Viterbi’s algorithm and the forward algorithm.

　　Haskell-HMM主页：http://hackage.haskell.org/cgi-bin/hackage-scripts/package/hmm

CDHMM C++版：

　　连续HMM的C++实现：CHMM.rar