首页 > 其他 > 详细

概率图模型(HMM和CRF)

时间:2020-05-25 23:57:11      阅读:140      评论:0      收藏:0      [点我收藏+]

概率图模型是一类用途来表达相关关系的概率模型。它以图为表示工具,最常见的是用一个结点表示一个或一组随机变量,节点之间的边表示变量间的概率相关关系,即“变量相关图”。

根据边的性质不同,概率图模型可大致分为两类:第一类是使用有向无环图表示变量间的依赖关系,称为有向无环图或者贝叶斯网;第二类是使用无向图表示变量间的相关关系,称为无向图或马尔可夫网。

隐马尔可夫模型(HMM)是结构最简单的动态贝叶斯网,,这是一种著名的有向图模型,主要用于时序数据建模,在语音识别、自然语言处理等领域有广泛应用。

HMM的变量可分为两组:一组是观测变量,一组是状态变量,由于观测变量是隐藏的所以称为隐马尔可夫模型。

马尔可夫链:系统下一时刻的状态仅由当前状态决定,不依赖于以往的任何状态。基于这种依赖关系,所有变量的联合概率分布为:

 

除了结构信息,欲确定一个隐马尔可夫模型还需要以下三组参数:

状态转移概率:模型在各个状态间转换的概率,通常记为矩阵A

输出观测概率:模型根据当前状态获得各个观测值的概率,通常记为矩阵B

初始状态概率:模型在初始时刻各状态出现的概率,通常记为Π

通过指定上述3种参数λ = {A,B,Π},以及状态空间、观测空间就可以确定一个隐马尔可夫模型。

条件随机场(CRF)是一种判别式无向图模型。生成式模型是直接对联合分布进行建模,而判别式模型则是对条件分布进行建模。

条件随机场试图对多个变量在给定观测值后的条件概率进行建模。具体来说,若令X={x1,x2,...xn}为观测序列,y={y1,y2,...,yn}为标记序列,则条件随机场的目标式构建条件概率模型P(y|x)。

与马尔可夫随机场定义联合概率的方式类似,条件随机场使用势函数和图结构上的团来定义条件概率P(y|x)

HMM和CRF的区别

1.一个式生成式模型,一个是判别式模型

2.一个式联合概率分布,一个式条件概率

3.一个是有向图,参数有三种,用马尔可夫假设;另一个无向图,通过状态函数和状态转移特征函数定义条件概率

 

概率图模型(HMM和CRF)

原文:https://www.cnblogs.com/danny92/p/12961100.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!