首页 > 编程语言 > 详细

【机器学习】--EM算法从初识到应用

时间:2018-04-09 12:54:56      阅读:238      评论:0      收藏:0      [点我收藏+]

一、前述

Em算法是解决数学公式的一个算法,是一种无监督的学习。

EM算法是一种解决存在隐含变量优化问题的有效方法。EM算法是期望极大(Expectation Maximization)算法的简称,EM算法是一种迭代型的算法,在每一次的迭代过程中,主要分为两步:即求期望(Expectation)步骤和最大化(Maximization)步骤。

二、具体

1、高斯混合模型
       所谓混合高斯模型(GMM)就是指对样本的概率密度分布进行估计,而估计采用的模型(训练模型)是几个高斯模型的加权和(具体是几个要在模型训练前建立好)。每个高斯模型就代表了一个类(一个Cluster)。对样本中的数据分别在几个高斯模型上投影,就会分别得到在各个类上的概率。得出一个概率有很多好处,因为它的信息量比简单的一个结果要多,比如,我可以把这个概率转换为一个 score ,表示算法对自己得出的这个结果的把握。简单的说就是:m个样本{x1,...xm},可以分为k类,每个类别都服从高斯分布。

技术分享图片

2、EM算法概述

EM算法实际上是一个不停迭代计算的过程,根据我们事先估计的先验概率A,得出一个结果B,再根据结果B,再计算得到结果A,然后反复。
可以想象饭店的后方大厨,炒了两盘一样的菜,现在,菜炒好后从锅中倒入盘,不可能一下子就分配均匀,所以先往两盘中倒入,然后发现B盘菜少了,就从A中匀出一些,A少了,从B匀.......不停迭代。

给定训练样本{x1,...xm}(与k-means中的样本一样是没有标签的,因此EM也是非监督学习方法),认为他们满足高斯分布    技术分享图片, 求估计参数    技术分享图片

 


     

 

【机器学习】--EM算法从初识到应用

原文:https://www.cnblogs.com/LHWorldBlog/p/8758665.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!