朴素贝叶斯

一、数学基础

1、先验概率，又称边缘概率：

2、后验概率，又称条件概率

3、贝叶斯公式：

二、朴素贝叶斯

1、为什么称为朴素？

    朴素贝叶斯分类法假设各个特征是相互独立互不影响的，即类条件独立性

2、朴素贝叶斯算法？

    设D为数据集；每条数据有n个特征，A表示特征向量，X表示特征值向量；有m个分类，用C表示

    对于一条给定的数据，分别求取p(C₁|X) 、p(C2|X)......p(Cm|X)，最大的p(C_i|X)即为这条数据的分类

3、如果求最大的p(C_i|X)?

（1）P(X)作为先验概率，与P(C)无关，对所有类为常数，所以不需考虑

（2）P(C_i) =|D_i|/|D|   可以用C_i类的个数/训练数据集总数求得

（3）P(X|C_i)  根据最初的假设，即类条件独立性，可得

     P(x_i|C_i)：C_i类中A_i特征取值为x_i 的个数/C_i类的个数（注意：因为我们考虑的是分类，所以属性A_i 的值是非连续的，对于非连续的情况暂不考虑）

（4）求得最大的那个p(C_i|X)，C_i即为该条数据对应的分类

四、贝叶斯网络（待续）

五、隐马尔科夫模型（待续）

贝叶斯估计与极大似然估计

朴素贝叶斯

原文：http://www.cnblogs.com/naonaoling/p/4174494.html