机器学习之朴素贝叶斯分类

朴素贝叶斯分类

所有贝叶斯分类都是基于贝叶斯定理，朴素贝叶斯分类是贝叶斯分类中运用广泛简单的一种，另外，它还基于特征条件独立假设。

贝叶斯定理

贝叶斯定理是计算条件概率的公式，条件概率即是事件B发生的前提下事件A发生的概率，记作$P(A|B)$，叫做事件B发生的情况下A的条件概率。

公式为：$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

公式大致推导：

如图，有$P(A|B) = \frac{P(A \bigcap B)}{P(B)}$

同样，也有$P(B|A) = \frac{P(A \bigcap B)}{P(A)}$

于是，$P(A|B)P(B) = P(B|A){P(A)}$

得到，$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

另外，根据全概率公式还有$P(A) = \sum_{i=1}^{n}P(B_{i})P(A|B_{i})$

所以公式还可以写成：
$P(B|A) = \frac{P(A|B)P(B)}{\sum_{i=1}^{n}P(B_{i})P(A|B_{i})}$

特征条件独立假设

样本集(X,Y)，每个样本x有n维特征，即$x= (x_{1},x_{2},...,x_{n})$，类标记集合$y=(y_{1},y_{2},...,y_{n})$。

此时为求最大的后验概率，根据贝叶斯定理和全概率公式有，

$P(y_{k}|x) = \frac{P(x|y_{k})P(y_{k})}{\sum_{ k}^{}P(y_{k})P(x|y_{k})}$

对于$P(x|y_{k}) = P(x_{1},x_{2},...,x_{n}|y_{k})$，假如$x_{i}$可取的值个数为$S_{i}$个，则参数个数为$k\prod_{i=1}^{n}S_{i}$

为降低参数规模，提出特征条件独立假设，它假设了n维特征$(x_{1},x_{2},...,x_{n})$互相独立，于是

$P(x|y_{k}) = P(x_{1},x_{2},...,x_{n}|y_{k}) = \prod_{i=1}^{n}P(x_{i}|y_{k})$，这时参数个数为$\sum_{i=1}^{n}S_{i}k$。

核心思想

基于特征条件独立假设，对给定的训练样本集来学习输入输出的联合概率分布，得到一个模型，然后给定一个输入x，利用贝叶斯定理求出后验概率最大的输出y。

即对于一个输入x，根据概率角度就是求x属于哪个类别的概率最大，也就是说$P(y_{1}|x)$、$P(y_{2}|x)$、…$P(y_{k}|x)$中哪个后验概率最大就属于哪个类。

在特征条件独立假设下，有
$P(y_{k}|x) = \frac{\prod_{i=1}^{n}P(x_{i}|y_{k})P(y_{k})}{\sum_{ k}^{}P(y_{k})\prod_{i=1}^{n}P(x_{i}|y_{k})}$

其中分母对于所有分类$y_{k}$都是相同的，所以其实就是求分子最大值对应的分类。即$\prod_{i=1}^{n}P(x_{i}|y_{k})P(y_{k})$值最大对应的分类。

期望风险

反应到期望风险上就是：将输入实例分配到后验概率最大的类中就是期望风险最小化。

极大似然估计&贝叶斯估计

对于训练样本，朴素贝叶斯法的学习其实就是估计先验概率和条件概率。极大似然估计是一种参数估计的方法，根据训练样本推算出参数的大概值，因为在极大似然估计的思想看来，某个参数能使样本出现的概率最大，那就把这个参数作为真实值。

由于极大似然估计可能会出现概率值为0的情况，这会影响到后验概率的计算结果，为解决这个问题引入贝叶斯估计，即在计算先验概率时在分子加一个$\lambda$，分母加一个$\lambda$ * 类别数，而计算条件概率时在分子加一个$\lambda$，分母加一个$\lambda$ * $S_{i}$（其中$S_{i}$为$x_{i}$可取的值个数）。当$\lambda$取1时称为拉普拉斯平滑。而当$\lambda$为0时即是极大似然估计。

大概流程

1. 待分类项$x= (x_{1},x_{2},...,x_{n})$。
2. 类别集合$y=(y_{1},y_{2},...,y_{n})$。
3. 分别求$P(y_{1}|x)$、$P(y_{2}|x)$、…$P(y_{k}|x)$，取最大的值对应的分类$y_{k}$。
4. 要求3就需要训练样本集(X,Y)，再根据样本集完成下面5到7的操作。
5. 根据极大似然估计或贝叶斯估计计算先验概率和条件概率，即$P(x_{i}|y_{k})$和$P(y_{k})$。
6. 由特征条件独立假设后对应公式$\prod_{i=1}^{n}P(x_{i}|y_{k})P(y_{k})$求得最大值。
7. 得到最大值对应的分类。

实现代码

from numpy import *

dataSet = [[0,0],[0,0],[0,0],[0,0],[1,0],[0,0],[1,0],[0,0],[1,0],[1,0],[1,1],[1,0],[1,1],[1,1],[1,1],[1,1],[1,1],[1,1]]
ySet = [0,0,1,0,0,1,0,1,0,1,0,1,0,1,0,1,0,1]


def train():
    dataNum = len(dataSet)
    featureNum = len(dataSet[0])
    p0Num = ones(featureNum)
    p1Num = ones(featureNum)
    p0Denom = 2.0
    p1Denom = 2.0
    p0 = 0
    for i in range(dataNum):
        if ySet[i] == 1:
            p1Num += dataSet[i]
            p1Denom += sum(dataSet[i])
        else:
            p0 += 1
            p0Num += dataSet[i]
            p0Denom += sum(dataSet[i])
    p0Rate = p0 / dataNum
    p0Vec = log(p0Num / p0Denom)
    p1Vec = log(p1Num / p1Denom)
    return p0Rate, p0Vec, p1Vec

p0Rate, p0Vec, p1Vec = train()
test = [1,0]
p1 = sum(test * p1Vec) + log(1.0 - p0Rate)
p0 = sum(test * p0Vec) + log(p0Rate)
if p1 > p0:
    print(1)
else:
    print(0)

欢迎关注：