朴素贝叶斯算法及实践

参考书籍《机器学习实战》

KNN和决策树算法要求分类器做出艰难决策，给出“该数据实例属于哪一类”这类问题的明确答案，但有时分类器会产生错误结果。这是可以要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。

基于贝叶斯决策理论的分类方法

朴素贝叶斯
优点：在数据较少的情况下仍然有效，可以处理多类别问题
缺点：对于输入数据的准备方式较为敏感
适用数据类型：标称型数据

假设我们有两类数据集，它由两类数据组成，数据分布如图4-1

我们现在用p1(x,y)表示数据点(x,y)属于类别1（图中用圆点表示的类别）的概率，用p2(x,y)表示数据点(x,y)属于类别2（图中用三角形表示的类别）的概率，那么对于一个新数据点(x,y)，可以用下面的规则来判断它的类别:
p1(x,y)>p2(x,y)，那么类别为1
p2(x,y)>p1(x,y)，那么类别为2

选择高概率对应的类别，这就是贝叶斯决策理论的核心。这类问题上，使用决策树效果不好，KNN计算量太大，贝叶斯是很好的选择。

条件概率：略
贝叶斯公式：

使用贝叶斯进行文档分类

机器学习的重要应用就是文档的自动分类。在文档分类中，整个文档（如一封电子邮件）是实例，而电子邮件中的某些元素则构成特征。虽然电子邮件是一种不断增加的文本，但我们同样也可以对新闻报道、用户留言、政府公文等其它任意类型的文本进行分类。我们可以观察文档中出现的词，并把每个词出现或者不出现作为一个特征，这样得到的特征数目就会和词汇表中的词目一样多。

朴素贝叶斯的一般过程
（1）收集数据：可以使用任何方法
（2）准备数据：需要数值型或者布尔型数据
（3）分析数据：有大量特征时，绘制特征作用不大，直方图效果更好
（4）训练方法：计算不同的独立特征的条件概率
（5）测试算法：计算错误率
（6）使用算法：一个常见的朴素贝叶斯应用是文档分类，可以在任意场景中使用朴素贝叶斯分类器

假设词汇表中有1000个单词，要得到好的概率分布，就需要足够多的数据样本。如果每个特征需要N个样本，对于包含1000个特征的词汇表将需要N^1000个样本。课件，所需样本会随着特征数目指数增大。

如果特征相互独立，则样本数可减少到1000xN。独立指一个特征或者单词出现的可能性与其他单词相邻没有关系。例如“计算机”和“程序员”一起出现的概率比“计算机”和“小人书”的概率大，但我们假设他们的概率是相同的，即“计算机”、“程序员”、“小人书”相互独立，这也是朴素贝叶斯中“朴素”的含义。朴素贝叶斯中另一个假设是每个特征同等重要。虽然这两个假设乍一看都很有问题，但是在实际操作中朴素贝叶斯的效果却很好。

---

使用Python进行文本分类

准备数据：从文本中构建词向量

我们将把文本看成单词向量或者词条向量，也就是将句子转换成向量。考虑出现在所有文档中的所有单词，再决定将哪些词纳入词汇表。

创建Bayes.py文件，添加下列代码：

#coding=utf-8   含有中文必须规定编码格式
def loadDataSet():#创建试验样本
    postingList = [['my','dog','has','flea','problem','help','please'],
        ['maybe','not','take','him','to','dog','park','stupid'],
        ['my','dalmation','is','so','cute','I','love','him'],
        ['stop','posting','stupid','worthless','garbage'],
        ['mr','licks','ate','my','steak','how','to','stop','him'],
        ['quit','buying','worthless','dog','food','stupid']]
    classVec = [0,1,0,1,0,1]#0代表正常言论，1表示侮辱性词汇
    return postingList,classVec

def createVocabList(dataSet):#统计所有文档中出现的不重复词汇
    vocabSet=set([])
    for document in dataSet:
        vocabSet = vocabSet | set(document)
    return list(vocabSet)

def setOfWords2Vec(vocabList,inputSet):
    returnVec = [0] * len(vocabList)#创建一个和输入文档等长的向量，初始全0
    for word in inputSet:#检查该词汇是否出现在词汇表中
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print "the word: %s is not in my Vocabulary!" % word
    return returnVec#得到单词出现次数的向量

为了查看函数的执行效果，输入测试：

import Bayes
listOPosts,listClasses = Bayes.loadDataSet()
myVocabList = Bayes.createVocabList(listOPosts)
print(myVocabList)
print(Bayes.setOfWords2Vec(myVocabList,listOPosts[0]))
print(Bayes.setOfWords2Vec(myVocabList,listOPosts[3]))

训练算法：从词向量计算概率

前面介绍了如何将一组单词转换为一组数字，接下来看看如何使用这些数字计算概率。现在已经知道了一个词是否出现在一篇文档中，也知道了该文档所属的类别。所以，我们重写之前的贝叶斯准则，将之前的x,y替换成w，w表示文档向量。这个例子中，数值个属于词汇表的词个数相同。

首先，通过类别i(侮辱性留言或正常留言)中文档数除以总的文档树来计算概率p(ci)。接下来计算p(w|ci)，这就要用到朴素贝叶斯假设。如果将w展开为一个个独立的特征，那么就可以假设，它意味着可以使用p(w0|ci)p(w1|ci)p(w2|ci)...p(wn|ci)来计算上述概率。

打开Bayes.py，添加如下代码：

from numpy import *
def trainNB0(trainMatrix,trainCategory):#训练集数组，训练集标签
    numTrainDocs = len(trainMatrix)#训练集总长度
    numWords = len(trainMatrix[0])#每个训练集的长度
    pAbusive = sum(trainCategory) / float(numTrainDocs)#标签总和/训练样本数
    p0Num = zeros(numWords)#属于正常文档
    p1Num = zeros(numWords)#属于侮辱性文档
    p0Denom = 0.0
    p1Denom = 0.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:#侮辱性词汇
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])#当前组所有次数和
        else:#正常词汇
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = p1Num / p1Denom
    p0Vect = p0Num / p0Denom
    return p0Vect,p1Vect,pAbusive

代码输入参数为文档矩阵trainMatrix，以及由每篇文档类别标签所构成的向量trainCategory。计算侮辱性文档的概率p(1)，再计算p(wi|c1)和p(wi|c0)。完成后输入测试代码：

import Bayes
listOPosts,listClasses = Bayes.loadDataSet()
myVocabList = Bayes.createVocabList(listOPosts)
trainMat = []
for postinDoc in listOPosts:
    trainMat.append(Bayes.setOfWords2Vec(myVocabList,postinDoc))
p0V,p1V,pAb = Bayes.trainNB0(trainMat,listClasses)
print(p0V)
print(p1V)
print(pAb)

发现文档属于侮辱性文档的概率为0.5.所有概率中最大的值出现在myVocabList第26下标位置，单词为stupid，意味着stupid最能表征类别1.

测试算法：根据现实情况修改分类器

利用贝叶斯分类器的时候，要计算多个概率的成绩以获得文档输入某个类别的概率。如果其中一个概率为0，那么最后的乘积也为0.为降低这种影响，可以将所有词的出现数初始化为1，并将分母初始化为2.将trainNB0对应位置改为：

p0Num = ones(numWords)
p1Num = ones(numWords)
p0Denom = 2.0
p1Denom = 2.0

由于大部分因子都非常小，所以程序会下溢出或者得不到正确答案，解决办法为对乘积取对数，即：

p1Vect = log(p1Num / p1Denom)
p0Vect = log(p0Num / p0Denom)

这样就构建了完整的分类器，再打开Bayes.py，将下列代码添加到Bayes.py

def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)#向量乘积求和
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if (p1 > p0):#返回大概率
        return 1
    else:
        return 0

def testingNB():#测试分类器
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList,postinDoc))
        p0V,p1V,pAb = trainNB0(trainMat,listClasses)
    testEntry=['love','my','dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList,testEntry))
    print testEntry,'classified as:',classifyNB(thisDoc,p0V,p1V,pAb)
    testEntry = ['stupid','garbage']
    thisDoc = array(setOfWords2Vec(myVocabList,testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

测试结果：