本讲视频及讲义链接
上一讲介绍了朴素贝叶斯算法区分垃圾邮件和非垃圾邮件的过程，在建模过程中，我们选取的特征 的每一维都只有
的取值,因此在对
建立生成模型时，我们使用了用伯努利分布：
实际上这样的朴素贝叶斯分类器使用了多元伯努利事件模型(Multivariate Bernoulli Event Model)
不用太在意这个模型的名字，它只是说明这个模型用到了多个服从伯努利分布的随机变量。
更一般的情况，特征向量 每一维可能有
个取值，这时，对
的建模就需要使用多项式分布，而不是伯努利分布。
多项式事件模型
这是一个专门用于文本分类的模型，它对文本的分类效果比之前介绍的朴素贝叶斯分类器还要好。当然你也可以尝试将它应用于其他问题。可以根据下面的内容来理解这个模型。
之前选取特征向量 的方式丢失了一些信息，比如它没有记录每个词出现的次数等,于是我们需要采用一个新的模型来解决这个问题。
特征表示
多项式事件模型采用不同的特征表示方法：
一封邮件的特征向量 的维数
表示这封邮件包含的单词的个数，其中的第
维表示这封邮件的第
个词在词典中的索引值。 也就是说，如果一封邮件包含300个单词，那么
，我们继续假设词典中包含50000个单词，那么这封邮件的特征向量中的每一维的取值范围就是
。
参数
有了上述的特征向量的定义之后，对于每一封邮件，可以计算对应的联合概率：
-
的含义是这封邮件的长度
-
指的是一封邮件是否是垃圾邮件的先验概率。
-
表示在已知这封邮件的类别的情况下，邮件的第
个单词的值为
的概率。
这个模型所需的参数如下：
和之前的朴素贝叶斯分布一样，我们要将这些参数拟合为训练样本的极大似然估计：
- 分子表示的是训练样本中每一封垃圾邮件中出现在词典中索引为
的单词的次数之和。
- 分母表示训练样本中所有垃圾邮件的总长度
- 整个式子的意思就是：在训练样本中的所有垃圾邮件包含的单词中，在词典中索引为
对这个参数应用上一讲末尾讲到的Laplace平滑，得到如下参数:
其中 是词典的大小，在我们的假设中是50000。
另外两个参数可以按如下式子拟合：
预测
有了这些参数，在给出一个新的邮件时，要对它进行分类，只需要分别计算 和
，再比较它们的大小即可。
