朴素贝叶斯的介绍
朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。
条件概率： 表示事件A在另外一个事件B已经发生条件下的发生概率，P(A|B)
在女神喜欢的条件下，职业是程序员的概率？
- 女神喜欢条件下，有 2、3、4、7 共 4 个样本
- 4 个样本中，有程序员 3、4 共 2 个样本
- 则 P(程序员|喜欢) = 2/4 = 0.5
联合概率： 表示多个条件同时成立的概率，P(AB) = P(A) P(B|A)
职业是程序员并且体型匀称的概率？
- 职业是程序员有 1、3、4 共 3 个样本，则其概率为：3/7
- 在职业是程序员，体型是匀称有 3 共 1 个样本，则其概率为：⅓
- 则即是程序员又体型匀称的概率为：3/7 * ⅓ = 1/7
联合概率 + 条件概率：
在女神喜欢的条件下，职业是程序员、体重超重的概率？ P(AB|C) = P(A|C) P(B|AC)
- 喜欢的条件下，有 2、3、4、7 共 4 个样本
- 在这 4 个样本中，职业是程序员有 3、4 共 2 个样本，则其概率为：2/4=0.5
- 在在 2 个样本中，体型超重的有 4 共 1 个样本，则其概率为：½ = 0.5
- 则 P(程序员, 超重|喜欢) = 0.5 * 0.5 = 0.25
贝叶斯公式
- P(C) 表示 C 出现的概率
- P(W|C) 表示 C 条件 W 出现的概率
- P(W) 表示 W 出现的概率
朴素贝叶斯算法假设所有特征的出现相互独立互不影响，每一特征同等重要，又因为其简单，而且具有很好的可解释性一般。相对于其他精心设计的更复杂的分类算法，朴素贝叶斯分类算法是学习效率和分类效果较好的分类器之一。朴素贝叶斯算法一般应用在文本分类，垃圾邮件的分类，信用评估，钓鱼网站检测等。
莺尾花数据集
import warnings
warnings.filterwarnings('ignore')
import numpy as np
# 加载莺尾花数据集
from sklearn import datasets
# 导入高斯朴素贝叶斯分类器
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_splitX, y = datasets.load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)# 使用高斯朴素贝叶斯进行计算
clf = GaussianNB(var_smoothing=1e-8)
clf.fit(X_train, y_train)# 评估
y_pred = clf.predict(X_test)
acc = np.sum(y_test == y_pred) / X_test.shape[0]
print("Test Acc : %.3f" % acc)# 预测
y_proba = clf.predict_proba(X_test[:1])
print(clf.predict(X_test[:1]))
print("预计的概率值:", y_proba)预计的概率值: [[1.63542393e-232 2.18880483e-006 9.99997811e-001]]
朴素贝叶斯算法
朴素贝叶斯法 = 贝叶斯定理 + 特征条件独立。
| index | X1:天气的好坏 | X2:是否周末 | Y是否出门 |
|---|---|---|---|
| 1 | 好 | 是 | 出门 |
| 2 | 好 | 否 | 出门 |
| 3 | 好 | 是 | 不出门 |
| 4 | 好 | 否 | 出门 |
| 5 | 不好 | 是 | 出门 |
| 6 | 不好 | 否 | 不出门 |
a. 当出门的条件下，X_1是天气不好的概率:
p(X1=不好|Y=出门)=p(X1=不好,Y=出门)/p(Y=出门)=1/4
b. 出门的概率
p(Y=出门)=4/6
c. X_1天气不好的概率
p(X1=不好)=2/6
d. 在X_1天气不好的情况下，出门的概率:
p(Y=出门|X1=不好)=1/2
为了简化联合概率的计算，朴素贝叶斯在贝叶斯基础上增加特征条件独立假设，特征之间是互为独立的。
联合概率的计算即可简化为：
- P(程序员,超重|喜欢) = P(程序员|喜欢) * P(超重|喜欢)
- P(程序员,超重) = P(程序员) * P(超重)
拉普拉斯平滑系数
由于训练样本的不足，导致概率计算时出现 0 的情况。为了解决这个问题，我们引入了拉普拉斯平滑系数。
- α 是拉普拉斯平滑系数，一般指定为 1
- Ni 是 F1 中符合条件 C 的样本数量
- N 是在条件 C 下所有样本的总数
- m 表示所有独立样本的总数
朴素贝叶斯的优缺点
朴素贝叶斯算法主要基于经典的贝叶斯公式进行推倒，具有很好的数学原理。而且在数据量很小的时候表现良好，数据量很大的时候也可以进行增量计算。朴素贝叶斯模型与其他分类方法相比具有最小的理论误差率。。解决特征之间的相关性，我们还可以使用数据降维(PCA)的方法，去除特征相关性，再进行朴素贝叶斯计算。
朴素贝叶斯分类器基于特征条件独立假设，即假设各个特征之间相互独立。在垃圾邮件分类中，这个假设通常能够成立，因为邮件中的单词出现与否可以被认为是相互独立的事件。朴素贝叶斯分类器可以计算出给定特征下某个类别的概率，这对于垃圾邮件分类来说非常有用。通过比较垃圾邮件和正常邮件的概率，可以对邮件进行分类。垃圾邮件分类涉及到大量的特征（例如单词），朴素贝叶斯能够很好地处理这种高维数据。
