python与朴素贝叶斯算法（附示例和代码）

朴素贝叶斯算法是基于贝叶斯定理的一种简单概率分类算法，广泛应用于垃圾邮件分类、文本分类和情感分析等领域。它的“朴素”二字源于算法对特征之间的相互独立性假设。在现实情况下，虽然这种假设可能并不完全成立，但朴素贝叶斯分类器表现出的性能令人印象深刻，尤其是在处理大型数据集时。

朴素贝叶斯的基本概念

朴素贝叶斯分类器基于一个简单假设：特征之间相互独立。换句话说，在给定类别标签的情况下，出现特定特征的概率独立于其它特征。此外，它运用贝叶斯定理来估计给定观测数据属于某特定类别的后验概率。

数学上，贝叶斯定理表达为：

P(C|X) = P(X|C) * P(C) / P(X)

这里：

• P(C|X) 是在给定特征X的情况下，属于类别C的后验概率。
• P(X|C) 是类别C出现后，特征X同时出现的概率。
• P(C) 是任何情况下类别C出现的先验概率。
• P(X) 是任何情况下特征X出现的概率。

分类器的工作就是找到能使后验概率P(C|X)最大化的类别C。

在Python中实现朴素贝叶斯

Scikit-learn是Python的一个功能强大的机器学习库，其中包含了朴素贝叶斯算法的多种实现。以下是一个简单的示例，演示了如何在Python中使用Scikit-learn实现朴素贝叶斯进行文本分类。

# 导入必要的库
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix
import seaborn as sns; sns.set()# 加载数据集
data = fetch_20newsgroups()# 选择分类的类别
categories = ['alt.atheism', 'talk.religion.misc', 'comp.graphics', 'sci.space']# 利用sklearn的fetch_20newsgroups方法加载数据
train = fetch_20newsgroups(subset='train', categories=categories)
test = fetch_20newsgroups(subset='test', categories=categories)# 创建一个管道，组合一个TfidfVectorizer和一个MultinomialNB分类器
model = make_pipeline(TfidfVectorizer(), MultinomialNB())# 训练模型
model.fit(train.data, train.target)# 预测测试集
labels = model.predict(test.data)# 创建混淆矩阵
mat = confusion_matrix(test.target, labels)# 绘制混淆矩阵
sns.heatmap(mat.T, square=True, annot=True, fmt='d', cbar=False,xticklabels=train.target_names, yticklabels=train.target_names)# 绘制结果
plt.xlabel('true label')
plt.ylabel('predicted label')# 测试模型性能
accuracy = model.score(test.data, test.target)
print(f"Model accuracy: {accuracy*100:.2f}%")

 

 

该代码首先导入了必要的库，并加载了20个新闻组数据集，这里只选取了其中的几个类别于演示。接着使用Scikit-learn的管道（make_pipeline）将文本向量化器（TfidfVectorizer）与多项式朴素贝叶斯分类器（MultinomialNB）结合起来，从而简化了模型构建、训练和预测的过程。最后，代码展示了预测结果的准确性，并绘制了混淆矩阵。