实验二：逻辑回归算法实现与测试
一、实验目的
深入理解对数几率回归（即逻辑回归的）的算法原理，能够使用 Python 语言实现对数
几率回归的训练与测试，并且使用五折交叉验证算法进行模型训练与评估。
二、实验内容
（1）从 scikit-learn 库中加载 iris 数据集，使用留出法留出 1/3 的样本作为测试集（注
意同分布取样）；
（2）使用训练集训练对数几率回归（逻辑回归）分类算法；
（3）使用五折交叉验证对模型性能（准确度、精度、召回率和 F1 值）进行评估和选
择；
（4）使用测试集，测试模型的性能，对测试结果进行分析，完成实验报告中实验二的
部分。
三、算法步骤、代码、及结果
1. 算法伪代码
开始
导入必要的库
导入 pandas
导入 PCA 从 sklearn.decomposition
导入 matplotlib.pyplot
导入 train_test_split 从 sklearn.model_selection
导入 DecisionTreeClassifier 从 sklearn.tree
导入 precision_score, recall_score, f1_score 从 sklearn.metrics
定义数据文件路径
读取 CSV 文件到数据框 df
打印数据量
打印数据框的前几行
打印空值数量统计
打印数据框的描述性统计
删除数据框中的 'Id' 列
定义标签索引，将物种名称映射到数字
将 'Species' 列中的物种名称转换为数字标签
提取特征和标签
特征 X = df 中的四个特征列
标签 y = df 中的 'Species' 列
进行主成分分析 (PCA)
创建 PCA 对象，设置主成分数量为 2
拟合并转换特征数据 X
绘制 PCA 结果的散点图
使用特征数据的前两个主成分绘制散点图
根据标签 y 设置点的颜色
显示图形
将数据集拆分为训练集和测试集
使用 stratify 参数确保每个类的比例相同
设置随机种子以确保可重复性
打印训练集和测试集的数据量
创建决策树分类器
设置标准为 'gini'
设置分割策略为 'best'
设置最大深度为 5
设置类别权重为 'balanced'
设置随机种子以确保可重复性
训练决策树分类器
使用测试集进行预测
打印精确度
打印召回率
打印 F1 分数
结束
2. 算法主要代码
完整源代码\调用库方法（函数参数说明）
'''
Created on 2024年11月23日
@author: 席酒
'''
import sklearn
from sklearn import datasets
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Perceptron
# 加载iris数据集
iris = datasets.load_iris()
# 只提取后两类特征
X = iris.data[:, [2, 3]]
y = iris.target
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
# 特征缩放
sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)
# 训练感知机模型
ppn = Perceptron(max_iter=40, eta0=0.1, random_state=0)
ppn.fit(X_train_std, y_train)
# 计算训练集预测结果
y_train_pred = ppn.predict(X_train_std)
# 计算训练集的准确率、精度、召回率和F1分数
train_accuracy = accuracy_score(y_train, y_train_pred)
train_precision = precision_score(y_train, y_train_pred, average='weighted')
train_recall = recall_score(y_train, y_train_pred, average='weighted')
train_f1 = f1_score(y_train, y_train_pred, average='weighted')
# 输出训练结果
print("Training Accuracy:", train_accuracy)
print("Training Precision:", train_precision)
print("Training Recall:", train_recall)
print("Training F1 Score:", train_f1)
# 计算测试集预测结果
y_pred = ppn.predict(X_test_std)
# 计算测试集的准确率、精度、召回率和F1分数
test_accuracy = accuracy_score(y_test, y_pred)
test_precision = precision_score(y_test, y_pred, average='weighted')
test_recall = recall_score(y_test, y_pred, average='weighted')
test_f1 = f1_score(y_test, y_pred, average='weighted')
# 输出测试结果
print("Testing Accuracy:", test_accuracy)
print("Testing Precision:", test_precision)
print("Testing Recall:", test_recall)
print("Testing F1 Score:", test_f1)
3. 训练结果截图（包括：准确率、精度（查准率）、召回率（查全率）、F1）
四、实验结果分析
1. 测试结果截图（包括：准确率、精度（查准率）、召回率（查全率）、F1）
2. 对比分析
训练集的准确率为 92.38%，而测试集的准确率为 88.89%。模型在训练集上表现良好，但在测试集上的表现略有下降。训练集的精度为 92.41%，测试集的精度为 89.50%。测试集的精度略低于训练集，模型在测试集上预测的正类样本中，实际为正类的比例有所下降。训练集的召回率为 92.38%，测试集的召回率为 88.89%。测试集的召回率与训练集相同，模型在测试集上能够识别出大部分的正类样本，但仍然有一定的下降。训练集的 F1 分数为 92.22%，测试集的 F1 分数为 88.67%。测试集的 F1 分数低于训练集，进一步表明模型在测试集上的整体表现不如训练集。
