机器学习与深度学习——自定义函数进行线性回归模型

机器学习与深度学习——自定义函数进行线性回归模型

目的与要求

1、通过自定义函数进行线性回归模型对boston数据集前两个维度的数据进行模型训练并画出SSE和Epoch曲线图，画出真实值和预测值的散点图，最后进行二维和三维度可视化展示数据区域。
2、通过自定义函数进行线性回归模型对boston数据集前四个维度的数据进行模型训练并画出SSE和Epoch曲线图，画出真实值和预测值的散点图，最后进行可视化展示数据区域。

步骤

1、先载入boston数据集 Load Iris data
2、分离训练集和设置测试集split train and test sets
3、对数据进行标准化处理Normalize the data
4、自定义损失函数
5、使用梯度下降算法训练线性回归模型
6、初始化模型参数
7、训练模型
8、对训练集和新数据进行预测
9、画出SSE和Epoch折线图
10、画出真实值和预测值的散点图
11、进行可视化

代码

1、通过自定义函数进行线性回归模型对boston数据集前两个维度的数据进行模型训练并画出SSE和Epoch曲线图，画出真实值和预测值的散点图，最后进行二维和三维度可视化展示数据区域。

#引入所需库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D# 读取数据
data_url = "http://lib.stat.cmu.edu/datasets/boston"
raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
target = raw_df.values[1::2, 2]
x = data[:,:2] # 只使用前两个特征进行线性回归
y = target.reshape(-1,1)#自定义函数进行线性回归
def compute_cost(X, y, theta):"""计算损失函数（平均误差平方和）"""m = len(y)predictions = X.dot(theta)cost = (1/(2*m)) * np.sum(np.square(predictions-y))return costdef gradient_descent(X, y, theta, learning_rate, num_epochs):"""使用梯度下降算法训练线性回归模型"""m = len(y)cost_history = np.zeros(num_epochs)theta_history = np.zeros((num_epochs, theta.shape[0]))for epoch in range(num_epochs):predictions = X.dot(theta)errors = predictions - ytheta = theta - (1/m) * learning_rate * (X.T.dot(errors))cost = compute_cost(X, y, theta)cost_history[epoch] = costtheta_history[epoch,:] = theta.Treturn theta, cost_history, theta_history#对输入特征进行标准化
mean_x = np.mean(x, axis=0)          #求出每一列特征的平均值
std_x = np.std(x, axis=0)            #求出每一列特征的标准差。
x = (x - mean_x) / std_x           #将每一列特征进行标准化，即先将原始数据减去该列的平均值，再除以该列的标准差，这样就能得到均值为0，标准差为1的特征 
X = np.hstack([np.ones((len(x),1)), x]) # 添加一列全为1的特征，表示截距项# 初始化模型参数
theta = np.zeros((X.shape[1],1))# 训练模型
learning_rate = 0.01
num_epochs = 1000
theta, cost_history, theta_history = gradient_descent(X, y, theta, learning_rate, num_epochs)# 对训练集进行预测
predictions = X.dot(theta)
predictions[:10]# 对新数据进行预处理
new_data = np.array([[0.01, 18]]) # 假设新数据是 CRIM=0.01，ZN=18
new_data = (new_data - mean_x) / std_x
new_X = np.hstack([np.ones((1,1)), new_data]) # 添加截距项# 使用训练出的模型参数进行预测
new_predictions = new_X.dot(theta)
new_predictions
print('预测的房价为：${:.7f}'.format(float(new_predictions)*1000))# 画出Epoch曲线图
#将每个特征在训练过程中更新的参数θ的变化情况绘制出来，可以看到不同特征在训练过程中的变化趋势
plt.figure()
plt.plot(range(num_epochs), theta_history[:, 0], label='theta0')
plt.plot(range(num_epochs), theta_history[:, 1], label='theta1')
plt.show()# 画出SSE和Epoch折线图
plt.figure(figsize=(10,5))
plt.plot(range(num_epochs), cost_history)
plt.xlabel('Epoch')
plt.ylabel('SSE')
plt.title('SSE vs. Epoch')
plt.show()# 画出预测值与真实值的比较图
plt.figure(figsize=(10,5))
plt.scatter(y, predictions)
plt.xlabel('True Values')
plt.ylabel('Predictions')
plt.title('True Values vs. Predictions')
plt.show()# 画出数据二维可视化图
plt.figure(figsize=(10,5))
plt.scatter(x[:,0], y)
plt.xlabel('CRIM')
plt.ylabel('MEDV')
plt.title('CRIM vs. MEDV')
plt.show()# 画出数据三维可视化图
fig = plt.figure(figsize=(10,5))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(x[:,0], x[:,1], y)
ax.set_xlabel('CRIM')
ax.set_ylabel('ZN')
ax.set_zlabel('MEDV')
ax.set_title('CRIM-ZN vs. MEDV')
plt.show()

1、通过自定义函数进行线性回归模型对boston数据集前四个维度的数据进行模型训练并画出SSE和Epoch曲线图，画出真实值和预测值的散点图，最后进行可视化展示数据区域。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#载入数据
data_url = "http://lib.stat.cmu.edu/datasets/boston"
raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
target = raw_df.values[1::2, 2]
x = data[:,:2]#前2个维度
y = target
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D# 读取数据
data_url = "http://lib.stat.cmu.edu/datasets/boston"
raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
target = raw_df.values[1::2, 2]
x = data[:,:4] # 
y = target.reshape(-1,1)#自定义函数进行线性回归
def compute_cost(X, y, theta):"""计算损失函数（平均误差平方和）"""m = len(y)predictions = X.dot(theta)cost = (1/(2*m)) * np.sum(np.square(predictions-y))return costdef gradient_descent(X, y, theta, learning_rate, num_epochs):"""使用梯度下降算法训练线性回归模型"""m = len(y)cost_history = np.zeros(num_epochs)theta_history = np.zeros((num_epochs, theta.shape[0]))for epoch in range(num_epochs):predictions = X.dot(theta)errors = predictions - ytheta = theta - (1/m) * learning_rate * (X.T.dot(errors))cost = compute_cost(X, y, theta)cost_history[epoch] = costtheta_history[epoch,:] = theta.Treturn theta, cost_history, theta_history#对输入特征进行标准化
mean_x = np.mean(x, axis=0)          #求出每一列特征的平均值
std_x = np.std(x, axis=0)            #求出每一列特征的标准差。
x = (x - mean_x) / std_x           #将每一列特征进行标准化，即先将原始数据减去该列的平均值，再除以该列的标准差，这样就能得到均值为0，标准差为1的特征 
X = np.hstack([np.ones((len(x),1)), x]) # 添加一列全为1的特征，表示截距项# 初始化模型参数
theta = np.zeros((X.shape[1],1))# 训练模型
learning_rate = 0.01
num_epochs = 1000
theta, cost_history, theta_history = gradient_descent(X, y, theta, learning_rate, num_epochs)
# 画出Epoch曲线图
#将每个特征在训练过程中更新的参数θ的变化情况绘制出来，可以看到不同特征在训练过程中的变化趋势
plt.figure()
plt.plot(range(num_epochs), theta_history[:, 0], label='theta0')
plt.plot(range(num_epochs), theta_history[:, 1], label='theta1')
plt.plot(range(num_epochs), theta_history[:, 2], label='theta2')
plt.plot(range(num_epochs), theta_history[:, 3], label='theta3')
plt.show()# 对训练集进行预测
predictions = X.dot(theta)
predictions[:10]# 对新数据进行预处理
new_data = np.array([[ 0.01,18,2.310,0]]) # 假设新数据是 CRIM=0.01，ZN=18，INDUS=2.310,CHAS=0
new_data = (new_data - mean_x) / std_x
new_X = np.hstack([np.ones((1,1)), new_data]) # 添加截距项# 使用训练出的模型参数进行预测
new_predictions = new_X.dot(theta)
new_predictions
print('预测的房价为：${:.7f}'.format(float(new_predictions)*1000))
# 画出SSE曲线图
plt.figure()
plt.plot(range(num_epochs), cost_history)
plt.xlabel('Epoch')
plt.ylabel('SSE')
plt.title('SSE vs. Epoch')
plt.show()
# 画出预测值与真实值的比较图
plt.figure(figsize=(10,5))
plt.scatter(y, predictions)
plt.xlabel('True Values')
plt.ylabel('Predictions')
plt.title('True Values vs. Predictions')
plt.show()# 可视化前四个维度的数据
#前四个维度数据的可视化图像。其中横轴为第一个特征CRIM，纵轴为第二个特征ZN，纵轴为第三个特征INDUS，点的颜色为第四个特征的值。
fig = plt.figure(figsize=(10, 8))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(x[:, 0], x[:, 1], x[:, 2], c=x[:, 3], cmap='cool')
ax.set_xlabel('CRIM')
ax.set_ylabel('ZN')
ax.set_zlabel('INDUS')
plt.title('Boston Housing Data')
plt.show()

效果图

1、通过自定义函数进行线性回归模型对boston数据集前两个维度的数据进行模型训练并画出SSE和Epoch曲线图，画出真实值和预测值的散点图，最后进行二维和三维度可视化展示数据区域。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
画出SSE（误差平方和）随Epoch（迭代次数）的变化曲线图，用来评估模型训练的效果。在每个Epoch，模型都会计算一次预测值并计算预测值与实际值之间的误差（即损失），然后通过梯度下降算法更新模型参数，使得下一次预测的误差更小。随着Epoch的增加，SSE的值会逐渐减小，直到收敛到一个最小值。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2、通过自定义函数进行线性回归模型对boston数据集前四个维度的数据进行模型训练并画出SSE和Epoch曲线图，画出真实值和预测值的散点图，最后进行可视化展示数据区域。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
画出SSE（误差平方和）随Epoch（迭代次数）的变化曲线图，用来评估模型训练的效果。在每个Epoch，模型都会计算一次预测值并计算预测值与实际值之间的误差（即损失），然后通过梯度下降算法更新模型参数，使得下一次预测的误差更小。随着Epoch的增加，SSE的值会逐渐减小，直到收敛到一个最小值。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
使用梯度下降算法训练线性回归模型的基本思路是：先随机初始化模型参数θ，然后通过迭代调整参数θ，使得损失函数的值尽量小。模型训练完成后，我们可以用训练好的模型对新的数据进行预测。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/14691.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Stable Diffusion 图片生成AI模型 Windows Mac部署指南

Stable Diffusion 图片生成AI模型 Windows Mac部署指南

Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词​（英语）指导下产生图生图的翻译。 DreamStudio 现已…
阅读更多...
第163天：应急响应-后门攻击检测指南Rookit内存马权限维持WINLinux

第163天：应急响应-后门攻击检测指南Rookit内存马权限维持WINLinux

知识点 #知识点 -网页篡改与后门攻击防范应对指南 主要需了解：异常特征，处置流程，分析报告等 主要需了解：日志存储，Webshell检测，分析思路等 掌握： 中间件日志存储，日志格式内容介绍…
阅读更多...
数据分析实战（基础篇）：从数据探索到模型解释

数据分析实战（基础篇）：从数据探索到模型解释

前言 本文着重介绍数据分析实战的基础知识和技巧，探索从数据探索到建模再到模型解释的完整过程内容包含数据探索、模型建立、调参技巧、SHAP模型解释数据来源于kaggle平台，crab age prediction数据集，数据详情 数据说明 数据背景 螃蟹味道…
阅读更多...
Matlab数学建模实战——（Lokta-Volterra掠食者-猎物方程）

Matlab数学建模实战——（Lokta-Volterra掠食者-猎物方程）

1.题目 问题1 该数学建模的第一问和第二问主要是用Matlab求解微分方程组，直接编程即可。 求解 Step1改写 y(1)ry(2)f Step2得y的导数 y(1).2y(1)-ay(1)*y(2)y(2).-y(2)a*y(1)*y(2) Step3编程 clear; a0.01; F(t,y)[2*y(1)-a*y(1)*y(2);-y(2)a*y(1)*y(2)]; […
阅读更多...
Windows环境Jmeter调优

Windows环境Jmeter调优

在windows环境下搭建jmeter的压测实验环境，需要对操作系统默认的一些个参数进行设置，以提高并发能力。特别是作为压力机的时候。 Socket 编程时，单机最多可以建立多少个 TCP 连接，受到操作系统的影响。 Windows 下单机的TCP连接数…
阅读更多...
TL-ER2260T获取SSH密码并登录后台

TL-ER2260T获取SSH密码并登录后台

TL-ER2260T获取SSH密码并登录后台 首先需要打开诊断模式 打开Ubuntu，通过如下指令计算SSH密码，XX-XX-XX-XX-XX-XX是MAC地址echo -n "XX-XX-XX-XX-XX-XX" | tr -d - | tr [a-z] [A-Z] | md5sum | cut -b 1-16SSH登录ssh -oKexAlgorithmsdiffie…
阅读更多...
haproxy负载均衡

haproxy负载均衡

目录 一.常见的web集群调度器 二.haproxy的概念 三.特性 四 图解haproxy 五 haproxy的配置文件详解 一.常见的web集群调度器 1.目前常见的web集群调度器分为软件和硬件 2.软件通常使用开源的lvs/haproxy/nginx 3.硬件一般使用比较多的是f5 也有国内的产品 二.haproxy的…
阅读更多...
小机器人在现实世界中学会快速驾驶

小机器人在现实世界中学会快速驾驶

小机器人在现实世界中学会快速驾驶 —强化学习加上预训练让机器人赛车手加速前进— Without a lifetime of experience to build on like humans have (and totally take for granted), robots that want to learn a new skill often have to start from scratch. Reinforceme…
阅读更多...
系统吞吐量（TPS）、用户并发量、性能测试概念和公式

系统吞吐量（TPS）、用户并发量、性能测试概念和公式

目录 PS：下面是性能测试的主要概念和计算公式，记录下： 一．系统吞度量要素： 二．系统吞吐量评估： 软件性能测试的基本概念和计算公式 一、软件性能的关注点 二、软件性能的几个主要术语 PS&…
阅读更多...
hive数据的导入导出

hive数据的导入导出

一、hive 的数据导入 Linux本地文件以及数据格式： 在hive中创建表： create table t_user( id int ,name string ) row format delimited fields terminated by "," lines terminated by \n stored as textfile;stored as常见的几种格式 1.…
阅读更多...
使用wordpress搭建WebStack导航网站记录

使用wordpress搭建WebStack导航网站记录

0 序言 首先，我来介绍下，这个webstack导航网站实际上是被做成了wordpress的一个主题，具体这个主题的下载地址如下： WordPress 版 WebStack 导航主题https://github.com/owen0o0/WebStack 我们不需要使用git clone命令&…
阅读更多...
回归预测 | MATLAB实现CNN-BiGRU-Attention多输入单输出回归预测

回归预测 | MATLAB实现CNN-BiGRU-Attention多输入单输出回归预测

回归预测 | MATLAB实现CNN-BiGRU-Attention多输入单输出回归预测 目录 回归预测 | MATLAB实现CNN-BiGRU-Attention多输入单输出回归预测预测效果基本介绍模型描述程序设计参考资料 预测效果 基本介绍 MATLAB实现CNN-BiGRU-Attention多输入单输出回归预测，CNN-GRU结合…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023