Datawhale学习笔记AI +新能源：电动汽车充电站充电量预测

赛题介绍

建立站点充电量预测模型，根据充电站的相关信息和历史电量数据，准确预测未来某段时间内充电站的充电量需求。
在赛题数据中，我们提供了电动汽车充电站的场站编号、位置信息、历史电量等基本信息。我们鼓励参赛选手在已有数据的基础上补充或构造额外的特征，以获得更好的预测性能

赛题任务

根据赛题提供的电动汽车充电站多维度脱敏数据，构造合理特征及算法模型，预估站点未来一周每日的充电量。（以天为单位），属于典型的回归问题。

数据集

本赛题提供的数据集包含三张数据表。
其中，power_forecast_history.csv 为站点运营数据，power.csv为站点充电量数据，stub_info.csv为站点静态数据，训练集为历史一年的数据，测试集为未来一周的数据。
以下是本次赛题数据集的字段说明：
在这里插入图片描述
数据集下载
在这里插入图片描述

评估指标

评估指标：RMSE（均方根误差）
在这里插入图片描述
均方根误差是预测值与真实值偏差的平方与观测次数n比值的平方根。
衡量的是预测值与真实值之间的偏差，并且对数据中的异常值较为敏感，受异常值的影响更大，所以要想好如何处理异常值上分。
常用于评测回归任务，常用来作为机器学习模型预测结果衡量的标准。
与MSE的区别
MSE是真实值与预测值的差值的平方然后求和平均。通过平方的形式便于求导，所以常被用作线性回归的损失函数。
MAE对异常值不敏感，但它不能反映预测误差的分布情况。
RMSE放大了较大误差之间的差距，此外，RMSE计算后的结果与实际值的单位相同，而MSE的结果是实际值单位的平方。因此，如果我们要直观地了解模型的预测误差，通常会使用RMSE作为指标。

提交示例

在这里插入图片描述

过拟合与欠拟合

在这里插入图片描述
第一个欠拟合，第二个正常，第三个过拟合
欠拟合：欠拟合是指模型不能在训练集上获得足够低的误差。换句换说，就是模型复杂度低，模型在训练集上就表现很差，没法学习到数据背后的规律。
如何解决欠拟合？
欠拟合基本上都会发生在训练刚开始的时候，经过不断训练之后欠拟合应该不怎么考虑了。但是如果真的还是存在的话，可以通过增加网络复杂度或者在模型中增加特征，这些都是很好解决欠拟合的方法。
过拟合：过拟合是指训练误差和测试误差之间的差距太大。换句换说，就是模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差。模型对训练集"死记硬背"（记住了不适用于测试集的训练集性质或特点），没有理解数据背后的规律，泛化能力差
为什么会出现过拟合现象？
造成原因主要有以下几种：

  • 训练数据集样本单一，样本不足。如果训练样本只有负样本，然后那生成的模型去预测正样本，这肯定预测不准。所以训练样本要尽可能的全面，覆盖所有的数据类型。
  • 训练数据中噪声干扰过大。噪声指训练数据中的干扰数据。过多的干扰会导致记录了很多噪声特征，忽略了真实输入和输出之间的关系。
  • 模型过于复杂。模型太复杂，已经能够“死记硬背”记下了训练数据的信息，但是遇到没有见过的数据的时候不能够变通，泛化能力太差。我们希望模型对不同的模型都有稳定的输出。模型太复杂是过拟合的重要因素。

如何解决过拟合？
要想解决过拟合问题，就要显著减少测试误差而不过度增加训练误差，从而提高模型的泛化能力。我们可以使用正则化（Regularization）方法。

常用的正则化方法根据具体的使用策略不同可分为：（1）直接提供正则化约束的参数正则化方法，如L1/L2正则化；（2）通过工程上的技巧来实现更低泛化误差的方法，如提前终止(Early stopping)和Dropout；（3）不直接提供约束的隐式正则化方法，如数据增强等。
正常拟合：模型的正常拟合是指训练得到的模型，可以从训练数据集上学习得到了泛化能力强、预测误差小的模型，同时该模型还可以针对待测试的数据进行良好的预测，获得令人满意的预测效果。
三种情况在训练数据集上的预测误差的表现形式为：欠拟合>正常拟合>过拟合；而在测试集上的预测误差形式为：欠拟合>过拟合>正常拟合。

所以下面这张也是第一个欠拟合，第二个正常拟合，第三个过拟合
在这里插入图片描述

在机器学习中，以下哪些技术是数据清洗的相关技术？
A去除重复数据
B处理缺失数据
C异常值处理
D数据标准化/归一化
数据清洗是将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除，最后整理成为我们可以进一步加工、使用的数据。
数据清洗的一般步骤：分析数据、缺失值处理、异常值处理、去重处理、噪音数据处理。在大数据生态圈，有很多来源的数据ETL工具，但是对于公司内部来说，稳定性、安全性和成本都是必须考虑的。

baseline解读

对于常见的时序问题，我们可以采用历史平移、滑窗统计，尽可能的提取时间特征等方法进行特征工程。
在这里插入图片描述

增加工作日非工作日特征

df['weekday'] = df_copy[col].dt.weekday
df['is_weekend'] = df['weekday'].isin([5, 6]).astype(int)
df['is_workday'] = (df['weekday'] < 5).astype(int)

增加小时，分钟特征

df_copy[prefix + 'hour'] = df_copy[col].dt.hour
df_copy[prefix + 'minute'] = df_copy[col].dt.minute

相对时间差特征

df['diff_from_start'] = (df_copy[col] - df_copy[col].iloc[0]).dt.days
df['diff_to_end'] = (df_copy[col].iloc[-1] - df_copy[col]).dt.days

构建了历史平移特征、差分特征、和窗口统计特征
（1）历史平移特征：通过历史平移获取上个阶段的信息；

（2）差分特征：可以帮助获取相邻阶段的增长差异，描述数据的涨减变化情况。在此基础上还可以构建相邻数据比值变化、二阶差分等；

（3）窗口统计特征：窗口统计可以构建不同的窗口大小，然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息，可以反映最近阶段数据的变化情况。

# 合并训练数据和测试数据
df = pd.concat([train_df, test_df], axis=0).reset_index(drop=True)# 历史平移
for i in range(7,36):df[f'power_shift{i}'] = df.groupby('id_encode')['power'].shift(i)window_size = 7# 历史平移 + 差分特征
for i in range(1,4):df[f'power_shift7_diff{i}'] = df.groupby('id_encode')['power_shift7'].diff(i)# 窗口统计
for win in [7,14,28,35,50,70]:df[f'power_win{win}_mean'] = df.groupby('id_encode')['power'].rolling(window=win, min_periods=3, closed='left').mean().valuesdf[f'power_win{win}_median'] = df.groupby('id_encode')['power'].rolling(window=win, min_periods=3, closed='left').median().valuesdf[f'power_win{win}_max'] = df.groupby('id_encode')['power'].rolling(window=win, min_periods=3, closed='left').max().valuesdf[f'power_win{win}_min'] = df.groupby('id_encode')['power'].rolling(window=win, min_periods=3, closed='left').min().valuesdf[f'power_win{win}_std'] = df.groupby('id_encode')['power'].rolling(window=win, min_periods=3, closed='left').std().values# 历史平移 + 窗口统计
for win in [7,14,28,35,50,70]:df[f'power_shift7_win{win}_mean'] = df.groupby('id_encode')['power_shift7'].rolling(window=win, min_periods=3, closed='left').mean().valuesdf[f'power_win{win}_median'] = df.groupby('id_encode')['power'].rolling(window=win, min_periods=3, closed='left').median().valuesdf[f'power_shift7_win{win}_max'] = df.groupby('id_encode')['power_shift7'].rolling(window=win, min_periods=3, closed='left').max().valuesdf[f'power_shift7_win{win}_min'] = df.groupby('id_encode')['power_shift7'].rolling(window=win, min_periods=3, closed='left').min().valuesdf[f'power_shift7_win{win}_sum'] = df.groupby('id_encode')['power_shift7'].rolling(window=win, min_periods=3, closed='left').sum().valuesdf[f'power_shift7_win{win}_std'] = df.groupby('id_encode')['power_shift7'].rolling(window=win, min_periods=3, closed='left').std().values

lgbm参数详解

# 定义lightgbm参数params = {'boosting_type': 'gbdt',#提升树的类型。值为 'gbdt' 表示梯度提升决策树'objective': 'regression',#损失函数。这里是回归问题，所以选用回归损失函数，即 'regression'。'metric': 'rmse',#评价指标。衡量模型性能的指标，这里使用均方根误差（RMSE）作为评价指标。'min_child_weight': 5,#一个叶子节点最小的样本权重和。用来控制过拟合。如果这个值过高，则会导致欠拟合，反之则会导致过拟合。'num_leaves': 2 ** 5,#决策树上的叶子节点数。这个参数通常比较敏感，其值越大，模型越复杂，容易过拟合。'lambda_l2': 10,#L2 正则化系数。增加这个值可以减少模型的复杂度，防止过拟合。'feature_fraction': 0.8,#训练每棵树时，使用的特征比例。设置该参数可以防止过拟合，提高模型的泛化能力。'bagging_fraction': 0.8,#构造每棵树所使用的数据比例，通常选取比较小的值，和 feature_fraction 一起使用，可以控制模型的复杂度。'bagging_freq': 4,#执行 bagging 操作的频率。设置为 0 表示不使用 bagging 操作。'learning_rate': 0.05,#学习率。控制每次迭代调整的步长。如果设置的学习率过大，则可能无法收敛，如果设置的学习率过小，则可能需要较长时间才能得到最终结果。'seed': 2023,#随机种子。设定一个随机种子，可以保证结果的可重复性。'nthread' : 16,#线程数。LGBM 中多线程并行计算提高了训练速度，该参数用来指定线程数。'verbose' : -1,#是否打印调试信息。设置为 -1 时不打印任何信息。# 'device':'gpu'}

lgbm参数详解

pandas_profiling简介

python库：pandas_profiling，这个库只需要一行代码就可以生成数据EDA报告。
基于pandas的DataFrame数据类型，可以简单快速地进行探索性数据分析
对于数据集的每一列，pandas_profiling会提供以下统计信息：
1、概要：数据类型，唯一值，缺失值，内存大小
2、分位数统计：最小值、最大值、中位数、Q1、Q3、最大值，值域，四分位
3、描述性统计：均值、众数、标准差、绝对中位差、变异系数、峰值、偏度系数
4、最频繁出现的值，直方图/柱状图
5、相关性分析可视化：突出强相关的变量，Spearman, Pearson矩阵相关性色阶图

并且这个报告可以导出为HTML，非常方便查看。对不太熟悉python数据分析的新手来说十分友好。
安装：

pip install pandas-profiling

使用pandas_profiling生成数据探索报告：

report = pp.ProfileReport(data)
report

导出为html文件

report.to_file('report.html')

“H3” 是一个用于地理空间索引和网格系统的开源库。它将地球表面划分为一系列分辨率逐渐变粗的六边形单元格，每个单元格都有唯一的标识符，称为 H3 地址。H3 地址可以表示不同级别的地理区域，例如国家、城市、街区等。

要将 H3 地址转换为地理坐标（经度和纬度），可以使用 H3 库中的函数
安装

pip install h3-python

示例代码

import h3h3_address = '8928308280fffff'  # 示例 H3 地址coordinates = h3.h3_to_geo(h3_address)latitude = coordinates[0]
longitude = coordinates[1]print("Latitude:", latitude)
print("Longitude:", longitude)

数据探索

fromDatawhale直播一禧助教

df['new_date'] = pd.to_datetime(df['ds']* 100 + df['ds_hour'].astype(int), format='%Y%m%d%H')
df['ds_date'] = df['new_date'].dt.date

############################ 绘图函数
def my_plot(df, id_encode, start_date, end_date, groupby, predict=False): # 绘制折线图fig = plt.figure(figsize=(20,10))df = df.loc[(df['ds'] >= start_date) & (df['ds'] <= end_date)]if id_encode > -1:df = df.loc[df['id_encode'] == id_encode]else:passif groupby == 'hour':plt.plot(df['new_date'], df['power'], color = 'blue')if predict == True:plt.plot(df['new_date'], df['power_pre'], color = 'red')try:plt.plot(df['new_date'], df['temp_max'], color = 'brown')plt.plot(df['new_date'], df['temp_min'], color = 'green')except:passelif groupby == 'day':df_power = df.groupby(by = 'ds_date')['power'].sum().reset_index()plt.plot(df_power['ds_date'], df_power['power'], color = 'blue')if predict == True:df_power_pre = df.groupby(by = 'ds_date')['power_pre'].sum().reset_index()plt.plot(df_power_pre['ds_date'], df_power_pre['power_pre'], color = 'red')# 添加标题和轴标签plt.title('Power vs Date')plt.xlabel('Date')plt.ylabel('Power')# 显示图形plt.show()

我这里按照助教说的画了两个图

my_plot(df, id_encode=-1, start_date=20220401, end_date=20230610, groupby='day')

在这里插入图片描述
202301应该是春节期间大年30大家都回乡下城市的充电量下降

my_plot(df, id_encode=-1, start_date=20230301, end_date=20230610, groupby='day')

在这里插入图片描述
20230322是因为寒潮所以有所下降

然后助教还说了可以将h3转换为经纬度，但因为我这边不太懂暂时还没有尝试这种方法
我这边使用sklearn库中的LabelEncoder类来对数据进行标签编码（Label Encoding）操作

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
train_df['h3'] = le.fit_transform(train_df['h3'])
test_df['h3'] = le.fit_transform(test_df['h3'])

但是似乎效果不是特别好

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/140050.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于Scrapyd与Gerapy部署scrapy爬虫方案【可用于分布式爬虫部署】

基于Scrapyd与Gerapy部署scrapy爬虫方案【可用于分布式爬虫部署】

scrapyd部署爬虫 Scrapyd 是一个基于 Scrapy 的开源项目&#xff0c;它提供了一个简单的方式来部署、运行和监控 Scrapy 爬虫。它是一个用于集成 Scrapy 爬虫到分布式架构中的工具&#xff0c;允许您在分布式环境中运行爬虫&#xff0c;并提供了一组 Web API&#xff0c;用于管…
阅读更多...
信创办公–基于WPS的Word最佳实践系列 （图文环绕方式）

信创办公–基于WPS的Word最佳实践系列 （图文环绕方式）

信创办公–基于WPS的Word最佳实践系列 &#xff08;图文环绕方式&#xff09; 目录 应用背景操作步骤1、 打开布局选项中图文环绕方式的方法2、 图文环绕三大类型 应用背景 在Word中&#xff0c;对文字和图片进行排版时&#xff0c;采用各种不同的图片与文字组合效果能够使页面…
阅读更多...
Windows/Linux系统ftp服务器搭建

Windows/Linux系统ftp服务器搭建

文章目录 一、Windows系统ftp服务器搭建二、Linux系统ftp服务器搭建二、安装完成测试 一、Windows系统ftp服务器搭建 系统是2008r2&#xff0c;全图&#xff0c;按照图一步一步点就行了 找个有telnet的电脑测试一下端口&#xff0c;windows的ftp默认端口是21 返回…
阅读更多...
汽车屏类产品（二）：360全景环视(SVC)、多分割显示、行车记录

汽车屏类产品（二）：360全景环视(SVC)、多分割显示、行车记录

前言 随着新能源汽车的快速发展，带动了车载器件的大发展，大的比如域控，小的创新更是不断涌现。而车载显示屏可以说是一大类产品，产品形态也是愈发多样化，比如：仪表cluster、中控IVI、副驾屏、行车记录仪、流媒体后视镜、透明A柱屏、方向盘屏（替代方向盘按键）、门饰板显…
阅读更多...
性能测试：测试常见的指标（超详细~）

性能测试：测试常见的指标（超详细~）

前言 今天想和大家来聊聊性能测试常见的指标&#xff0c;我在这里也不喜欢说废话我们直接开始吧。 同时&#xff0c;我也为大家准备了一份软件测试视频教程&#xff08;含面试、接口、自动化、性能测试等&#xff09;&#xff0c;就在下方&#xff0c;需要的可以直接去观看&am…
阅读更多...
微信小程序2

微信小程序2

一&#xff0c;视图层 1.什么视图层 框架的视图层由 WXML 与 WXSS 编写&#xff0c;由组件来进行展示。 将逻辑层的数据反映成视图&#xff0c;同时将视图层的事件发送给逻辑层。 WXML(WeiXin Markup language) 用于描述页面的结构。 WXS(WeiXin Script) 是小程序的一套脚本语…
阅读更多...
ArcGIS笔记8_测量得到的距离单位不是米？一经度一纬度换算为多少米？

ArcGIS笔记8_测量得到的距离单位不是米？一经度一纬度换算为多少米？

本文目录 前言Step 1 遇到测量结果以度为单位的情况Step 2 简单的笨办法转换为以米为单位Step 3 拓展&#xff1a;一经度一纬度换算为多少米 前言 有时我们会遇到这种情况&#xff0c;想在ArcGIS中使用测量工具测量一下某一段距离&#xff0c;但显示的测量结果却是某某度&…
阅读更多...
2023年京东洗发护发行业增长趋势分析：头皮清洁或成小风口

2023年京东洗发护发行业增长趋势分析：头皮清洁或成小风口

如今&#xff0c;随着消费观念的转变&#xff0c;越来越多的消费者愈加重视头部的洗护&#xff0c;无论是女性还是男性&#xff0c;都开始积极寻找头部洗护用品&#xff0c;以更好地呵护头发及头皮。在用户需求的推动下&#xff0c;洗发护发行业已经逐渐发展成为成熟行业。 根据…
阅读更多...
青龙面板安装及配置

青龙面板安装及配置

一、青龙面板安装 二、初始化配置 首次登录需要进行初始化配置 1、开始安装 2、账号设置 3、通知设置 通知方式 - 钉钉机器人 获取钉钉机器人的token和secret参考如下文章&#xff1a; 获取钉钉机器人的token及secret-CSDN博客 4、完成 5、登录 三、应用 待续
阅读更多...
QT_day1

QT_day1

#include "mywidget.h"MyWidget::MyWidget(QWidget *parent): QWidget(parent) {//窗口相关设置this->setWindowTitle("登录窗口");this->setWindowIcon(QIcon("C:\\Users\\EDY\\Desktop\\pictrue\\qq.png"));this->setWindowFlag(Qt::…
阅读更多...
mysql—表单二

mysql—表单二

一、查询环境 1.创建student和score表 CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR(20) NOT NULL , sex VARCHAR(4) , birth YEAR, department VARCHAR(20) , address VARCHAR(50) ); 创建score表。SQL代码如下&#xff1a; CR…
阅读更多...
《视觉 SLAM 十四讲》V2 第 12 讲 建图

《视觉 SLAM 十四讲》V2 第 12 讲 建图

文章目录 12.2 单目稠密 重建12.2.2 极线搜索 && 块匹配12.2.3 高斯分布的深度滤波器 12.3 单目稠密重建 【Code】待改进12.3.4 图像间的变换 12.4 RGB-D 稠密建图12.4.1 点云地图 【Code】查询OpenCV版本 opencv_version 12.4.2 从点云 重建 网格 【Code】查看PCL 版本…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023