Python 获取北上广深历史天气数据并做数据可视化

嗨喽,大家好呀~这里是爱看美女的茜茜呐

知识点:

  1. 动态数据抓包

  2. requests发送请求

  3. 结构化+非结构化数据解析

开发环境:

  1. python 3.8 运行代码

  2. pycharm 2022.3.2 辅助敲代码 专业版

  3. requests 发送请求 pip install requests

  4. parsel 解析数据 pip install parsel

爬虫案例实现流程:

一. 抓包分析 (找到数据来源)

https://tianqi.2345.com/Pc/GetHistoryareaInfo%5BareaId%5D=57687&areaInfo%5BareaType%5D=2&date%5Byear%5D=2023&date%5Bmonth%5D=3        

二. 代码实现

  1. 发送请求 (访问 数据来源的url)

  2. 获取数据

  3. 提取数据 (将需要的信息提取出来)

  4. 保存数据 (保存为csv表格数据)

获取数据

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
import requests
import parsel
import csv
import execjsf = open('demo.js', mode='r', encoding='utf-8').read()
ctx = execjs.compile(f)
city_list = ctx.call("get_city")
areaInfoList = []
for city_li in city_list:if city_li:for city_info in city_li:info_list = city_info.split('|')for info in info_list:city = info.split(' ')[-1]city_name = city.split('-')[0]city_code = city.split('-')[1]areaInfoList.append([city_name, city_code])
# print(areaInfoList)
with open('tianqi.csv', mode='a', newline='', encoding='utf-8') as f:csv.writer(f).writerow(["日期", "最高温", "最低温", "天气", "风力风向", "空气质量指数", "城市"])for areaInfo in areaInfoList:city_name = areaInfo[0]city_code = areaInfo[1]for year in range(2020, 2023):for month in range(1, 13):url = f'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D={city_code}&areaInfo%5BareaType%5D=2&date%5Byear%5D={year}&date%5Bmonth%5D={month}'# 1. 发送请求 (访问 数据来源的url)response = requests.get(url)# 2. 获取数据json_data = response.json() # .json()可以将拿到的text内容 转为字典数据# 3. 提取数据 (将需要的信息提取出来)html_data = json_data.get('data')# trselect = parsel.Selector(html_data)trs = select.xpath('//tr')for tr in trs[1:]:tds = tr.xpath('./td//text()').getall()tds.append(city_name)print(tds)with open('tianqi.csv', mode='a', newline='', encoding='utf-8') as f:csv.writer(f).writerow(tds)

数据可视化

导入包

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
import pandas as pd
import datetime
from pyecharts import options as opts
from pyecharts.charts import *
from pyecharts.commons.utils import JsCode
读入数据
data = pd.read_csv('天气.csv')
data

数据预览
data.sample(5)

data.info()

分割日期/星期

data[['日期','星期']] = data['日期'].str.split(' ',expand=True,n=1)
data

去除多余字符

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
data[['最高温度','最低温度']] = data[['最高温度','最低温度']].apply(lambda x: x.str.replace('°','').replace('', '0'))
data.head()

计算下雪天气

data.loc[data['天气'].str.contains('雪'),'下雪吗']='是'
data.fillna('否',inplace=True)

分割日期时间

data['日期'] = pd.to_datetime(data['日期'])
data[['最高温度','最低温度']] = data[['最高温度','最低温度']].astype('int')
data['年份'] = data['日期'].dt.year
data['月份'] = data['日期'].dt.month
data['日'] = data['日期'].dt.day
# 预览
data.sample(5)

各城市初雪的时间

s_data = data[data['下雪吗']=='是']
s_data[(s_data['月份']>=9)].groupby('年份').first().reset_index()

各城市下雪天气分布

s_data.groupby(['城市','年份'])['日期'].count().to_frame('下雪天数').reset_index()
做透视表
data_bj = data[(data['年份'] == 2021) & (data['城市'] == '北京')]
data_bj = data_bj.groupby(['月份','天气'], as_index=False)['日期'].count()
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
data_pivot =  pd.pivot(data_bj,values='日期',index='月份',columns='天气')
data_pivot = data_pivot.astype('float')
# 按照 索引年月倒序排序
data_pivot.sort_index(ascending=False,inplace=True)data_pivot
北上广深2021年10月份天气热力图分布
import matplotlib.pyplot as plt
import matplotlib.colors as mcolors
import seaborn as sns#设置全局默认字体 为 雅黑
plt.rcParams['font.family'] = ['Microsoft YaHei'] 
# 设置全局轴标签字典大小
plt.rcParams["axes.labelsize"] = 14  
# 设置背景
sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
# 设置画布长宽 和 dpi
plt.figure(figsize=(18,8),dpi=100)
# 自定义色卡
cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) 
# 绘制热力图ax = sns.heatmap(data_pivot, cmap=cmap, vmax=30, annot=True, # 热力图上显示数值linewidths=0.5,) 
# 将x轴刻度放在最上面
ax.xaxis.set_ticks_position('top') 
plt.title('北京最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
plt.show()

data_gz= data[(data['年份'] == 2021) & (data['城市'] == '广州')]
data_gz = data_gz.groupby(['月份','天气'], as_index=False)['日期'].count()
data_sz= data[(data['年份'] == 2021) & (data['城市'] == '深圳')]
data_sz = data_sz.groupby(['月份','天气'], as_index=False)['日期'].count()
data_sh= data[(data['年份'] == 2021) & (data['城市'] == '上海')]
data_sh = data_sh.groupby(['月份','天气'], as_index=False)['日期'].count()
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
data_pivot_sz =  pd.pivot(data_sz,values='日期',index='月份',columns='天气')
data_pivot_sz = data_pivot_sz.astype('float')
# 按照 索引年月倒序排序
data_pivot_sz.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑
plt.rcParams['font.family'] = ['Microsoft YaHei'] 
# 设置全局轴标签字典大小
plt.rcParams["axes.labelsize"] = 14  
# 设置背景
sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
# 设置画布长宽 和 dpi
plt.figure(figsize=(18,8),dpi=100)
# 自定义色卡
cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) 
# 绘制热力图ax_sz = sns.heatmap(data_pivot_sz, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值linewidths=0.5,) 
# 将x轴刻度放在最上面
ax_sz.xaxis.set_ticks_position('top') 
plt.title('深圳最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
plt.show()

data_pivot_gz =  pd.pivot(data_gz,values='日期',index='月份',columns='天气')
data_pivot_gz = data_pivot_gz.astype('float')
# 按照 索引年月倒序排序
data_pivot_gz.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑
plt.rcParams['font.family'] = ['Microsoft YaHei'] 
# 设置全局轴标签字典大小
plt.rcParams["axes.labelsize"] = 14  
# 设置背景
sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
# 设置画布长宽 和 dpi
plt.figure(figsize=(18,8),dpi=100)
# 自定义色卡
cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) 
# 绘制热力图ax_sz = sns.heatmap(data_pivot_gz, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值linewidths=0.5,) 
# 将x轴刻度放在最上面
ax_sz.xaxis.set_ticks_position('top') 
plt.title('广州最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
plt.show()

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
data_pivot_sh =  pd.pivot(data_sh,values='日期',index='月份',columns='天气')
data_pivot_sh = data_pivot_sh.astype('float')
# 按照 索引年月倒序排序
data_pivot_sh.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑
plt.rcParams['font.family'] = ['Microsoft YaHei'] 
# 设置全局轴标签字典大小
plt.rcParams["axes.labelsize"] = 14  
# 设置背景
sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
# 设置画布长宽 和 dpi
plt.figure(figsize=(18,8),dpi=100)
# 自定义色卡
cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) 
# 绘制热力图ax_sz = sns.heatmap(data_pivot_sh, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值linewidths=0.5,) 
# 将x轴刻度放在最上面
ax_sz.xaxis.set_ticks_position('top') 
plt.title('上海最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
plt.show()

data_bj = data[(data['城市']=='北京') & (data['年份'] == 2021)]
data_bj['日期'] = pd.to_datetime(data_bj.日期,format="%Y年%m月%d日")
data_bj = data_bj.sort_values(by='日期',ascending=True)
北京2021年每日最高最低温度变化
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
color0 = ['#FF76A2','#24ACE6']
color_js0 = """new echarts.graphic.LinearGradient(0, 1, 0, 0,[{offset: 0, color: '#FFC0CB'}, {offset: 1, color: '#ed1941'}], false)"""
color_js1 = """new echarts.graphic.LinearGradient(0, 1, 0, 0,[{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#009ad6'}], false)"""tl = Timeline()
for i in range(0,len(data_bj)):coordy_high = list(data_bj['最高温度'])[i]coordx = list(data_bj['日期'])[i]coordy_low = list(data_bj['最低温度'])[i]x_max = list(data_bj['日期'])[i]+datetime.timedelta(days=10)y_max = int(max(list(data_bj['最高温度'])[0:i+1]))+3y_min = int(min(list(data_bj['最低温度'])[0:i+1]))-3title_date = list(data_bj['日期'])[i].strftime('%Y-%m-%d')c = (Line(init_opts=opts.InitOpts(theme='dark',#设置动画animation_opts=opts.AnimationOpts(animation_delay_update=800),#(animation_delay=1000, animation_easing="elasticOut"),#设置宽度、高度width='1500px',height='900px', )).add_xaxis(list(data_bj['日期'])[0:i]).add_yaxis(series_name="",y_axis=list(data_bj['最高温度'])[0:i], is_smooth=True,is_symbol_show=False,linestyle_opts={'normal': {'width': 3,'shadowColor': 'rgba(0, 0, 0, 0.5)','shadowBlur': 5,'shadowOffsetY': 10,'shadowOffsetX': 10,'curve': 0.5,'color': JsCode(color_js0)}},itemstyle_opts={"normal": {"color": JsCode("""new echarts.graphic.LinearGradient(0, 0, 0, 1, [{offset: 0,color: '#ed1941'}, {offset: 1,color: '#009ad6'}], false)"""),"barBorderRadius": [45, 45, 45, 45],"shadowColor": "rgb(0, 160, 221)",}},).add_yaxis(series_name="",y_axis=list(data_bj['最低温度'])[0:i], is_smooth=True,is_symbol_show=False,
#             linestyle_opts=opts.LineStyleOpts(color=color0[1],width=3),itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js1)),linestyle_opts={'normal': {'width': 3,'shadowColor': 'rgba(0, 0, 0, 0.5)','shadowBlur': 5,'shadowOffsetY': 10,'shadowOffsetX': 10,'curve': 0.5,'color': JsCode(color_js1)}},).set_global_opts(title_opts=opts.TitleOpts("北京2021年每日最高最低温度变化\n\n{}".format(title_date),pos_left=330,padding=[30,20]),xaxis_opts=opts.AxisOpts(type_="time",max_=x_max),#, interval=10,min_=i-5,split_number=20,axistick_opts=opts.AxisTickOpts(length=2500),axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey"))yaxis_opts=opts.AxisOpts(min_=y_min,max_=y_max),#坐标轴颜色,axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey"))))tl.add(c, "{}".format(list(data_bj['日期'])[i]))tl.add_schema(axis_type='time',play_interval=100,  # 表示播放的速度pos_bottom="-29px",is_loop_play=False, # 是否循环播放width="780px",pos_left='30px',is_auto_play=True,  # 是否自动播放。is_timeline_show=False)
tl.render('1.html')

data_10 = data[(data['年份'] == 2022) & ( data['月份'] == 10)]
data_10.head()
北上广深10月份每日最高气温变化
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
# 背景色
background_color_js = ("new echarts.graphic.LinearGradient(0, 0, 0, 1, ""[{offset: 0, color: '#c86589'}, {offset: 1, color: '#06a7ff'}], false)"
)# 线条样式
linestyle_dic = { 'normal': {'width': 4,  'shadowColor': '#696969', 'shadowBlur': 10,  'shadowOffsetY': 10,  'shadowOffsetX': 10,  }}
timeline = Timeline(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js),width='980px',height='600px'))bj, gz, sh, sz= [], [], [], []
all_max = []
x_data = data_10[data_10['城市'] == '北京']['日'].tolist()
for d_time in range(len(x_data)):bj.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='北京')]["最高温度"].values.tolist()[0])gz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='广州')]["最高温度"].values.tolist()[0])sh.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='上海')]["最高温度"].values.tolist()[0])sz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='深圳')]["最高温度"].values.tolist()[0])line = (Line(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js),width='980px',height='600px')).add_xaxis(x_data,).add_yaxis('北京',bj,symbol_size=5,is_smooth=True,is_hover_animation=True,label_opts=opts.LabelOpts(is_show=False),).add_yaxis('广州',gz,symbol_size=5,is_smooth=True,is_hover_animation=True,label_opts=opts.LabelOpts(is_show=False),).add_yaxis('上海',sh,symbol_size=5,is_smooth=True,is_hover_animation=True,label_opts=opts.LabelOpts(is_show=False),).add_yaxis('深圳',sz,symbol_size=5,is_smooth=True,is_hover_animation=True,label_opts=opts.LabelOpts(is_show=False),).set_series_opts(linestyle_opts=linestyle_dic).set_global_opts(title_opts=opts.TitleOpts(title='北上广深10月份最高气温变化趋势',pos_left='center',pos_top='2%',title_textstyle_opts=opts.TextStyleOpts(color='#DC143C', font_size=20)),tooltip_opts=opts.TooltipOpts(trigger="axis",axis_pointer_type="cross",background_color="rgba(245, 245, 245, 0.8)",border_width=1,border_color="#ccc",textstyle_opts=opts.TextStyleOpts(color="#000"),),xaxis_opts=opts.AxisOpts(
#                 axislabel_opts=opts.LabelOpts(font_size=14, color='red'),
#                 axisline_opts=opts.AxisLineOpts(is_show=True,
#                 linestyle_opts=opts.LineStyleOpts(width=2, color='#DB7093'))is_show = False),yaxis_opts=opts.AxisOpts(name='最高气温',            is_scale=True,
#                 min_= int(min([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) - 10,max_= int(max([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) + 10,name_textstyle_opts=opts.TextStyleOpts(font_size=16,font_weight='bold',color='#5470c6'),axislabel_opts=opts.LabelOpts(font_size=13,color='#5470c6'),splitline_opts=opts.SplitLineOpts(is_show=True, linestyle_opts=opts.LineStyleOpts(type_='dashed')),axisline_opts=opts.AxisLineOpts(is_show=True,linestyle_opts=opts.LineStyleOpts(width=2, color='#5470c6'))),legend_opts=opts.LegendOpts(is_show=True, pos_right='1%', pos_top='2%',legend_icon='roundRect',orient = 'vertical'),))timeline.add(line, '{}'.format(x_data[d_time]))timeline.add_schema(play_interval=1000,          # 轮播速度is_timeline_show=True,      # 是否显示 timeline 组件is_auto_play=True,          # 是否自动播放pos_left="0",pos_right="0"
)
timeline.render('2.html')

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦 🛬

希望本篇文章有对你带来帮助 🎉,有学习到一点知识~

躲起来的星星🍥也在努力发光,你也要努力加油(让我们一起努力叭)。

最后,宣传一下呀~👇👇👇更多源码、资料、素材、解答、交流皆点击下方名片获取呀👇👇

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/179681.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

k8s之Helm

理论: 什么是 He lm 在没使用 helm 之前,向 kubernetes 部署应用,我们要依次部署 deployment、svc 等,步骤较繁琐。 况且随着很多项目微服务化,复杂的应用在容器中部署以及管理显得较为复杂,helm 通过打包…

微信公众号会员系统怎么做

一、引言 在这个信息爆炸的时代,微信公众号已经成为了企业和个人品牌的重要宣传阵地。而在公众号运营过程中,会员系统是非常重要的一环。通过建立会员系统,你可以更好地管理粉丝、提升用户黏性,让你的品牌更加强大。本文将为你详…

IDEA导入jar包

通过maven导入本地包 mvn install:install-file -DfileD:\WebProject\ERP\zhixing-heyue-erp-server\zxhy-service-api\src\main\java\com\zxhy\service\api\invoice\baiwang\lib\com_baiwang_bop_sdk_outer_3_4_393.jar -DgroupIdcom.baiwang -DartifactIdbaiwang.open -Dver…

C++——内存管理(new/delete使用详解)

C内存管理 本章思维导图: 注:本章思维导图对应的xmind文件和.png文件已同步导入至资源 1. C/C内存区域的划分 在C/C中,内存区域主要划分为:内核区域、栈区、内存映射段、堆区、数据段、代码段等区域,如图&#xff1…

在搭建企业知识库时,这三个重要方面可不能忽略

随着信息时代的到来,企业面临着海量的信息和知识的挑战。为了更好地组织、管理和利用企业内部的知识资源,越来越多的企业开始搭建自己的知识库系统。 企业知识库是一个集中存储和管理知识、经验和信息的平台,它不仅可以提高企业的协作效率&a…

mfc140u.dll丢失怎么修复?4种亲测有效的方法分享

在计算机使用过程中,我们可能会遇到各种各样的问题,其中之一就是某些重要的dll文件丢失。DLL文件是动态链接库文件,它们包含了许多程序运行所需的函数和资源。当这些文件丢失或损坏时,可能会导致程序无法正常运行。本文将详细介绍…

5+单基因+免疫浸润,这篇肿瘤预后文章你值得拥有

今天给同学们分享一篇生信文章“Systematic analysis of the role of SLC52A2 in multiple human cancers”,这篇文章发表在Cancer Cell Int期刊上,影响因子为5.8。 结果解读: 多种人类癌症中SLC52A2的mRNA表达 首先,作者使用GT…

AI由许多不同的技术组成,其中一些最核心的技术如下

AI由许多不同的技术组成,其中一些最核心的技术包括: 机器学习:这是一种让计算机从数据中学习的技术,它可以根据已有的数据预测未来的趋势和行为。机器学习包括监督学习、无监督学习和强化学习等多种类型。深度学习:这…

零成本体验美国云服务器,更方便的体验和选择

在当今数字化时代,云计算已经成为了企业和个人的首选。而美国云服务器免费试用,则为广大用户提供了一个零风险尝试的机会。作为一种高效、灵活、稳定的解决方案,美国云服务器可以为您的业务保驾护航。 什么是美国云服务器? 美国云…

Python自动化测试:web自动化测试——Selenium框架

web自动化测试1 Selenium介绍web自动化实现原理环境准备1)Seleniumpython环境搭建安装步骤环境变量的配置 2)浏览器驱动驱动下载驱动环境配置 3)版本检查4)其他异常情况排查版本不一致未激活卸载、降低/升级setuptools版本 web自动…

Python框架篇(1):FastApi-快速入门

1.介绍 前言: 不管学什么语言,都应该至少掌握一个框架,方面我们后续,进行服务部署、服务对外支持等; 1.1 官网介绍 下面是来自FastAPI官网的介绍: FastAPI 是一个用于构建 API 的现代、快速(高性能)的 web 框架&#…

找不同游戏-第15届蓝桥第二次STEMA测评Scratch真题精选

[导读]:超平老师的《Scratch蓝桥杯真题解析100讲》已经全部完成,后续会不定期解读蓝桥杯真题,这是Scratch蓝桥杯真题解析第157讲。 第15届蓝桥杯第2次STEMA测评已于2023年10月29日落下帷幕,编程题一共有6题,分别如下&…