【Python程序设计】基于Python Flask的全国气象数据采集及可视化系统-附下载方式以及项目参考论文,原创项目其他均为抄袭

基于Python Flask的全国气象数据采集及可视化系统

    • 一、项目简介
    • 二、项目技术
    • 三、项目功能
    • 四、运行截图
    • 五、分类说明
    • 六、实现代码
    • 七、数据库结构
    • 八、源码下载地址

一、项目简介

本项目是一个基于Web技术的实时气象数据可视化系统。通过爬取中国天气网的各个城市气象数据,并将其保存到自己的数据库中,我们利用Python、Flask、ECharts和MySQL等技术,实现了数据的分析和可视化呈现。这是一个采用B/S架构的现代化气象数据管理系统,用户只需通过浏览器便可访问。在项目完善版本中,我们进一步优化了数据处理和可视化,提高了系统的性能和用户体验。

二、项目技术

  • Python爬虫技术:借助Python强大的网络爬虫库,我们能够高效地从中国天气网上获取实时气象数据,并将其转化为结构化数据。
  • Flask后端框架:作为一种轻量级的后端框架,Flask简化了开发流程,使得我们能够快速搭建灵活且可扩展的Web应用程序。
  • MySQL数据库:作为一个成熟的关系型数据库管理系统,MySQL提供了高效可靠的数据存储和查询能力,使得我们能够方便地管理爬取的气象数据。
  • ECharts大数据可视化:ECharts作为当时流行的数据可视化库,为我们提供了丰富的图表类型和交互式特性,使得我们能够将庞大的气象数据以直观的图表形式展示给用户。
  • layui后台管理前端框架:借助layui框架,我们实现了美观、简洁的后台管理界面,提升了用户操作的友好性和便捷性。

三、项目功能

系统功能模块的设计是基于对现实需求的深入理解和用户体验的关注,详情功能结构图,如下图所示。主要包括以下五大功能:

  • 可视化功能模块:通过ECharts技术,将爬取的气象数据转化为图表形式,以直观的方式展示各城市的气象情况,使用户能够快速把握气象趋势和变化,更好地做出决策。
  • 版本管理功能模块:用于记录系统的不同版本,包括功能更新、性能优化和Bug修复等内容,确保系统持续发展和不断完善。
  • 用户管理功能模块:实现用户注册、登录和权限控制,不同用户拥有不同的菜单权限,保障系统的安全性和数据隐私。
  • 实时气象数据管理功能模块:用于存储、更新和管理从中国天气网爬取的实时气象数据,确保数据的准确性和及时性。
  • 爬虫管理功能模块:针对爬虫任务进行管理,包括设置爬取频率、指定目标城市等,以确保爬虫的高效稳定运行。
    在这里插入图片描述

四、运行截图

大屏可视化页面请添加图片描述

用户登录页面
请添加图片描述用户注册页面
请添加图片描述后台管理首页面
在这里插入图片描述后台用户管理页面
在这里插入图片描述后台版本管理页面
在这里插入图片描述后台气象管理页面
在这里插入图片描述后台气象编辑页面
在这里插入图片描述后台爬虫日志管理页面
在这里插入图片描述

五、分类说明

AQI:

0-50良好

51-100:中等

101-150:偏差,对敏感人群不健康

151-200:差,不健康

201-300:极差,非常不健康

300+:有毒

风力等级:

在这里插入图片描述

六、实现代码

爬虫头部实现代码

class GetWeather:def __init__(self):self.baseUrl = r""self.headers = {'Accept': "*/*",'Accept-Encoding': 'gzip, deflate','Accept-Language': 'keep-alive','Connection': '','Cookie': ''.encode("utf-8").decode("latin1"),'Host': 'd1.weather.com.cn','Referer': '','User-Agent': '', }self.loadList = []# 格式为:列表里面的子列表都是一个省份的所有城市,子列表里所有元素都是字典,每个字典有两项self.cityList = [] self.cityDict = {}self.result = xlwt.Workbook(encoding='utf-8', style_compression=0)self.sheet = self.result.add_sheet('result', cell_overwrite_ok=True)self.cityRow = 0self.totalGet = 0

数据清洗存入数据库

 data = json.loads(self.htmlResult.replace("var dataSK=", ""))nameen = data["nameen"]  # 城市拼音cityname = data["cityname"]  # 城市名称temp = data["temp"]  # 当前温度WD = data["WD"]  # 风向WS = data["WS"].replace("级", "")  # 风力wse = data["wse"].replace("km/h", "")  # 风速sd = data["sd"].replace("%", "")  # 湿度weather = data["weather"]  # 天气record_date = data["date"]  # 时间record_time = data["time"]  # 时分aqi = data["aqi"]  # 时分judge_sql = "select count(id) from `weather` where nameen = '" + nameen + "' and cityname='" + cityname + "' and record_date='" + record_date + "' and record_time='" + record_time + "'";sql = "INSERT INTO `weather` VALUES (null, '" + nameen + "', '" + cityname + "', '" + record_date + "', '" + record_time + "', " + str(temp) + ", '" + WD + "', " + WS + ", " + wse + ", " + sd + ", '" + weather + "', " + aqi + ", '" + time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) + "',0);"i = db.query_noargs(judge_sql)[0][0]if int(i) > 0:print("跳过:", judge_sql)continueupdate_sql = "update `weather` set is_old=1 where nameen = '" + nameen + "' and cityname='" + cityname + "'";print("插入:", sql)count += 1db.query_noargs(update_sql)db.query_noargs(sql)

首页城市空气质量统计

# 获取城市空气质量统计
def get_AQI_total_data():db = dbUtil()lh_sql = "SELECT COUNT(id) FROM weather WHERE aqi<=50 AND is_old=0"zd_sql = "SELECT COUNT(id) FROM weather WHERE aqi>50 AND aqi<=100 AND is_old=0"pc_sql = "SELECT COUNT(id) FROM weather WHERE aqi>100 AND aqi<=150 AND is_old=0"c_sql = "SELECT COUNT(id) FROM weather WHERE aqi>150 AND aqi<=200 AND is_old=0"jc_sql = "SELECT COUNT(id) FROM weather WHERE aqi>200 AND aqi<=300 AND is_old=0"yd_sql = "SELECT COUNT(id) FROM weather WHERE aqi>300 AND is_old=0"lh = db.query_noargs(lh_sql)[0][0]zd = db.query_noargs(zd_sql)[0][0]pc = db.query_noargs(pc_sql)[0][0]c = db.query_noargs(c_sql)[0][0]jc = db.query_noargs(jc_sql)[0][0]yd = db.query_noargs(yd_sql)[0][0]db.close_commit()return jsonify([{"time": "良好", "value": lh, "name": "空气质量"},{"time": "中等", "value": zd, "name": "空气质量"},{"time": "偏差", "value": pc, "name": "空气质量"},{"time": "较差", "value": c, "name": "空气质量"},{"time": "极差", "value": jc, "name": "空气质量"},{"time": "有毒", "value": yd, "name": "空气质量"}])

空气质量可视化构建

function center_kqzlfm() {    $.ajax({       url: "/main/aqi",method: "get",success: function (obj) {// 基于准备好的dom,初始化echarts实例            const myChart = echarts.init(document.getElementById("kqzlfm-table")) // 指定图表的配置项let option = {...}            // 指定图表的数据let data = obj            //数据处理 开始let xKey = "time" let yKey = "value" let sKey = "name"let seriesArr = []let dataColumn = []   //....省略数据格式化处理太长了option.yAxis.type = "value"option.xAxis.type = "category"option.xAxis.data = dataColumn// 数据处理完 option.series = seriesObj// 使用刚指定的配置项和数据显示图表。myChart.setOption(option) }   })}

七、数据库结构

slog表

字段名称数据类型是否必填注释
idint
logvarchar(255)
create_timedatetime

sys_version表

字段名称数据类型是否必填注释
idint系统版本
sys_namevarchar(255)名称
sys_versionvarchar(255)描述

user表

字段名称数据类型是否必填注释
idint
namevarchar(255)用户名称(供应商名称)
accountvarchar(255)用户账号
passwordvarchar(255)用户密码
companyvarchar(255)企业名称
phonevarchar(255)电话号码
mailvarchar(255)邮箱
typeint0管理员,1普通用户
statusint0禁用1启用

weather表

字段名称数据类型是否必填注释
idint
nameenvarchar(255)城市拼音
citynamevarchar(50)城市名称
record_datevarchar(50)天气时间
record_timevarchar(50)实时时分
tempint当前温度
wdvarchar(20)风向
wsint凤力
wseint风速
sdint湿度
weathervarchar(20)天气
aqiint空气质量
create_timedatetime数据创建时间
is_oldint1老数据,0新数据

八、源码下载地址

原创项目,开发不易,保证项目经过多人调试与测试,可以准确无误运行(经过最新调试,系统依旧可以持续运行

项目获取地址:

#浏览器打开一下官方网站进行项目源码下载
www.shiyuncode.com/productlist/2?search=%E6%B0%94%E8%B1%A1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/71085.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分布式事务与解决方案

一、什么是分布式事务 首先我们知道本地事务是指事务方法中的操作只依赖本地数据库&#xff0c;可保证事务的ACID特性。而在分布式系统中&#xff0c;一个应用系统被拆分为多个可独立部署的微服务&#xff0c;在一个微服务的事务方法中&#xff0c;除了依赖本地数据库外&#…

环境与能源创新专题:地级市绿色创新、碳排放与环境规制数据

数据简介&#xff1a;推动绿色发展&#xff0c;促进人与自然和谐共生是重大战略举措。绿色发展强调“绿水青山就是金山银山”&#xff0c;人与自然和谐共生重在正确处理生态环境保护与经济发展的关系。在着力于实现绿色发展的过程中&#xff0c;绿色创新是绿色发展的重要驱动因…

最新SSD固态硬盘颗粒QLC、SLC、MLC、TLC详解

概要 本文从SSD结构出发&#xff0c;详细介绍NAND闪存芯片QLC、SLC、MLC、TLC之间的区别、各自的优缺点以及其适用的人群。目录一、剖析SSD二、什么是NAND闪存三、单层单元&#xff08;Single Level Cell&#xff0c;简称SLC&#xff09;四、多层单元&#xff08;Multi Level C…

Git和GitHub

文章目录 1.Git介绍2. 常用命令3. Git分支操作4. Git团队协作机制5. GitHub操作6. IDEA集成Git7.IDEA操作GitHub8. Gitee 1.Git介绍 Git免费的开源的分布式版本控制系统&#xff0c;可以快速高效从小到大的各种项目 Git易于学习&#xff0c;占地面积小&#xff0c;性能快。它…

半导体退火那些事(3)

4.半导体退火设备 双腔全自动兼容6-8寸快速退火炉RTP 产地:中国 型号: S803 特点: 室温到1250C&#xff0c;应用于SiC&#xff0c;GaN等第三代半导体领域 简介 (Description) S803系列自动快速退火炉&#xff0c;内置Robot可以自动取放片&#xff0c;适用于最大8英寸 (单片200m…

GraphQL strawberry的使用回顾和体会

GraphQL vs RESTful 简单来说GraphQL 比起 RESTful 集成额外一些功能 出入参校验、序列化 (简化后端编程)自由可选的返回数据字段 (简化一些多余接口开发和沟通联调成本) 这些都是优点了。 开发效率在项目初期是很重要的&#xff0c;需要快速原型化。 但是后期稳定后&#…

数据结构刷题训练:用栈实现队列(力扣OJ)

目录 前言 1. 题目&#xff1a;用栈实现队列 2. 思路 3. 分析 3.1 定义 “ 队列 ” 3.2 创建队列 3.3 入队 3.4 队头数据 3.5 出队 3.6 判空和销毁 4.题解 总结 前言 栈和队列是数据结构中的两个重要概念&#xff0c;它们在算法和程序设计中都有着广泛的应用。本文将带你深入了…

小程序多图片组合

目录 子组件 index.js 子组件 index.wxml 子组件 index.wxss 父组件引用&#xff1a; 子组件&#xff1a;preview-image 子组件 index.js Component({properties: {previewData: {type: Array,default: [],observer: function (newVal, oldVal) {console.log(newVal, ol…

【编程二三事】ES究竟是个啥?

在最近的项目中&#xff0c;总是或多或少接触到了搜索的能力。而在这些项目之中&#xff0c;或多或少都离不开一个中间件 - ElasticSearch。 今天忙里偷闲&#xff0c;就来好好了解下这个中间件是用来干什么的。 ES是什么? ​ ES全称ElasticSearch&#xff0c;是个基于Lucen…

UG NX二次开发(C#)-CAM-获取刀具类型

文章目录 1、前言2、UG NX中的刀具类型3、获取刀具类型3.1 刀具类型帮助文档1、前言 在UG NX的加工模块,加工刀具是一个必要的因素,其包括了多种类型的类型,有铣刀、钻刀、车刀、磨刀、成型刀等等,而且每种刀具所包含的信息也各不相同。想获取刀具的信息,那就要知道刀具的…

开源数据库Mysql_DBA运维实战 (修改root密码)

MySQL——修改root密码的4种方法 本文以windows为例为大家详细介绍下MySQL修改root密码的4种方法&#xff0c;大家可以可以根据的自己的情况自由选择&#xff0c;希望对大家有所帮助 方法1&#xff1a; 用SET PASSWORD命令 首先登录MySQL。 格式&#xff1a;mysql> set pass…

【回溯】总结

1、 组合和子集问题 组合问题需要满足一定要求才算作一个答案&#xff0c;比如数量要求&#xff08;k个数&#xff09;&#xff0c;累加和要求&#xff08;target&#xff09;。 子集问题是只要构成一个新的子集就算作一个答案。 进阶&#xff1a;去重逻辑。 一般都是要对同…