作业4

news/2024/11/14 12:57:52/文章来源:https://www.cnblogs.com/c786260029/p/18543383

作业①:

要求:
熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。
使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。
候选网站:东方财富网:http://quote.eastmoney.com/center/gridlist.html#hs_a_board
输出信息:MYSQL数据库存储和输出格式如下,表头应是英文命名例如:序号id,股票代码:bStockNo……,由同学们自行定义设计表头:
运行截图:

Gitee文件夹链接:https://gitee.com/chen-gaofei/crawl_projects/blob/master/作业4/mocc.py

心得体会:

这题跟第二题相比简单很多。先查找三个板块的网页链接,查找链接下的所有股票数据,并写入数据库。很顺利,顺手做了数据清理。

作业②:

要求:
熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待HTML元素等内容。
使用Selenium框架+MySQL爬取中国mooc网课程资源信息(课程号、课程名称、学校名称、主讲教师、团队成员、参加人数、课程进度、课程简介)
候选网站:中国mooc网:https://www.icourse163.org
输出信息:MYSQL数据库存储和输出格式
Gitee文件夹链接:https://gitee.com/chen-gaofei/crawl_projects/blob/master/作业4/stocks.py
运行截图:

心得体会:动态iframe加载的登录很容易出错,包括登录后的隐私政策同意按钮也很难找。一开始我爬取主页下的“精品课程”的内容,一直出错于是改用现在搜索框搜索“课程”再查找数据的方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/832834.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

采集opc da 转 profinet IO项目案例

VFBOX协议转换网关支持PLC,modbus,EthernetIP,Profinet,CCLink,EtherCAT,IEC61850,IEC104,bacnet,DLT645,HJ212,opc ua,opc da,DNP3。目录 1 案例说明 1 2 VFBOX网关工作原理 1 3 应用条件 2 4 查看OPC DA服务器的相关参数 2 5 配置网关采集opc da数据 4 6 用prof…

laravel PhpOffice 读取表格数据

/*** 更新安通船期* Description * Author Allen* Date 2024-11-11* @param Request $request [description]* @return [type] [description]*/public function updateAntongShipDate(Request $request){set_time_limit(0);$file = request()->file(file);if (em…

AI网关在企业系统应用中的角色和作用

在人工智能技术不断进步的今天,AI已成为推动全球经济增长的关键动力。预计到2027年,全球企业在AI技术上的支出将达到8000亿美元,年均增长率达到37.3%。这一趋势不仅改变了企业的业务模式,也对企业的安全策略提出了新的挑战,尤其是在构建、运行、扩展和保护AI应用程序及其底…

【python爬虫+情感分析】B站黑神话悟空热门弹幕情感分析及词云生成

黑神话悟空背景介绍 最近黑神话悟空这款游戏可谓红遍大江南北,不仅IGN给出了8分的高分,就连央视新闻都有报道。作为国内第一款单机大作:出圈的是游戏,输出的是中国文化,受到了广大游戏玩家的追捧和赞扬。 针对此热门事件,老王我用python爬虫和情感分析技术,针对B站的弹幕…

解决Windows远程桌面 “为安全考虑,已锁定该用户账户,原因是登录尝试或密码更改尝试过多。请稍后片刻再重试,或与系统管理员或技术支持联系“问题

当我们远程连接服务器连接不上并提示“为安全考虑,已锁定该用户账户,原因是登录尝试或密码更改尝试过多。请稍候片刻再重试,或与系统管理员或技术支持联系”时,根本原因是当前计算机远程连接时输入了过多的错误密码,触发系统策略自动锁定了。如果是你确定输入的密码没问题…

中间件全球数据实时同步利器,EventGrid事件流重磅发布

一图了解它的6大特性,同时Kafka、RocketMQ云内数据同步火热公测中。EventGrid事件流(简称EG)作为易用、稳定、高效的数据同步管道连接不同的系统与服务,支持中间件在线同步和实时同步。事件流围绕云中间件,降低了中间件之间数据流通的复杂性,有效地帮助您减少数据传输的成…

【VMware VCF】通过备份的配置文件还原 SDDC Manager 组件。

之前在这篇文章(使用 SFTP 服务器备份 VCF 核心组件的配置文件。)中配置并备份了 VCF 环境中 SDDC Manager 组件的配置文件,这篇文章接着这个主题,看看当 SDDC Manager 组件因意外发生故障时,如何通过备份的配置文件进行还原和恢复。一、检查 SDDC Manager执行还原之前,请…

校园监控防欺凌系统 学生打架霸凌识别系统

校园监控防欺凌系统 学生打架霸凌识别系统通过在宿舍、洗手间、楼梯拐角等校园监控死角及隐私场所安装的音频监控设备,校园监控防欺凌系统 学生打架霸凌识别系统对学生的言行进行实时监控和关键词确认与分析。系统特别针对学生可能发出的求救词汇,如“别打我别打我”、“救命…

设备漏油检测识别系统 漏油自动识别系统

设备漏油检测识别系统 漏油自动识别系统通过在生产设备和管道区域安装摄像头,设备漏油检测识别系统 漏油自动识别系统利用AI人工智能技术对视频画面进行实时监测和分析。系统能够自动识别出漏油、跑冒滴漏等异常情况,一旦检测到此类事件,会立即通过预设的告警机制,将告警信…

实验十六

实验16:命令模式 本次实验属于模仿型实验,通过本次实验学生将掌握以下内容: 1、理解命令模式的动机,掌握该模式的结构; 2、能够利用命令模式解决实际问题。[实验任务一]:多次撤销和重复的命令模式 某系统需要提供一个命令集合(注:可以使用链表,栈等集合对象实现),用…

实验十五

实验15:职责链模式 本次实验属于模仿型实验,通过本次实验学生将掌握以下内容: 1、理解职责链模式的动机,掌握该模式的结构; 2、能够利用职责链模式解决实际问题。[实验任务一]:财务审批 某物资管理系统中物资采购需要分级审批,主任可以审批1万元及以下的采购单,部门经…

原生代币转其他代币permit2不需要授权

采用0x进行bnb转usdt的时候不需要permit2,其他币转原生代币的时候需要permit2 curl --location --request GET https://api.0x.org/swap/permit2/quote?chainId=56&sellToken=0xEeeeeEeeeEeEeeEeEeEeeEEEeeeeEeeeeeeeEEeE&buyToken=0x55d398326f99059ff77548524699902…