scrapy框架流程

在这里插入图片描述

1、Scrapy从Spider子类中提取start_url,然后构造为request请求对象

2、将request请求对象传递给爬虫中间件

3、将request请求对象传递给Scrapy引擎（核心代码）

4、将request请求对象传递给调度器（它负责对多个request安排，好比交通管理员负责指挥交通）

5、将request请求对象传递给scrapy引擎

6、Scrapy引擎将request请求对象传递给下载中间件（可以更换代理IP 更换cookie 更换user-agent，自动重试等）

7、request请求对象传递给到下载器（它通过异步的发送HTTP（s）请求。得到响应封装为response对象）

8、将requests传递给下载中间件

9、下载中间件将response对象传递给scrapy引擎

10、Scrapy 引擎将response对象传递给爬虫中间件（这里可以处理异常情况）

11、爬虫对象中的parse函数被调用（在这里可以得到的response对象进行处理 例如status得到的响应码 ，xpath可以进行提取数据等）

12、第11步调用的yelid管道 调用piplines 对数据进行存储或处理

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/208960.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

NX二次开发UF_CAM_reinit_session 函数介绍

NX二次开发UF_CAM_reinit_session 函数介绍

文章作者：里海 来源网站：https://blog.csdn.net/WangPaiFeiXingYuan UF_CAM_reinit_session Defined in: uf_cam.h int UF_CAM_reinit_session(const char * config_file ) overview 概述 This function initializes the current CAM session based …
阅读更多...
PTA-成绩转换

PTA-成绩转换

本题要求编写程序将一个百分制成绩转换为五分制成绩。转换规则： 大于等于90分为A；小于90且大于等于80为B；小于80且大于等于70为C；小于70且大于等于60为D；小于60为E。 输入格式: 输入在一行中给出一个整数的百分制成…
阅读更多...
Android跨进程传图片或者大数据（解决TransactionTooLargeException）

Android跨进程传图片或者大数据（解决TransactionTooLargeException）

跨进程传图片方案 直接intent传bitmap使用文件读写intent传递自定义binder，binder中传递image使用网络传输 一、直接intent传bitmap 优势 使用简单 劣势 相关代码可能有侵入性，必须在四大组件中接收。 intent传递数据的总大小是1MB，其中…
阅读更多...
【从入门到起飞】JavaSE—多线程(2)(lock锁，死锁，等待唤醒机制)

【从入门到起飞】JavaSE—多线程(2)(lock锁，死锁，等待唤醒机制)

文章目录 🌺lock锁⭐获得锁⭐释放锁✨注意🏳️‍🌈代码实现🎈细节 🌺死锁⭐解决方法 🎄等待唤醒机制⭐代码实现🎈注意 🛸使用阻塞队列实现等待唤醒机制 🍔线程的六种状态…
阅读更多...
Java计算时间差，距结束还有几天几小时几分钟

Java计算时间差，距结束还有几天几小时几分钟

文章目录 1、写法2、备份3、LocalDate、LocalDateTime、Date、String互转 1、写法 //静态方法，传入年月日时分秒 LocalDateTime startTime LocalDateTime.of(2023, 11, 22, 15, 09, 59); LocalDateTime endTime LocalDateTime.of(2023, 11, 30, 0, 0, 0); //计算…
阅读更多...
738. Monotone Increasing Digits 968. Binary Tree Cameras

738. Monotone Increasing Digits 968. Binary Tree Cameras

738. Monotone Increasing Digits An integer has monotone increasing digits单调递增数字 if and only if each pair of adjacent digits x and y satisfy x < y. Given an integer n, return the largest number that is less than or equal to n with monotone increa…
阅读更多...
Go 异常处理流程

Go 异常处理流程

在 Go 语言中&#xff0c;panic、recover 和 defer 是用于处理异常情况的关键字。它们通常一起使用来实现对程序错误的处理和恢复。 1. defer 语句 defer 用于在函数返回之前执行一段代码。被 defer 修饰的语句或函数会在包含 defer 的函数执行完毕后执行。defer 常用于资源清…
阅读更多...
国内怎么投资黄金，炒黄金有哪些好方法？

国内怎么投资黄金，炒黄金有哪些好方法？

随着我国综合实力的不断强大&#xff0c;投资市场的发展也日臻完善&#xff0c;现已成为了国际黄金市场的重要组成部分&#xff0c;人们想要精准判断金市走向&#xff0c;就离不开对我国经济等信息的仔细分析。而想要有效提升盈利概率&#xff0c;人们还需要掌握国内黄金投资的…
阅读更多...
【计算机基础】通过插件plantuml，实现在VScode里面绘制状态机

【计算机基础】通过插件plantuml，实现在VScode里面绘制状态机

&#x1f4e2;&#xff1a;如果你也对机器人、人工智能感兴趣&#xff0c;看来我们志同道合✨ &#x1f4e2;&#xff1a;不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 &#x1f4e2;&#xff1a;文章若有幸对你有帮助&#xff0c;可点赞 &#x1f44d;…
阅读更多...
掌握 AI 和 NLP：深入研究 Python — 情感分析、NER 等

掌握 AI 和 NLP：深入研究 Python — 情感分析、NER 等

一、说明 我们见证了 BERT 等预训练模型在情感分析方面的强大功能，使我们能够破译隐藏在文本数据中的情感。通过 SpaCy，我们探索了命名实体识别的迷人世界，揭开了隐藏在非结构化文本中的秘密。 二、问题陈述 命名实体识别（NER）是自然语言处理中的一项关键…
阅读更多...
大模型变身双面人：虚假新闻制造机VS假新闻鉴别大师！

大模型变身双面人：虚假新闻制造机VS假新闻鉴别大师！

大家是怎样看待大型语言模型生成信息的可靠性呢&#xff1f; 尽管大语言模型生成的内容“像模像样”&#xff0c;但这些模型偶尔的失误揭示了一个关键问题&#xff1a;它们生成的内容并不总是真实可靠的。 那么&#xff0c;这种“不保真”特性能否被用来制造虚假信息呢&#x…
阅读更多...
SQLite3

SQLite3

数据库简介 常用的数据库 大型数据库&#xff1a;Oracle 中型数据库&#xff1a;Server 是微软开发的数据库产品&#xff0c;主要支持 windows 平台。 小型数据库&#xff1a;mySQL 是一个小型关系型数据库管理系统&#xff0c;开放源码 。(嵌入式不需要存储太多数据。) SQL…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023