爬虫入门指南(5): 分布式爬虫与并发控制 【提高爬取效率与请求合理性控制的实现方法】

文章目录

  • 前言
  • 多线程与多进程
    • 多线程
    • 多进程
    • 多线程和多进程的选择
  • 使用Scrapy框架实现分布式爬虫
    • 1. 创建Scrapy项目
    • 2. 配置Scrapy-Redis
    • 3. 创建爬虫
        • 4. 启动爬虫节点
        • 5. 添加任务到队列
  • 并发控制与限制请求频率
    • 并发控制
    • 限制请求频率
  • 未完待续...

前言

在进行爬虫任务时，我们常常会面临两个重要问题：如何提高爬取效率以及如何合理控制请求的并发量，以避免对目标网站造成过大的压力。针对这些问题，本文将介绍分布式爬虫与并发控制的相关知识点，并演示使用Scrapy框架实现分布式爬虫，并对并发控制进行限制请求频率。

多线程与多进程

多线程与多进程

当涉及到并发处理时，多线程和多进程是两种常用的技术。它们可以同时执行多个任务，提高程序的效率和性能。下面我将详细讲解多线程和多进程的概念、特点以及使用方法。

多线程

多线程

多线程是指在一个进程内创建多个线程来执行任务。线程是程序执行中的最小单元，多个线程共享同一个进程的资源。多线程有以下几个特点：

  1. 资源共享：多个线程可以共享同一个进程的地址空间、文件描述符等资源，因此可以方便地进行数据交换和通信。
  2. 轻量级：相对于多进程而言，多线程的创建和切换成本更低，占用的系统资源更少。
  3. 异步编程：多线程可以实现异步操作，使得程序可以同时执行多个任务，提高程序的响应速度。

在Python中，可以使用标准库中的threading模块实现多线程编程。具体步骤如下：

  1. 导入threading模块：import threading
  2. 定义线程函数：编写需要在每个线程中执行的任务。
  3. 创建线程对象：使用threading.Thread(target=函数名)创建线程对象，并设置线程的目标函数。
  4. 启动线程：使用start()方法启动线程，开始执行线程中的任务。
  5. 等待线程结束：使用join()方法等待线程执行完毕。

示例代码:

 import threadingdef task():# 线程执行的任务print("Thread ID: {} - Hello, World!".format(threading.get_ident()))# 创建4个线程并启动
for _ in range(4):thread = threading.Thread(target=task)  # 创建线程对象，设置目标函数为taskthread.start()  # 启动线程thread.join()  # 等待线程结束

代码使用threading模块创建了4个线程，并在每个线程中执行task()函数。每个线程将打印出当前线程的ID，然后输出"Hello, World!"。通过循环创建和启动线程，并使用join()方法等待线程结束，确保每个线程都执行完毕。

多进程

多进程

多进程是指在操作系统中同时运行多个进程，每个进程独立执行任务。不同进程之间有自己独立的内存空间和资源环境，彼此之间不会相互影响。多进程有以下几个特点：

  1. 数据隔离：每个进程拥有独立的地址空间和资源环境，数据之间相互隔离，保证了程序的安全性。
  2. 并发处理：多个进程可以同时执行不同的任务，提高程序的并发处理能力。
  3. 稳定性：由于进程之间相互独立，一个进程崩溃不会影响其他进程，提高了程序的稳定性。

在Python中，可以使用标准库中的multiprocessing模块实现多进程编程。具体步骤如下：

  1. 导入multiprocessing模块：import multiprocessing
  2. 定义进程函数：编写需要在每个进程中执行的任务。
  3. 创建进程对象：使用multiprocessing.Process(target=函数名)创建进程对象，并设置进程的目标函数。
  4. 启动进程：使用start()方法启动进程，开始执行进程中的任务。
  5. 等待进程结束：使用join()方法等待进程执行完毕。

示例代码:

  import multiprocessingdef task():# 进程执行的任务print("Process ID: {} - Hello, World!".format(multiprocessing.current_process().pid))# 创建4个进程并启动
processes = []
for _ in range(4):process = multiprocessing.Process(target=task)  # 创建进程对象，设置目标函数为taskprocess.start()  # 启动进程processes.append(process)# 等待所有进程结束
for process in processes:process.join()

代码使用multiprocessing模块创建了4个进程，并在每个进程中执行task()函数。每个进程将打印出当前进程的ID，然后输出"Hello, World!"。通过循环创建和启动进程，并使用join()方法等待所有进程结束，确保每个进程都执行完毕。

注意，在多进程示例中，我们使用了一个列表来保存所有的进程对象，然后在最后使用循环和join()方法等待所有进程结束。

多线程和多进程的选择

多线程和多进程的选择

在实际开发中，选择多线程还是多进程需要根据具体的需求和情况进行权衡。一般来说：

  • 如果任务涉及到I/O密集型操作（如网络请求、文件读写等），多线程通常是一个不错的选择，因为线程之间可以很好地共享资源和交互。
  • 如果任务涉及到CPU密集型操作（如复杂的计算、图像处理等），多进程可能更适合，因为每个进程有独立的计算资源，可以充分利用多核处理器。

此外，需要注意的是，多线程和多进程的并发操作涉及到共享资源的访问，可能引发一些并发控制和同步机制的问题，例如线程安全性、锁、信号量等，开发者需要注意处理这些问题，保证程序的正确执行。

使用Scrapy框架实现分布式爬虫

使用Scrapy框架实现分布式爬虫

Scrapy是一个强大的Python爬虫框架，提供了分布式爬虫的支持。通过使用Scrapy的分布式架构，我们可以将爬取任务分发到多个节点上，以提高爬取效率。

  • 当使用Scrapy框架实现分布式爬虫时，可以利用Scrapy-Redis扩展来实现任务队列的管理和分布式爬取。Scrapy-Redis扩展通过使用Redis作为任务队列实现多个爬虫节点之间的任务调度和数据共享。下

首先安装好Scrapy和Scrapy-Redis扩展。

命令如下:

pip install scrapy scrapy-redis

接下来，创建一个Scrapy项目，并在该项目中进行相应的配置。

1. 创建Scrapy项目

scrapy startproject myproject

这会生成一个名为myproject的Scrapy项目。

2. 配置Scrapy-Redis

进入项目目录，打开settings.py文件，添加以下内容：

# 开启Scrapy-Redis扩展
import scrapy_redis# 将默认的Scheduler替换为Scrapy-Redis提供的Scheduler
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 使用Redis的去重器
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 设置Redis为队列的存储方式
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# 允许暂停后，恢复之前的爬取进度
SCHEDULER_PERSIST = True
# 在Redis中保留请求队列和去重集合的时间，单位为秒
SCHEDULER_IDLE_BEFORE_CLOSE = 10# 设置Redis连接参数
REDIS_HOST = 'localhost'  # Redis服务器地址
REDIS_PORT = 6379  # Redis端口号# 启用RedisPipeline将数据存储到Redis中
ITEM_PIPELINES = {'scrapy_redis.pipelines.RedisPipeline': 300,
}

以上配置启用了Scrapy-Redis扩展并设置了Redis的连接参数，指定了使用Redis作为队列的存储方式，并使用RedisPipeline将数据存储到Redis中。

3. 创建爬虫

进入项目目录，在命令行中运行以下命令创建一个Spider：

cd myproject
scrapy genspider example example.com

这将在spiders目录下生成一个名为example.py的Spider文件。

打开example.py文件，将其内容修改为以下代码：

import scrapy
from scrapy_redis.spiders import RedisSpiderclass ExampleSpider(RedisSpider):name = 'example'allowed_domains = ['example.com']def parse(self, response):self.logger.info('Crawled (%d) %s' % (response.status, response.url))# 在这里编写你的解析逻辑# ...yield {'url': response.url,# ...}

这个Spider继承自RedisSpider，使得它能够与Scrapy-Redis扩展配合工作。在parse函数中，你可以编写你的解析逻辑，解析页面中的数据。

4. 启动爬虫节点

在命令行中运行以下命令启动爬虫节点：

scrapy crawl example

此时，爬虫节点会连接到Redis队列，并开始从队列中获取任务并执行。

5. 添加任务到队列

最后，可以通过将任务添加到Redis队列来分发给爬虫节点。可以使用以下代码将任务添加到队列中：

import redis
import json# 连接到Redis
redis_client = redis.Redis(host='localhost', port=6379)# 添加任务到队列
task = {'url': 'http://www.example.com',# ...
}
redis_client.lpush('example:start_urls', json.dumps(task))

代码通过Redis的连接客户端redis.Redis连接到Redis服务器，并将任务封装为JSON格式的字符串，然后使用lpush()方法将任务添加到名为example:start_urls的队列中。

通过以上步骤，你就可以实现使用Scrapy框架和Scrapy-Redis扩展来实现分布式爬虫。每个爬虫节点都可以从Redis队列中获取任务，并将结果存储到Redis中，实现数据的共享和分布式爬取。

并发控制与限制请求频率

并发控制与限制请求频率

当进行爬虫开发时，为了避免对目标网站造成过大的压力或触发反爬措施，我们通常需要对并发请求数量进行控制，并限制请求频率。

并发控制

并发控制是指控制同时发送给目标网站的请求数量，以避免对其服务器造成过大的负载。Scrapy提供了几种方式来实现并发控制：

  1. 在settings.py中设置CONCURRENT_REQUESTS参数来控制同时发送的请求数量。例如，可以将其设置为CONCURRENT_REQUESTS = 16。

    CONCURRENT_REQUESTS = 16

  2. 可以使用CONCURRENT_REQUESTS_PER_DOMAIN参数来限制每个域名同时发送的请求数量。例如，可以将其设置为CONCURRENT_REQUESTS_PER_DOMAIN = 8。

    CONCURRENT_REQUESTS_PER_DOMAIN = 8

  3. 还可以使用CONCURRENT_REQUESTS_PER_IP参数来限制每个IP地址同时发送的请求数量。例如，可以将其设置为CONCURRENT_REQUESTS_PER_IP = 4。

    CONCURRENT_REQUESTS_PER_IP = 4

注意：在设置并发控制参数时，要根据目标网站的承受能力和自身的网络带宽来合理调整，避免给目标网站和自己带来不必要的困扰。

限制请求频率

限制请求频率是指控制发送请求的时间间隔，以避免短时间内发送过多的请求。Scrapy提供了几种方式来实现请求频率限制：

  1. 可以在Spider中使用download_delay属性来设置每个请求之间的时间间隔（单位为秒）。

    class MySpider(scrapy.Spider):name = 'example'allowed_domains = ['example.com']start_urls = ['http://www.example.com']download_delay = 3  # 设置下载延迟为3秒def parse(self, response):# 解析页面数据pass

  2. 还可以在Spider中重写start_requests()方法，在方法中使用time.sleep()方法来控制请求的时间间隔。

    import timeclass MySpider(scrapy.Spider):name = 'example'allowed_domains = ['example.com']start_urls = ['http://www.example.com']def start_requests(self):for url in self.start_urls:time.sleep(3)  # 每个请求之间等待3秒yield scrapy.Request(url=url, callback=self.parse)def parse(self, response):# 解析页面数据pass

  3. 可以使用AUTOTHROTTLE_ENABLED参数启用自动限速扩展。

    AUTOTHROTTLE_ENABLED = True

以上是实现并发控制和请求频率限制的几种方式

未完待续…

未完待续....

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/3339.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

地下水管三维可视化综合管控平台提升政府服务质量

地下水管三维可视化综合管控平台提升政府服务质量

随着当前互联网技术数据的快速发展和增长，总数越来越大，结构越来越复杂。如果你想更清楚、更快地理解和理解数据，传统的二维平面图数据图性能不能满足需求。 什么是三维可视化? 三维可视化是一种利用计算机技术，再现三维世界中的…
阅读更多...
Spring Boot中的@EnableWebSocketMessageBroker注解是什么，原理，以及如何使用

Spring Boot中的@EnableWebSocketMessageBroker注解是什么，原理，以及如何使用

Spring Boot中的EnableWebSocketMessageBroker注解是什么，原理，以及如何使用 WebSocket是一种在Web浏览器和Web服务器之间进行双向通信的技术。在传统的HTTP通信中，客户端向服务器发送请求，服务器响应请求，然后关闭连…
阅读更多...
Redis 主从复制 哨兵 集群

Redis 主从复制 哨兵 集群

Redis 主从复制 哨兵 集群 一、Redis 主从复制1.1 Redis 主从复制介绍1.2 主从复制的作用1.3 主从复制的流程 二、搭建Redis 主从复制2.1 安装 Redis2.2 创建redis工作目录2.3 环境变量2.4 定义systemd服务管理脚本2.5 修改 Redis 配置文件（Master节点操作&#xff…
阅读更多...
ModaHub魔搭社区：向量数据库MIlvus服务端配置（三）

ModaHub魔搭社区：向量数据库MIlvus服务端配置（三）

目录 gpu 区域 logs 区域 metric_config 区域 gpu 区域 在该区域选择是否在 Milvus 里启用 GPU 用于搜索和索引创建。同时使用 CPU 和 GPU 可以达到资源的最优利用，在特别大的数据集里做搜索时性能更佳。 若要切换到 CPU-only 模式，只要将 enable 设…
阅读更多...
设计模式学习之代理模式

设计模式学习之代理模式

设计模式系列往期文章 设计模式学习之策略模式设计模式学习之策略模式在前端的应用设计模式学习之简单工厂模式设计模式学习之工厂方法模式设计模式学习之抽象工厂模式设计模式学习之策略模式和简单工厂模式的对比设计模式学习之观察者模式设计模式学习之模板方法模式 代理模…
阅读更多...
Nginx-反向代理详解

Nginx-反向代理详解

本文已收录于专栏 《中间件合集》 目录 概念说明什么是Nginx什么是反向代理 功能介绍配置过程1.修改nginx配置文件修改全局模块修改工作模块修改HTTP模块 2.保存配置文件3.重启配置文件4.查看配置文件是否重启成功 配置反向代理的好处总结提升 概念说明 什么是Nginx Nginx 是一…
阅读更多...
《企业性能测试：体系构建、落地指导与案例解读》——小解送书第四期

《企业性能测试：体系构建、落地指导与案例解读》——小解送书第四期

目录 介绍 抽奖 介绍 软件系统性能的重要性无须多言，没有哪个用户可以忍受一个响应缓慢的网站或者反应迟钝的软件。软件性能是用户体验的核心。大部分用户可能对软件性能并不了解，但他们永远想使用响应更迅速的软件。所以，性能是评估一个软…
阅读更多...
R语言多元数据统计分析在生态环境中的实践应用

R语言多元数据统计分析在生态环境中的实践应用

生态环境领域研究中常常面对众多的不同类型的数据或变量，当要同时分析多个因变量（y）时需要用到多元统计分析（multivariate statistical analysis）。多元统计分析内容丰富，应用广泛，是非常重要和…
阅读更多...
SQL开源替代品，诞生了

SQL开源替代品，诞生了

发明 SQL 的初衷之一显然是为了降低人们实施数据查询计算的难度。SQL 中用了不少类英语的词汇和语法，这是希望非技术人员也能掌握。确实，简单的 SQL 可以当作英语阅读，即使没有程序设计经验的人也能运用。 然而，面对稍稍复杂的查…
阅读更多...
【架构治理工具】在代码存储库中记录软件架构

【架构治理工具】在代码存储库中记录软件架构

Markdown 是一种标准的简单语法，用于创建具有专业外观的文档。它比 HTML 更简单，无需专门的编写编辑器即可进行管理。Git配置管理工具也支持markdown格式。在 Git 环境中，markdown 一般用于项目的简单介绍和构建说明。（自述文件&a…
阅读更多...
Vue 项目中使用WebSocket 消息推送

Vue 项目中使用WebSocket 消息推送

一、功能需求 1.这是我在后台管理项目中使用到的，主要的作用是搞一个消息提醒的功能。 2.主要有右上角的提示和有下角的消息弹框。 3.主要实现的功能是如果用户有未读的消息，那么首次登录就弹框，如果用户关闭了页面，那么再次刷新…
阅读更多...
valgrind检测内存泄漏、越界访问、野指针访问实验

valgrind检测内存泄漏、越界访问、野指针访问实验

前言 本次测试包括&#xff0c;检测无误的代码&#xff0c;检测内存泄漏&#xff0c;检测访问越界&#xff0c;检测野指针&#xff0c;检测访问已经释放(已经被free)的内存。 一 安装valgrind sudo apt install valgrind 二 无错误 #include <stdio.h> #include <…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023