【Selenium】提高测试爬虫效率：Selenium与多线程的完美结合

前言

使用Selenium 创建多个浏览器，这在自动化操作中非常常见。

而在Python中，使用 Selenium + threading 或 Selenium + ThreadPoolExecutor 都是很好的实现方法。

应用场景：

  • 创建多个浏览器用于测试或者数据采集；
  • 使用Selenium 控制本地安装的 chrome浏览器 去做一些操作
  • …

文章提供了 Selenium + threading 和 Selenium + ThreadPoolExecutor 结合的代码模板，拿来即用。

知识点📖📖

上面两个都是 Python 内置模块，无需手动安装~

导入模块

import threading
from concurrent.futures import ThreadPoolExecutor, as_completed

多线程还是线程池？

在Selenium中，使用 多线程 或者是 线程池，差别并不大。主要都是网络I/O的操作。

在使用 ThreadPoolExecutor 的情况下，任务将被分配到不同的线程中执行，从而提高并发处理能力。与使用 threading 模块相比，使用 ThreadPoolExecutor 有以下优势:

  • 更高的并发处理能力：线程池 可以动态地调整线程数量，以适应任务的数量和处理要求，从而提高并发处理能力。
  • 更好的性能：线程池 可以根据任务的类型和大小动态地调整线程数量，从而提高性能和效率。
  • …

总之，使用 线程池 可以提高并发处理能力，更易于管理，并且可以提供更好的性能和效率。

但是选择多线程，效果也不差。

所以使用哪个都不必纠结，哪个代码量更少就选哪个自然是最好的。

多个浏览器✨

Selenium自动化中需要多个浏览器，属于是非常常见的操作了。

不管是用于自动化测试、还是爬虫数据采集，这都是个可行的方法。

这里示例的代码中，线程池的运行时候只有 多线程 的一半！！！

多线程与 多 浏览器🧨

这份代码的应用场景会广一些，后续复用修改一下 browser_thread 函数的逻辑就可以了。

这里模拟相对复杂的操作，在创建的浏览器中新打开一个标签页，用于访问指定的网站。

然后切换到新打开的标签页，进行截图。

代码释义：

  • 定义一个名为 start_browser 的函数，用于创建 webdriver.Chrome 对象。
  • 定义一个名为 browser_thread 的函数，接受一个 webdriver.Chrome 对象和一个整数作为参数，用于打开指定网页并截图。 切换到最后一个窗口，然后截图。
  • main函数创建了5个浏览器，5个线程，执行上面的操作，然后等待所有线程执行完毕。
# -*- coding: utf-8 -*-
# Name: multi_thread.py
# Author: 小月
# Date: 2023/10/26 20:00
# Description:
import threading
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
def start_browser():
service = ChromeService(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)
return driver
def browser_thread(driver: webdriver.Chrome, idx: int):
url_list = ['https://www.csdn.net/', 'https://www.baidu.com',
'https://music.163.com/', 'https://y.qq.com/', 'https://cn.vuejs.org/']
try:
driver.execute_script(f"window.open('{url_list[idx]}')")
driver.switch_to.window(driver.window_handles[-1])
driver.save_screenshot(f'{idx}.png')
return True
except Exception:
return False
def main():
for idx in range(5):
driver = start_browser()
threading.Thread(target=browser_thread, args=(driver, idx)).start()
# 等待所有线程执行完毕
for thread in threading.enumerate():
if thread is not threading.current_thread():
thread.join()
if __name__ == "__main__":
main()

运行结果

  • 运行时长在9.28秒（速度与网络环境有很大关系，木桶效应，取决于最后运行完成的浏览器
  • 看到程序运行完成后，多出了5张截图。

线程池与 多 浏览器🎍

这份代码与 多线程与 多浏览器 的操作基本一致。速度上却比多线程节省了一半。

# -*- coding: utf-8 -*-
# Name: demo2.py
# Author: 小月
# Date: 2023/10/26 20:00
# Description:
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from concurrent.futures import ThreadPoolExecutor, as_completed
MAX_WORKERS = 5
service = ChromeService(ChromeDriverManager().install())
def start_browser():
driver = webdriver.Chrome(service=service)
return driver
def browser_task(driver: webdriver.Chrome, idx: int):
url_list = ['https://www.csdn.net/', 'https://www.baidu.com',
'https://music.163.com/', 'https://y.qq.com/', 'https://cn.vuejs.org/']
try:
driver.execute_script(f"window.open('{url_list[idx]}')")
driver.switch_to.window(driver.window_handles[-1])
driver.save_screenshot(f'{idx}.png')
return True
except Exception:
return False
def main():
executor = ThreadPoolExecutor(max_workers=MAX_WORKERS)
ths = list()
for idx in range(5):
driver = start_browser()
th = executor.submit(browser_task, driver, idx=idx)
ths.append(th)
# 获取结果
for future in as_completed(ths):
print(future.result())
if __name__ == "__main__":
main()

运行结果

  • 运行时长在4.5秒（运行效果图不是很匹配，但确实是比多线程快很多。
  • 看到程序运行完成后，多出了5张截图。

多个标签页

这个的应用场景有点意思。

这里的操作与上面的 多个浏览器其实是差不多的。

区别在于：上面打开多个浏览器，这里打开多个标签页。

所以这个需要考量一个问题：资源争夺。与是这里用上了 threading.Lock 锁，用以保护资源线程安全。

多线程与 多 标签页🎃

代码释义：

与上面差不多，不解释了。

# -*- coding: utf-8 -*-
# Name: demo2.py
# Author: 小月
# Date: 2023/10/26 20:00
# Description:
import threading
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
service = ChromeService(ChromeDriverManager().install())
lock = threading.Lock()
def start_browser():
driver = webdriver.Chrome(service=service)
return driver
def browser_thread(driver: webdriver.Chrome, idx: int):
url_list = ['https://www.csdn.net/', 'https://www.baidu.com',
'https://music.163.com/', 'https://y.qq.com/', 'https://cn.vuejs.org/']
try:
lock.acquire()
driver.execute_script(f"window.open('{url_list[idx]}')")
driver.switch_to.window(driver.window_handles[idx + 1])
driver.save_screenshot(f'{idx}.png')
return True
except Exception:
return False
finally:
lock.release()
def main():
driver = start_browser()
for idx in range(5):
threading.Thread(target=browser_thread, args=(driver, idx)).start()
# 等待所有线程执行完毕
for thread in threading.enumerate():
if thread is not threading.current_thread():
thread.join()
if __name__ == "__main__":
main()

运行结果

线程池与 多 标签页👀

这里不展示运行结果了，因为效果与 多线程与 多 标签页 一致。

# -*- coding: utf-8 -*-
# Name: thread_pool.py
# Author: 小月
# Date: 2023/10/26 20:00
# Description:
import time
import threading
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from concurrent.futures import ThreadPoolExecutor, as_completed
MAX_WORKERS = 5
service = ChromeService(ChromeDriverManager().install())
lock = threading.Lock()
def start_browser():
driver = webdriver.Chrome(service=service)
return driver
def browser_task(driver: webdriver.Chrome, idx: int):
url_list = ['https://www.csdn.net/', 'https://www.baidu.com',
'https://music.163.com/', 'https://y.qq.com/', 'https://cn.vuejs.org/']
try:
lock.acquire()
driver.execute_script(f"window.open('{url_list[idx]}')")
driver.switch_to.window(driver.window_handles[idx + 1])
driver.save_screenshot(f'{idx}.png')
return True
except Exception:
return False
finally:
lock.release()
def main():
driver = start_browser()
executor = ThreadPoolExecutor(max_workers=MAX_WORKERS)
ths = list()
for idx in range(5):
th = executor.submit(browser_task, driver, idx=idx)
ths.append(th)
# 获取结果
for future in as_completed(ths):
print(future.result())
if __name__ == "__main__":
st = time.time()
main()
et = time.time()
print(et - st)

总结⚡⚡

本文章介绍了 Selenium + threading 和 Selenium + ThreadPoolExecutor 来创建多个浏览器或多个标签页的操作。

文中示例的代码比较简单，所以 线程池 比 多线程 运行的更加快。

但在实际的使用过程中，可以根据自己的喜好去选择 线程池 还是 多线程 。

后话

本次分享到此结束，

see you~🐱‍🏍🐱‍🏍

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/151312.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

杂牌行车记录仪特殊AVI结构恢复案例

杂牌行车记录仪特殊AVI结构恢复案例

最近遇到一个杂牌的行车记录仪需要恢复数据，其使用AVI格式，但是在扫描恢复的过程中却发现厂家对其AVI结构进行了“魔改”致程序无法正常识别 故障存储:16G SD卡 fat32文件系统 故障现象: 16G的SD卡，在发生事故后客户尝试自行接到手机上读…
阅读更多...
①【数据库操作】 MySQL数据库的查询、创建、删除、使用。

①【数据库操作】 MySQL数据库的查询、创建、删除、使用。

个人简介：Java领域新星创作者；阿里云技术博主、星级博主、专家博主；正在Java学习的路上摸爬滚打，记录学习的过程~ 个人主页：.29.的博客 学习社区：进去逛一逛~ 目录 数据库相关概念数据库的查询、创建、删除…
阅读更多...
计算机毕设 基于CNN实现谣言检测 - python 深度学习 机器学习

计算机毕设 基于CNN实现谣言检测 - python 深度学习 机器学习

文章目录 1 前言1.1 背景 2 数据集3 实现过程4 CNN网络实现5 模型训练部分6 模型评估7 预测结果8 最后 1 前言 Hi，大家好，这里是丹成学长，今天向大家介绍 一个深度学习项目 基于CNN实现谣言检测 1.1 背景 社交媒体的发展在加速信息传播的…
阅读更多...
P1494 [国家集训队] 小 Z 的袜子

P1494 [国家集训队] 小 Z 的袜子

这一题是一个关于多次查询区间状态的一个问题，暴力肯定会超限，但是可以用莫队来优化暴力。 莫队的思想就是，用上一个区间的状态来更新当前区间的状态。 问题就是状态怎么更新以及求出当前区间的状态、也就是有多少对相同的袜子以及总共有多…
阅读更多...
SpringCloudAlibaba实战-nacos集群部署

SpringCloudAlibaba实战-nacos集群部署

写在前面：在学习阶段，我们想快速学习SpringCloudAlibaba功能，但总是花费大量时间跟着视频或博客做组件配置。由于版本的更迭，我们学习时的组件版本很可能和作者的不一致，又或者是各自环境不一，只能一坑又一…
阅读更多...
【Javascript】输入一个数字计算一个数的阶乘

【Javascript】输入一个数字计算一个数的阶乘

function test(n){if(n1){return n;}else{return n*test(n-1);}} console.log(test(3));首先判断参数等于1的时候，结果返回他的自身 如果不等于1则返回n*test(n-1) 传入参数为3，3*test(2) test(2)又调用了一遍函数，2*test（1&…
阅读更多...
Android开发知识学习——HTTP基础

Android开发知识学习——HTTP基础

文章目录 学习资源来自：扔物线HTTPHTTP到底是什么HTTP的工作方式URL ->HTTP报文List itemHTTP的工作方式请求报文格式：Request响应报文格式：ResponseHTTP的请求方法状态码 HeaderHostContent-TypeContent-LengthTransfer: chunked (分块传…
阅读更多...
CoDeSys系列-3、Windows运行时软PLC主站和p-net从站IO设备组网测试

CoDeSys系列-3、Windows运行时软PLC主站和p-net从站IO设备组网测试

CoDeSys系列-3、Windows运行时软PLC主站和p-net从站IO设备组网测试 文章目录 CoDeSys系列-3、Windows运行时软PLC主站和p-net从站IO设备组网测试一、前言二、Windows运行时软plc配置编程1、安装Windows下的运行时扩展包（非必要）2、创建项目2.1、创建标准…
阅读更多...
ue5 右击.uproject generator vs project file 错误

ue5 右击.uproject generator vs project file 错误

出现如下错误 Unable to find valid 14.31.31103 C toolchain for VisualStudio2022 x64 就算你升级了你的 vs installer 也不好使 那是因为 在C:\Users\{YourUserName}\AppData\Roaming\Unreal Engine\UnrealBuildTool\BuildConfiguration.xml 这个缓存配置文件中写死了 14…
阅读更多...
ubuntu tools

ubuntu tools

1 cloc calculate lines of your code sudo apt-get install cloccloc ./file
阅读更多...
轻量封装WebGPU渲染系统示例＜3＞-纹理立方体(源码)

轻量封装WebGPU渲染系统示例＜3＞-纹理立方体(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/version-1.01/src/voxgpu/sample/ImgTexturedCube.ts 此示例渲染系统实现的特性: 1. 用户态与系统态隔离。 2. 高频调用与低频调用隔离。 3. 面向用户的易用性封装。 4. 渲染数据和渲染机制分离。 5…
阅读更多...
Pytorch入门实例

Pytorch入门实例

数据集是受教育年限和收入,如下图 代码如下 import torch import numpy as np import matplotlib.pyplot as plt import pandas as pd import torch.nn as nn import torch.optim as optimdata pd.read_csv(./Income.csv)X torch.from_numpy(data.Education.values.reshape…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023