分布式测试插件 pytest-xdist 使用详解

使用背景:

  1. 大型测试套件:当你的测试套件非常庞大,包含了大量的测试用例时,pytest-xdist可以通过并行执行来加速整体的测试过程。它利用多个进程或计算机的计算资源,可以显著减少测试执行的时间。
  2. 高计算资源需求:某些测试场景可能需要大量的计算资源,例如进行复杂的计算、模拟或数据处理。在这种情况下,使用pytest-xdist可以将测试任务分发给多个进程或计算机,以充分利用计算资源,加快测试速度。
  3. 并行测试需求:当你需要并行执行多个测试用例时,pytest-xdist非常有用。它可以将测试用例分发给多个进程或计算机,同时运行多个测试,从而提高整体的测试效率。

使用前提:

  1. 测试用例独立性:确保测试用例之间相互独立,不会相互干扰或依赖。由于pytest-xdist并行执行测试用例,测试用例之间的顺序是不确定的。因此,每个测试用例应该独立于其他测试用例,能够以任意顺序执行而不会影响结果。
  2. 数据共享和同步:如果测试用例之间需要共享数据或进行某种形式的同步操作,确保在使用pytest-xdist时正确处理这些情况。例如,可以使用共享的数据库或文件系统来存储和访问共享数据,或者通过网络进行通信来实现进程或计算机之间的同步。
  3. 并发问题:并行执行测试用例可能会引发并发问题,例如资源竞争、死锁等。在设计测试用例时,要特别注意并发问题,并采取适当的措施来避免或解决这些问题,例如使用互斥锁、线程安全的数据结构等。
  4. 结果收集和报告:由于测试用例在多个进程或计算机上执行,因此结果收集和报告的过程可能会有所不同。确保使用适当的机制来收集和汇总测试结果,并生成全面和准确的测试报告。
  5.  资源合理的分配使用:并行执行测试用例可能会占用大量的计算资源和内存。确保在使用pytest-xdist时,计算资源和内存的分配是合理的,以避免资源耗尽或系统崩溃

使用快速入门:

  1. 插件安装

pip3 install pytest-xdist -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

      2.  编写耗时大型用例

 

# content of test_example.pyimport pytest@pytest.mark.parametrize('input', [1, 2, 3, 4, 5])
def test_square(input):result = input ** 2assert result == input * input

定义了一个名为test_square的测试用例。它使用@pytest.mark.parametrize装饰器来指定多个输入值进行测试。在这个例子中,我们提供了输入值1、2、3、4和5

  3. 使用pytest-xdist进行分布式测试,需要在命令行中指定使用的进程数。例如,要使用4个进程进行分布式测试,可以运行以下命令:

pytest -n 4 test_example.py

  -n参数指定要使用的进程数。在这个例子中,我们使用了4个进程。当你运行上述命令时,pytest-xdist会将测试用例分发给4个进程,并在这些进程上并行执行测试。每个进程将负责执行一部分测试用例。

 4. pytest-xdist不仅可以在多进程上运行测试,还可以在多个计算机上进行分布式测试

    4.1 安装pytest-xdist插件:首先,确保在所有计算机上都安装了pytest-xdist插件。可以使用pip或conda等包管理工具进行安装。

    4.2 配置主机和从机:选择一台计算机作为主机,其他计算机作为从机。在主机和从机上创建一个配置文件(例如pytest.ini或pyproject.toml),并设置以下参数:

# pytest.ini[pytest]
addopts = -n auto

 

 4.3 启动从机:在每台从机上运行以下命令,使其准备好接收测试任务:

pytest --dist=loadscope

    4.4 启动主机:在主机上运行以下命令,开始分布式测试:

pytest test_example.py

使用小结:

1. 并不是并发进程数越多好,-n值越大越好,因为pytest-xdist的并发数量取决于多个因素,如CPU核数(主要),内存,io等计算资源。

  2. 测试用例很少,计算并不复杂,徒增繁琐。

  3.  测试套件很大时,合理利用pytest-xdist的并发数量将会节约约近一半的时间。

  4. pytest-xdist默认是无序执行的,可以通过 --dist 参数来控制顺序

 

 感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:

 这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/512376.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

保姆级GeoWebCache矢量瓦片切片流程

1矢量切片解决方案 1.1Geoserver配置geowebcache插件 参考文章 (53条消息) 独立安装geoservergeowebcache发布arcgis切片服务_itouch_ok的专栏-CSDN博客 1.将下载好的geoserver 2.19.3安装部署 将下载好的geowebcache 2.19.3的war包解压到 GeoServer 安装目录下./usr/loc…

生活干货知识:手机流量卡网速不佳的常见原因及解决办法

最近有很多的小伙伴后台留言给我,为什么有时候手机网路那么差呢?甚至连一个基本的网页都打不开,播放视频和电影更不用说了,这样严重影响了我们的使用体验,到底什么原因导致的呢?相信很多小伙伴至今仍然未清…

文件恢复软件推荐,数据恢复,很简单!

“我有一些很重要的文件被误删了,尝试了各种方法都无法找回,听说借助文件恢复软件或许有机会找回重要的数据,大家有什么比较好用的文件恢复软件推荐吗?” 在数字化时代,电脑和各种存储设备对我们来说都是比较重要的&am…

安装MySQL

一、下载安装包 官网下载地址 二、下载完成打开程序自定义安装 1. 2. 3. 下一步 下一步 4. 5. 6. 输入密码123456 安装成功

SuperPoint和SuperGlue 的算法介绍及学习应用经验分享

SuperPoint和SuperGlue 的算法介绍及学习应用经验分享 2024年01月03日 10:38186浏览 3喜欢 0评论 视频地址: SuperPoint和SuperGlue 的算法介绍及学习应用经验分享 好想 特征点匹配,为了计算位姿 特征点:关键点描述子&#xff08…

谈谈鸿蒙的跨端技术方案

这两年要说技术上最火的关键字,我想肯定离不开“鸿蒙”两个字。 不管是技术社区还是身边的开发者多多少少都在关注鸿蒙的发展趋势,特别是HarmonyOS NEXT版本将进入独立生态体系,不再兼容安卓应用,在开发者和各个企业间激起了不小…

flink重温笔记(十):Flink 高级 API 开发——flink 四大基石之 State(涉及Checkpoint)

Flink学习笔记 前言:今天是学习 flink 的第 10 天啦!学习了 flink 四大基石之 State (状态),主要是解决大数据领域增量计算的效果,能够保存已经计算过的结果数据状态!重点学习了 state 的类型划…

linux 将 api_key设置环境变量里

vi ~/.bashrc在最后添加api_key的环境变量 export GEMINI_API_KEYAIza**********WvpX7FwbdM刷新配置 source ~/.bashrc使用python 读取环境变量 import os gemini_api_key os.getenv(GEMINI_API_KEY) print(gemini_api_key)

如何将传统元素应用到跨界营销中?媒介盒子支招

近年来,传统文化在越来越多的场景中被提及,人们对于历史文化遗产的兴趣也越来越浓厚,通过互联网,我们能看到更多文化、文物的出镜和展现都是用年轻人更容易接受的方式出现, 有许多品牌也在营销活动中融入传统元素来提…

el-select下拉框选项分多列展示

前言 相信很多开发者在实际项目开发过程中都会使用到 element-ui 组件库中的 Select 选择器,这个选择器官方是默认只用一列去展示所有的选项信息,当我们需要展示的选项内容比较多时用户只能通过滚动条去查找,多少会影响操作效率,本…

Android之Handler原理解析与问题分享

一、Handler运行原理剖析 1.关系剖析图 如果把整个Handler交互看做一个工厂,Thread就是动力MessageQueue是履带Looper是转轴Loooper的loop方法就是开关,当调用loop方法时整个工厂开始循环工作,处理来自send和post提交到MessageQueue的消息&a…

【DC-DC】AP5160宽电压 LED 降压型恒流芯片

产品描述 AP5160 是一款效率高,稳定可靠的 LED 灯恒流驱动控制芯片,内置高精度比较器,固定 关断时间控制电路,恒流驱动电路等,特别适合大功率 LED 恒流驱动。 AP5160 采用 SOT23-6 封装,通过调节外置电流…