使用 scrapyd 部署 scrapy

1.scrapyd 是什么?
Scrapyd 是一个用于部署和运行 Scrapy 爬虫项目的服务器应用程序。它使得你可以通过 HTTP 命令来部署、管理和执行多个 Scrapy 爬虫,非常适合持续集成和生产环境中的爬虫部署。
2.安装scrapyd 并使用
2.1 安装 scrapyd

F:\scrapydTest>pip install scrapyd

在这里插入图片描述
2.2 启动scrapyd

F:\scrapydTest>scrapyd

在这里插入图片描述
2.3修改配置文件,并添加 bat 文件
在这里插入图片描述
在这里插入图片描述
添加bat 文件:D:\Python\Python310\ 是python安装路径
在这里插入图片描述

@echo off
"D:\Python\Python310\python.exe" 
"D:\Python\Python310\Scripts\scrapyd-deploy" %*

执行 scrapyd 效果
在这里插入图片描述
2.4 安装客户端并运行客服端

F:\scrapydTest>pip install scrapyd-client

运行客服端

F:\scrapydTest>scrapyd-deploy
Error: no Scrapy project found in this location

2.5 部署项目到 scrapyd ,进入 scrapy 项目,修改配置.cfg
命令:scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可用浏览器直接访问:

http://localhost:6800/listjobs.json?project=itcastScrapy

在这里插入图片描述

参考文档:https://blog.csdn.net/weixin_44799217/article/details/122211609

以上是scrapyd 部署scrapy 项目的简单应用,目前正在学习scrapyd 相关知识,大家有相关内容的学习资料可以评论共享哦

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/679848.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI实景模型无人自动直播助手.减少商家在短视频线上卖货的成本,开启无人直播新时代!

在互联网时代,直播已经成为信息传播的主流方式,尤其是在年轻人中,直播更是备受追捧。然而,对于许多想要尝试直播的人来说,缺乏合适的主播可能成为一大障碍。那么,面对这一难题,如何实现手机无人…

无刷电机和有刷电机的区别

无刷电机和有刷电机的区别 无刷电机的定子上绕着线圈,线圈通常是成对出现的,通过控制电路为每一对线圈按照一定顺序输入电流,就可以产生旋转的磁场 它还有一个永磁体转子,现在多采用高磁能级的稀土铷铁硼材料,体积更小…

钉钉开放平台创建企业内部H5微应用或者小程序

前言: 在当今企业数字化转型的浪潮中,创建企业内部H5微应用或小程序已成为提升工作效率和促进内部沟通的重要举措。发话不多说本文将介绍如何利用钉钉平台快速创建这些应用,让企业内部的工作更加便捷高效。 步骤 1.在浏览器打开链接…

Linux中每当执行‘mount’命令(或其他命令)时,自动激活执行脚本:输入密码,才可以执行mount

要实现这个功能,可以通过创建一个自定义的mount命令的包装器(wrapper)来完成。这个包装器脚本会首先提示用户输入密码,如果密码正确,则执行实际的mount命令。以下是创建这样一个包装器的步骤: 创建一个名为…

2024.5.12 机器学习周报

引言 Abstract 文献阅读 1、题目 Deep High-Resolution Representation Learning for Human Pose Estimation 2、引言 在本文中,我们感兴趣的是人类姿态估计问题,重点是学习可靠的高分辨率表示。大多数现有的方法从由高到低分辨率网络产生的低分辨…

pdf2htmlEX:pdf 转 html,医学指南精细化处理第一步

pdf2htmlEX:pdf 转 html,医学指南精细化处理第一步 单文件转换多文件转换 代码:https://github.com/coolwanglu/pdf2htmlEX 拉取pdf2htmlEX 的 Docker: docker pull bwits/pdf2htmlex # 拉取 bwits/pdf2htmlex不用进入容器&…

【教程】超简单!如何将“在VSCode中打开”添加到右键菜单中

按照以下步骤进行操作: 打开注册表编辑器: 按下 Win R 组合键打开运行对话框。输入 regedit 并按下 Enter 键打开注册表编辑器。 导航到适当的注册表项: 转到以下注册表项:HKEY_CLASSES_ROOT\Directory\Background\shell 创建…

Java进程排查CPU飙升方法

1. top查看CPU占用情况 # 使用top指令 top注: shftp按照cpu占用进行排序,按shiftm按照内存占用进行排序 如图: 2. 定位该进程的线程信息 top -Hp PID 如: top -Hp 10255解析: top:是一个实时的系统监视…

警情预测:天气、季节与节假日的交织影响

在预测未来七天的警情时,我们必须综合考虑多种因素,尤其是那些已知的对社会稳定具有潜在影响的警情类型,如交通事故、打架斗殴、赌博案件、盗窃案件以及矛盾纠纷。同时,不可忽视的是天气、季节和节假日等因素对警情发生概率的显著…

注意力机制篇 | YOLOv8改进之在C2f模块添加ParNetAttention注意力机制

前言:Hello大家好,我是小哥谈。ParNetAttention是一种用于自然语言处理任务的注意力机制,它是由谷歌在2019年提出的。ParNetAttention旨在解决传统注意力机制在处理长序列时的效率问题。传统的注意力机制在计算注意力权重时,需要对所有输入序列的位置进行逐一计算,这导致了…

【项目实战】使用Yolov8 + tesseract 实现身份证信息解析(OCR) + 输入可为图片或者pdf + 完整代码 + 整体方案 + 全网首发

本项目可用于实验,毕业设计参考等。整体效果如下所示: 说明:图片来源于网络,如有侵权,请联系作者删除。 目录 一 数据集制作

洛谷 P4148:简单题 ← KD-Tree模板题

【题目来源】https://www.luogu.com.cn/problem/P4148【题目描述】 你有一个 NN 的棋盘,每个格子内有一个整数,初始时的时候全部为 0,现在需要维护两种操作: ● 1 x y A → 1≤x,y≤N,A 是正整数。将格子 (x,y) 里的数…