爬虫工作量由小到大的思维转变---<第四十五章 Scrapyd 关于gerapy遇到问题>

前言:

本章主要是解决一些gerapy遇到的问题,会持续更新这篇!

正文:

问题1:

1400 - build.py - gerapy.server.core.build - 78 - build - error occurred (1, ['E:\\项目文件名\\venv\\Scripts\\python.exe', 'setup.py', 'clean', '-a', 'bdist_uberegg', '-d', 'C:\\Users\\Administrator\\AppData\\Local\\Temp\\gerapy-2ngnjwab'])
INFO - 2024-02-04 15:42:47,928 - process: 1400 - build.py - gerapy.server.core.build - 24 - build - successfully build project jihai to egg file None

------就是爬虫项目无法正常打包!

分析问题:

1.一开始以为是python版本的问题,然而不是的! 直接去缓存里面找错误日志:

2.调整思路

检查 setuptools 的版本

有时候问题可能与特定版本的 setuptools 有关。

1.检查依赖包版本号:
pip list
2.升级setuptools试试看:
pip install -U setuptools


3.搞定!


问题2:

描述:项目部署后,运行爬虫启动不起来;报错:

问题分析:

尽管使用的可能是 Twisted(一个异步网络框架,Scrapy 的依赖之一)和 Scrapyd,但在 Windows 系统上运行时,Twisted 需要 pywin32 来正确处理进程的启动。

解决:

环境下安装

pip install pywin32

成功:​​​​​​​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/460638.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[linux]:匿名管道和命名管道(什么是管道,怎么创建管道(函数),匿名管道和命名管道的区别,代码例子)

目录 一、匿名管道 1.什么是管道?什么是匿名管道? 2.怎么创建匿名管道(函数) 3.匿名管道的4种情况 4.匿名管道有5种特性 5.怎么使用匿名管道?匿名管道有什么用?(例子) 二、命名…

《女神异闻录3 Reload》评价怎么样?Mac电脑怎么玩《女神异闻录3 Reload》?女神异闻录3销量超100万 女神异闻录3攻略

Atlus官方于今日宣布,《女神异闻录3:Reload》的销量已经突破了100万份,为Atlus史上销售速度最快的作品。现在超人气游戏《女神异闻录3:Reload》在苹果电脑上也能玩了。那么《女神异闻录3 Reload》评价怎么样?Mac电脑怎…

web前端------弹性盒子

display属性,用于指定元素的盒子类型。 属性值flex,表示生成一个弹性容器,简称容器。 容器中每一个子元素都叫做项目。 我们知道了弹性盒子由容器和项目组成。 而CSS中提供了很多属性来实现弹性布局,按照作用范围的不同&#…

汇编笔记 01

小蒟蒻的汇编自学笔记,如有错误,望不吝赐教 文章目录 笔记编辑器,启动!debug功能CS & IPmovaddsub汇编语言寄存器的英文全称中英对照表muldivandor 笔记 编辑器,启动! 进入 debug 模式 debug功能 …

SpringBoot源码解读与原理分析(八)ApplicationContext

文章目录 3.1.2 ApplicationContext3.1.2.1 ApplicationContext根接口3.1.2.2 ConfigurableApplicationContext3.1.2.3 EnvironmentCapable3.1.2.4 MessageSource3.1.2.5 ApplicationEventPublisher3.1.2.6 ResourcePatternResolver3.1.2.7 AbstractApplicationContext3.1.2.8 …

vue前端RSA使用公钥进行加密,公钥进行解密

记录下RSA使用公钥进行加密,公钥进行解密: 背景:由于项目要求前后端进行数据加密传输,具体数据使用aes进行加密,aes密钥使用rsa进行加密,加密后的aes密钥放在请求头和响应头进行传输。这里实现的是前端vue…

入门指南|Chat GPT 的兴起:它如何改变数字营销格局?

随着数字营销的不断发展,支持数字营销的技术也在不断发展。OpenAI 的 ChatGPT 是一项备受关注的突破性工具。凭借其先进的自然语言处理能力,ChatGPT 已被证明是全球营销人员的宝贵资产。在这份入门指南中,我们将探讨Chat GPT对数字营销专家及…

【HarmonyOS应用开发】HTTP数据请求(十四)

文章末尾含相关内容源代码 一、概述 日常生活中我们使用应用程序看新闻、发送消息等,都需要连接到互联网,从服务端获取数据。例如,新闻应用可以从新闻服务器中获取最新的热点新闻,从而给用户打造更加丰富、更加实用的体验。 那么…

React + SpringBoot + Minio实现文件的预览

思路:后端提供接口,从minio获取文件的预览链接,返回给前端,前端使用组件进行渲染展示 这里我从minio获取文件预览地址用到了一个最近刚开源的项目,挺好用的,大伙可以试试,用法也很简单 官网&am…

Netty的常用组件及线程模型设计(二)

Channel、EventLoopGroup和ChannelFuture Netty网络抽象的代表: Channel–Socket EventLoop–控制流、多线程处理、并发 ChannelFuture–异步通知 Channel和EventLoop关系如图: 我们可以看出Channel需要被注册到某个EventLoop上,在Channel整个声明周期内部都由这个…

mmpose单机多卡训练问题

当使用单卡训练时运行命令:python tools/train.py ${CONFIG_FILE} [ARGS]是可以跑通的,但是使用官方提供的:bash ./tools/dist_train.sh ${CONFIG_FILE} ${GPU_NUM} [PY_ARGS]进行单机多卡训练时却报如下错误: .... torch.cuda.O…

C语言--------指针(1)

0.指针&指针变量 32位平台,指针变量是4个字节(32bit/84)--------x86 64位平台,指针变量是8个字节(64bit/88)--------x64 编号指针地址;我们平常讲的p是指针就是说p是一个指针变量; ************只要…