python爬虫来抓取闲鱼二手机信息,小赚一笔

虽然海鲜市场现在已经不如以前了,但是还是可以捡漏的,省钱也是赚钱,最近正好有换机的准备,每天刷来刷去的浪费了好多时间,也会进入选择困难症。

参考了一些大神的思路写法,写了个简单抓取指定需求的爬虫代码,把自己想要的信息全部列出来。

主要列出了以下需求:机型,价格区间,回复率,信用高,个人玩家,一个简单的思路就可以出来

import requests
from bs4 import BeautifulSoup# 使用代理
#免费领取爬虫ip:	http://www.jshk.com.cn/mb/reg.asp?kefu=xjy&csdn
proxies = {'http': 'http://10.10.1.10:3128','https': 'http://10.10.1.10:1080',
}# 发送请求
url = 'https://www.xianyu.com'  # 请替换为你要爬取的网页地址
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers, proxies=proxies)# 解析网页
soup = BeautifulSoup(response.text, 'html.parser')# 提取信息
items = soup.find_all('div', class_='item-info')  # 请根据实际的HTML结构进行修改
for item in items:title = item.find('h2').textprice = float(item.find('span', class_='price').text)  # 假设价格是一个浮点数reply_rate = float(item.find('span', class_='reply-rate').text)  # 假设回复率是一个浮点数credit = item.find('span', class_='credit').text  # 假设信用是一个字符串# 检查机型if 'iphone13' not in title.lower() and 'iphone14' not in title.lower() and 'iphone15' not in title.lower():continue# 检查价格if price < 3000 or price > 5000:continue# 检查回复率if reply_rate < 0.8:  # 假设你希望回复率至少为80%continue# 检查信用if credit != '优秀':continueprint(f'{title}: {price}')

在你的代码中,你需要在提取信息部分添加筛选条件,以满足你的特定需求。这需要你对HTML结构有深入的了解,以便找到正确的标签和类。

要强调的是,网络爬虫可能会对网站服务器造成压力,过度使用可能会导致你的IP被封。请尽量减少请求频率,并尊重网站的robots.txt文件。

这些都只是简单的思路,重要的是灵活应用,淘机是不是也很简单,总要给生活多点小插曲,不然生活太单调了,程序员的日子就得多字多样,不然写代码干嘛。

欢迎交流,欢迎私信或平台,广交天下好友,少来抬杠。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/255160.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开源MES/免费MES/开源MES生产流程管理

一、什么是MES生产管理流程 生产管理系统&#xff08;又称制造执行系统&#xff09;是一种集成了计划、生产、质量控制、库存管理和材料申请等生产流程的管理系统。工厂生产管理流程是企业中实现高效生产的重要一环。 二、工厂生产管理流程的步骤 步骤一&#xff1a;计划和排…

测试工程师必须要知道的单元测试框架Junit详解

作为一名测试工程师&#xff0c;相信你或多或少的接触过单元测试&#xff0c;对于测试来讲它是一门能够区分专业开发人员与业余开发人员的重要学科&#xff0c;这篇文章将对java中最常见的一个单元测试框架junit进行一个梳理和讲解。如果你之前没接触过&#xff0c;那么就通过这…

如何使用Net2FTP轻松部署本地Web文件管理器并远程访问管理内网资源?

文章目录 1.前言2. Net2FTP网站搭建2.1. Net2FTP下载和安装2.2. Net2FTP网页测试 3. cpolar内网穿透3.1.Cpolar云端设置3.2.Cpolar本地设置 4.公网访问测试5.结语 1.前言 文件传输可以说是互联网最主要的应用之一&#xff0c;特别是智能设备的大面积使用&#xff0c;无论是个人…

MYSQL练题笔记-高级查询和连接-最后一个能进入巴士的人

一、题目相关内容 1&#xff09;相关的表和题目 2&#xff09;帮助理解题目的示例&#xff0c;提供返回结果的格式 二、自己初步的理解 一群人要上巴士但是巴士有体重限制&#xff0c;那只能有限个人才能上去 最后输出这个最后一个上去还不超重的人的名字 我认为首先要缩小…

祝大雪节气安康,大雪动态表情包图片带字祝福大全,大雪快乐暖心问候祝福语

1、大雪节气&#xff0c;送你防寒秘笈&#xff1a;1、天寒地冻防路滑;2、寒风呼啸防感冒;3、寒气袭人防哮喘;4、戴上耳套防冻耳;5、戴上手套防冻手;6、穿上棉鞋防冻脚;7、多喝开水防上火。8、加强锻炼防疾患。祝健康快乐。 2、奉天承运&#xff0c;皇帝诏曰&#xff1a;大雪节气…

Rook-ceph(1.12.9最新版)

官网的步骤 git clone --single-branch --branch v1.12.9 https://github.com/rook/rook.git cd rook/deploy/examples kubectl create -f crds.yaml -f common.yaml -f operator.yaml kubectl create -f cluster.yaml整理后的已经替换好的国内镜像的 git clone https://gite…

家政小程序源码,师傅竞价接单

家政预约上门服务小程序开发方案&#xff0c;php开发语言&#xff0c;前端是uniapp&#xff0c;有成品源码&#xff0c;可以二开&#xff0c;可以定制。 一家政小程序用户端功能&#xff1a;服务分类、在线预约、在线下单。 师傅端&#xff1a;在线接单&#xff0c;竞价&…

浏览器开发者工具使用(F12)

F12 第一个按钮&#xff1a;停止和开启按钮&#xff0c;默认是开启抓包 第二个按钮&#xff1a;清空抓包记录 第三个按钮&#xff1a;过滤器&#xff0c;可以通过搜索想要的关键字 第四个按钮&#xff1a;保留日志&#xff08;建议必须勾上&#xff0c;不然有些跳转页面无法…

python-sql-spark常用操作

数据抽取提速&#xff1a; 1. 不要把rdd或者df展示出来&#xff0c;只有第一遍跑流程的时候看看中间结构&#xff0c;后面就只保存不展示。 2. 尽量使用spark.sql&#xff0c;而不是rdd。sql处理groupby会快很多。基本上10min的rdd&#xff0c;sql只需2min。所以基本除了复杂…

体育类直播介绍

体育类直播是指以体育比赛为主题的网络直播&#xff0c;包括各种类型的体育赛事&#xff0c;如足球、篮球、网球、赛车等。这种类型的直播内容通常由主播对体育赛事进行实时解说和评论&#xff0c;吸引观众的关注和互动。 在体育类直播中&#xff0c;主播通常会选择自己擅长和…

三种基于路径跟踪的位相解包裹算法比较

目录 1. 枝切法(Branch Cut&#xff0c;简称 BC) 2 质量图导向的路径跟踪算法(Quality Guide&#xff0c;简称QG) 3 菱形算法(Rhombus Alogrithm&#xff0c;简称 RA) 1. 枝切法(Branch Cut&#xff0c;简称 BC) 美国的 JPL实验室的 Goldstein和 Zebker等人在1986年提出的枝…

【玩转TableAgent 数据智能分析】-- 数据分析不再是专业人士的专利

文章目录 前言一、TableAgent介绍TableAgent 数据分析智能体融合创新应用的新成果Table Family 二、注册TableAgent访问TableAgent注册用量 三、 体验TableAgent样例数据集体验选择样例数据集样例数据集进行数据分析数据图 样例数据集进行数据分析规定图表格式数据图 自定义数据…