使用python采集VIP会电商平台商品数据①

获取标头:

响应:服务器返回的数据

预览:查看响应得数据

载荷:查询参数/请求参数

标头:查看请求的网址/请求的标头/请求方法

数据包地址:https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2

一页的数据放在三个链接;

productIds::120个商品ID->找的商品的ID

获取商品所有ID.

-----------------------------------------------

"""
使用模块requestscsv
代码步骤发送请求获取数据解析数据保存数据
第一次请求:请求商品ID数据包->获取120个商品ID
第二次请求:获取商品详细数据链接"""
import requests# 发送请求 模拟浏览器
headers={'Referer':'https://category.vip.com/','User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'}
url='https://mapi.vip.com/vips-mobile/rest/shopping/pc/search/product/rank'
# 查询参数
data= {'callback':'getMerchandiseIds','app_name':'shop_pc','app_version':'4.0','warehouse':'VIP_BJ','fdc_area_id':'101101101','client':'pc','mobile_platform':'1','province_id':'101101','api_key':'70f71280d5d547b2a7bb370a529aeea1','user_id':'','mars_cid':'1713279016912_3b96c6831122abbb85e7319098623bdb','wap_consumer':'a','standby_id':'nature','keyword':'口红','lv3CatIds':'','lv2CatIds':'','lv1CatIds':'','brandStoreSns':'','props':'','priceMin':'','priceMax':'','vipService':'','sort':'0','pageOffset':'0','channelId':'1','gPlatform':'PC','batchSize':'120','_':'1713279066798'
}
# 发送请求
response=requests.get(url=url,params=data,headers=headers)
# 获取服务器返回的响应数据
"""
response.text获取响应文本数据
response.json()获取想的json数据->数据是由{}/[]包裹起来的
response.content获取响应二进制数据 ->图片/视频/音频/特定格式
"""
# 获取服务器返回的响应数据
"""
response.text获取响应文本数据
response.json()获取想的json数据->数据是由{}/[]包裹起来的
response.content获取响应二进制数据 ->图片/视频/音频/特定格式
"""

----------------------------------------------

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/625074.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

安全中级-环境安装(手动nginx以及自动安装php,mysql)

为了方便大家跟bilibili课程,出了第一节环境 bilibili搜凌晨五点的星可以观看相关的教程 一、环境 ubentu 二、nginx手动安装 2.1第一步 wget https://nginx.org/download/nginx-1.24.0.tar.gz 2.2下载好安装包以后解压 tar -zxvf nginx-1.21.6.tar.gz2.3安…

外面收费的彩虹自助下单系统模板

搭建教程 下载之后上传到template文件夹里面 注意带上里面的文件夹 然后去后台替换就行 源码免费下载地址抄笔记 (chaobiji.cn)

Redis: java客户端

文章目录 一、Redis的Java客户端1、Jedis(1)Jedis操作Redis(2)Jedis连接池 2、lettuce3、Redisson4、SpringDataRedis客户端(1)介绍(2)序列化(3)StringRedisT…

Flink CDC 的 debezium-json 格式和 debezium 原生格式是一回事吗?

博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,…

通过meavn引用jar包

方法一&#xff1a;引用jar包&#xff08;常用&#xff09; 创建一个lib包&#xff0c;将jar包导入lib包中 配置pom文件 <dependency><groupId>com.by</groupId><artifactId>test-jar</artifactId><version>1.0-SNAPSHOT</version>…

基于JSP的电器网上订购系统

本系统利用现在比较广泛的JSP结合后台SpringMybatisAjax编写程序的方式实现的。 在意见箱板块中&#xff0c;运用JSP通过JDBC技术和后台的数据库进行交互的方式将数据信息反馈给用户和管理员&#xff1b;在登录系统中&#xff0c;使用Ajax技术实现异步交互&#xff0c;在不更新…

[AI]windows部署Ollama

1、下载&&安装Ollama 下载地址&#xff1a;Download Ollama on Windows 1&#xff09;下载完成后直接点击exe文件进行安装即可&#xff0c;安装程序不能选择安装目录 2&#xff09;完成后执行cmd命令&#xff0c;输入ollama命令&#xff0c;如下即表示成功 2、配置模…

Flutter 插件站新升级: 加入优秀 GitHub 开源项目

Flutter 插件站新升级: 加入优秀 GitHub 开源项目 视频 https://youtu.be/qa49W6FaDGs https://www.bilibili.com/video/BV1L1421o7fV/ 前言 原文 https://ducafecat.com/blog/flutter-awesome-github-repo-download 这几天晚上抽空把 Flutter 插件站升级&#xff0c;现在支…

Rust面试宝典第4题:打家劫舍

题目 你是一个专业的小偷&#xff0c;计划偷窃沿街的房屋。每间房内都藏有一定的现金&#xff0c;影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统。如果两间相邻的房屋在同一晚上被小偷闯入&#xff0c;系统会自动报警。 给定一个代表每个房屋存放金额的非负整…

文心一言用户数突破2亿 百度官宣三大AI开发神器

在日益激烈的竞争中&#xff0c;百度正在中国AI市场努力保持领导者地位&#xff0c;文心一言用户规模突破2亿&#xff0c;较去年年底翻了一番。 4月16日周二&#xff0c;以“创造未来”为主题的Create 2024百度AI开发者大会在深圳国际会展中心举办。百度CEO李彦宏在会议上指出…

026——项目管理与由来

目录 作者有话说 项目的管理方式 develop分支管理 作者有话说 已经出了25期的文章了&#xff0c;一直没说过我在做个什么。相信大家也有这个以后&#xff0c;作者写了几M的代码到现在不会只是为了点个灯吧。要是这我几十行代码就能解决。 这是一个小故事&#xff0c;老粉丝都…

P9241 [蓝桥杯 2023 省 B] 飞机降落

原题链接&#xff1a;[蓝桥杯 2023 省 B] 飞机降落 - 洛谷 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 dfs全排列的变形题。 因为最后问飞机是否降落&#xff0c;并且一架飞机降落完毕时另一架飞机才能降落。所以我们设置dfs的两个变量cnt为安全…