websocket爬虫

人群看板需求分析

先找到策略中心具体的数据。对应数据库中的数据

看看接口是否需要被逆向

  1. 点开消费者细分，可以找到人群包（人群名称）
    在这里插入图片描述

  2. 点击查看透视
    在这里插入图片描述

label字段分类:

在这里插入图片描述

预测年龄：tagTitle

在这里插入图片描述

苹果id（perspecttaskId）——>详细标签数据信息接口

在这里插入图片描述

负载信息

在这里插入图片描述

响应数据信息
{"rate": 20.955497819874278,"tagValue": "917007982","count": -1,"nullCount": 0,"nullRate": 0,"nullEncryptedCount": 0,"tagName": "daas_tag_pred_age_level_20200415093010","tagValueName": "[18,24]"
}

在这里插入图片描述

——>苹果ID接口（id）

在这里插入图片描述

响应数据信息
 {"throwed": false,"gmtModified": 1689168616000,"statusInfo": "","isReplace": false,"description": "","crowdAdbStatus": 1,"baseId": "026130413","source": "STRATEGY_CUSTOM","isThrowed": false,"uniMemberReportAuth": null,"syncValid": true,"inheritable": false,"rootSource": null,"gmtUpdate": 1689168616000,"uniMemberReportInfo": null,"validInDatahub": false,"perspective": 1,"id": 66703384,"gmtUpdateReal": null,"blurred": true,"statusInfoCode": 0,"category2": "STRATEGY_CUSTOM","category3": "STRATEGY_CUSTOM","canUpdate": false,"crowdDivisionStatus": null,"reportId": 7744917,"category1": "STRATEGY_CUSTOM","withConditionGroup": true,"count": 22000,"gmtCreate": 1689168568000,"customType": "","fullLinkPlatform": "NOT_FULL_LINK","brandId": "64284","updateSettedFlag": false,"name": "苹果已购人群-23-6","reportStatusInfo": "","sourceName": null,"smartId": 914,"projectId": 183575,"status": "CREATED"},
问题

在做完上述分析之后我很疑惑，这个获取详细标签数据信息的接口总是刷新不出来。如果一个网站的接口，刷新之后就找不到了，是什么原因呢？和缓存有关系吗？。。。后来发现这不是普通的HTTP爬虫啦。换了一种协议传输数据。

后续的分析我们着重讲一下案例的原理和实战干货。因为博主很苦逼的研究了一周，发现网上关于websocket的案例实在不多，大多都是讲原理，那咋不去教前端捏。哈哈。少有的案例，不是国外的网站，就是需要加密破解。正好。因为网站的特殊性，没有对相关的请求信息做加密处理。所以可以很纯粹的给大家讲讲websocket非异步爬虫实战，分享一下我辛苦一周钻研出来的小小心得。

浅浅展示一下博主努力做案例的过程。

加密的数据

在这里插入图片描述

看到这里麻烦点个赞和关注，精彩的要来了

websocket爬虫

原理：

我特意做了一个流程图，因为我发现很多博文中都把websocket请求和接收数据的过程原理化了，这样实际调用的方法和实际操作不能匹配。这也是我困扰很久的地方。

在这里插入图片描述

WS协议请求demo
def on_message(ws, message):print(message)def on_error(ws, error):print(error)def on_close(ws, close_status_code, close_msg):print("### closed ###")def on_open(ws):def run(*args):for i in range(3):time.sleep(1)ws.send("Hello %d" % i)time.sleep(1)ws.close()print("thread terminating...")_thread.start_new_thread(run, ())# wss://ws-insight-engine.tmall.com/
if __name__ == "__main__":websocket.enableTrace(True)ws = websocket.WebSocketApp("wss://ws-insight-engine.tmall.com/", on_open=on_open,on_message=on_message, on_error=on_error, on_close=on_close)ws.run_forever()
  1. 定义了on_message函数，它在WebSocket客户端接收到来自服务器的消息时被调用。接收到的消息作为参数message传入，并被打印出来。
  2. 定义了on_error函数，它在WebSocket客户端遇到错误时被调用。错误信息作为参数error传入，并被打印出来。
  3. 定义了on_close函数，它在WebSocket连接关闭时被调用。它打印出一条消息表示连接已关闭。
  4. 定义了on_open函数，它在WebSocket连接成功打开后被调用。在这个函数内部，定义了一个名为run的嵌套函数，它将在一个新的线程中执行。
  5. 在run函数中，使用了一个循环来连续发送三条消息到WebSocket服务器。每条消息发送后，线程休眠1秒。发送完所有消息后，线程再次休眠1秒，然后关闭WebSocket连接，并打印出一条消息表示线程正在终止。
  6. 在on_open函数中，使用_thread.start_new_thread启动了一个新线程来运行run函数。
  7. 在if __name__ == "__main__":块中，这是Python中的常用模式，用于判断当前脚本是否作为主程序运行。
  8. websocket.enableTrace(True)启用了调试输出，这将打印出所有WebSocket事件的详细信息，帮助调试。
  9. 创建了一个WebSocketApp实例，指定了WebSocket服务器的URL（“wss://ws-insight-engine.tmall.com/”），并将之前定义的事件处理函数（on_open, on_message, on_error, on_close）绑定到相应的事件上。
  10. 调用ws.run_forever()开始运行WebSocket事件循环，这将保持连接开启直到它被关闭。

资料

关于WebSocket协议的爬虫资料，这里有一些有用的资源：1. **Python—WebSocket爬虫实战原创**：介绍了WebSocket是HTML5开始提供的一种在单个TCP连接上进行全双工通讯的协议，并提供了一个实战案例。[查看详情](https://blog.csdn.net/weixin_43060843/article/details/104798541)2. **【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析**：分析了WebSocket协议简称为WS或者WSS（WebSocket Secure），并通过智慧树扫码登录案例进行了详细的讲解。[查看详情](https://cloud.tencent.com/developer/article/1914104)3. **websocket与爬虫 - 高金的博客**：讨论了WebSocket是一种在单个TCP连接上进行全双工通讯的协议，以及它与爬虫的关系。[查看详情](https://igaojin.me/2018/02/04/websocket%E4%B8%8E%E7%88%AC%E8%99%AB/)4. **WebSocket爬虫与JS逆向实战原创**：提供了一个基于Java的WebSocket爬虫示例，用于模拟客户端请求服务器，建立WebSocket连接，抓取对方数据。[查看详情](https://blog.csdn.net/Fleehom/article/details/133887962)5. **基于websocket爬虫- Sgoyi**：讨论了爬虫面对HTTP和WebSocket的情况，以及如何使用Python中的网络请求库进行模拟发送网络请求。[查看详情](https://www.cnblogs.com/yhll/p/10709593.html)6. **WebSocket在爬虫中的应用与实践**：介绍了WebSocket是一种网络通信协议，允许在单个TCP连接上进行全双工通信，在爬虫中的应用与实践。[查看详情](https://cloud.baidu.com/article/2927136)这些资料涵盖了WebSocket协议的基本概念、与爬虫的结合使用，以及一些实战案例。希望这些资源能够帮助你更好地理解和应用WebSocket协议进行爬虫开发。
Sec-WebSocket-Key分析
根据你的需求，关于`Sec-WebSocket-Key`及其逆向工程的资料，这里有一些相关的中文资源：1. [【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析](https://juejin.cn/post/7038882823780417544) - 这篇文章详细分析了WebSocket协议在实际应用中的一个案例，包括`Sec-WebSocket-Key`的作用和如何在服务端处理这个密钥。2. [WebSocket协议浅析](https://itimetraveler.github.io/2018/10/27/WebSocket%E5%8D%8F%E8%AE%AE%E6%B5%85%E6%9E%90/) - 这篇文章提供了对WebSocket协议的基础分析，包括`Sec-WebSocket-Key`和`Sec-WebSocket-Accept`的作用，以及它们如何帮助提供基础的防护，减少恶意连接和意外连接。3. [一文了解WebSocket 协议](https://makonike.github.io/2023/05/06/%E4%B8%80%E6%96%87%E4%BA%86%E8%A7%A3WebSocket%E5%8D%8F%E8%AE%AE/index.html) - 这篇文章讨论了WebSocket协议的基本概念，包括`Sec-WebSocket-Key`和`Sec-WebSocket-Accept`的角色和作用。4. [What is Sec-WebSocket-Key for?](https://stackoverflow.com/questions/18265128/what-is-sec-websocket-key-for) - 虽然这是一个英文资源，但它详细解释了`Sec-WebSocket-Key`的作用，这个头部字段是在WebSocket开放握手中从客户端发送到服务器的，用于提供握手的一部分验证。`Sec-WebSocket-Key`是WebSocket握手过程中的一个重要组成部分，它是由客户端生成的一个Base64编码的随机字符串。服务器接收到这个密钥后，会按照特定的算法处理并返回一个加密的`Sec-WebSocket-Accept`响应头，这个过程是为了验证连接确实是WebSocket连接，防止非WebSocket连接的恶意请求。理解这一机制对于进行WebSocket通信和相关逆向工程非常重要。

Sec-WebSocket-Key是WebSocket握手过程中的一个重要组成部分，它是由客户端生成的一个Base64编码的随机字符串。服务器接收到这个密钥后，会按照特定的算法处理并返回一个加密的Sec-WebSocket-Accept响应头，这个过程是为了验证连接确实是WebSocket连接，防止非WebSocket连接的恶意请求。理解这一机制对于进行WebSocket通信和相关逆向工程非常重要。

以下是一些中文资料，您可以通过这些资料深入了解WebSocket协议中`Sec-WebSocket-Accept`值的生成过程及其重要性：1. [WebSocket协议浅析](https://itimetraveler.github.io/2018/10/27/WebSocket%E5%8D%8F%E8%AE%AE%E6%B5%85%E6%9E%90/) - 这篇文章提供了对WebSocket协议的基础分析，包括`Sec-WebSocket-Accept`和`Sec-WebSocket-Key`的作用。2. [响应头'Sec-WebSocket-Accept'的生成原创](https://blog.csdn.net/moasp/article/details/119915825) - 这篇文章详细讲解了`Sec-WebSocket-Accept`的生成原理和过程。3. [你不知道的Websocket协议，这次给你讲明白！](https://www.51cto.com/article/774923.html) - 这篇文章全面介绍了WebSocket协议的握手过程，包括`Sec-WebSocket-Accept`值的作用。这些资料将帮助您更好地理解WebSocket协议的工作原理，特别是握手阶段`Sec-WebSocket-Accept`值的生成和验证过程。
代码解析学习：

异步websocket爬虫：

# pip install websocketsimport websockets
import asyncio
import requests
# 发送  加密参数def req_html():# 写翻页功能res = requests.get('https://api.waitwaitpay.com/api/vendors/nearby?keyword=%E7%82%B8%E9%B8%A1&latitude&longitude&page=1&request_id=-1&type=search&with_vouchers=false',headers={'user-agent':'adasdasdasd'})return resasync def echo(websocket):message = '我是发送给客户端的信息'# 发送数据# 可以给他传 密文  发送给浏览器解密res = req_html()sent_text = res.textawait  websocket.send(sent_text)return  True# 接收  客户端返回的数据
async def recv_msg(websocket):while 1:# 接收resv_text = await websocket.recv()print(resv_text)with open('sss.txt','w',encoding='utf-8') as f:f.write(resv_text)# 入口
async def main_run(websocket):await echo(websocket)await recv_msg(websocket)stat_sever = websockets.serve(main_run,'127.0.0.1',9999)
print('成功建立连接')
loop = asyncio.get_event_loop()
loop.run_until_complete(stat_sever)# 保持长连接 需要不断的监听返回的数据
loop.run_forever()
目标：
  1. 找到接口了，响应的data值是加密后的。请求值也是加密的。（先尝试解密，不行的话可以看视频学补环境）
 wss_url = f"wss://www.jdz.gov.cn/1ywuKELSO2ahQuWZ/pr/{dGg2aCfMMK97Ro270mqBFu5qjC8TQbL2opnHvbEpM}/b/ws/{tableid}/{FW9uCWqlVzC22m1KfCMCjfvFHpRMsgt}"{dGg2aCfMMK97Ro270mqBFu5qjC8TQbL2opnHvbEpM}：Tifz8hd5p4O3AB%2BivrbJpAQR5gK2baZcp_zGlOnSooM%3D{tableid}：kmz6tx452s{FW9uCWqlVzC22m1KfCMCjfvFHpRMsgt}：6727e0bb-2881-405a-8056-6fa8b01d8581结果发现这里URL中加密的字段有两个都能在cookie信息中找到，说明是自动生成的。
报错：
  1. 错误的消息格式：客户端发送给服务器的消息格式可能不正确，不符合服务器期望的格式。这可能包括错误的数据编码、不正确的消息结构等。
  2. 服务器内部错误：服务器在处理客户端的WebSocket请求时内部出现错误，导致无法正确处理请求。

下面是分析过程。后续会优化，有需要的找我要。

测试：苹果兴趣人群-23-8

接口为：https://strategy.tmall.com/api/scapi?path=/api/v1/custom/listPerspective

响应信息如下：

{"throwed": false,"gmtModified": 1693274807000,"statusInfo": "","isReplace": false,"description": "","crowdAdbStatus": 1,"baseId": "026130413","source": "STRATEGY_CUSTOM","isThrowed": false,"uniMemberReportAuth": null,"syncValid": true,"inheritable": false,"rootSource": null,"gmtUpdate": 1693274807000,"uniMemberReportInfo": null,"validInDatahub": false,"perspective": 1,"id": 67080221,"gmtUpdateReal": null,"blurred": true,"statusInfoCode": 0,"category2": "STRATEGY_CUSTOM","category3": "STRATEGY_CUSTOM","canUpdate": true,"crowdDivisionStatus": null,"reportId": 7905461,"category1": "STRATEGY_CUSTOM","withConditionGroup": true,"count": 3500000,"gmtCreate": 1693274697000,"customType": "","fullLinkPlatform": "NOT_FULL_LINK","brandId": "64284","updateSettedFlag": false,"name": "苹果兴趣人群-23-8","reportStatusInfo": "","sourceName": null,"smartId": 914,"projectId": 183575,"status": "CREATED"},
苹果兴趣人群-23-8和 苹果已购人群-23-6
 test = {"method": "/iSheetCrowdService/offline","headers": {"rid": "171386533324303","type": "PULL","bizType": "STRATEGY"},"body": {"args": {"id": "661","perspectTaskId": "67080221","bizParam": {"crowdIds": ["67080221"],"tagList": ["daas_tag_pred_age_level_20200415093010"]},"appId": "209"}}}
对应的数据包名分别是：
预测年龄：[“daas_tag_pred_age_level_20200415093010”]
预测性别daas_tag_pred_gender_20200415091417
预测购买力：pref_purchasing_power
预测教育程度：daas_tag_pred_education_degree_20200421154731
预测省份：common_receive_province_180d
占比：rate
全网TGI对应tgi
兴趣偏好：interest_prefer
预测职业：pred_career_type
天猫通用消费人群意愿daas_tag_xfqx_crowd_name
月均消费金额：derive_pay_ord_amt_6m_015_range

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/651782.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Android Studio的button点击事件

Android Studio的button点击事件

xml添加onClick调用方法 public class MainActivity extends AppCompatActivity {// 创建系统时间的文本控件TextView systemTimeTextView;Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activit…
阅读更多...
不同技术实现鼠标滚动图片的放大缩小

不同技术实现鼠标滚动图片的放大缩小

摘要： 最近弄PC端的需求时，要求在layui技术下实现鼠标滚动图片的放大缩小的功能！下面来总结一下不同框架剩下这功能！ layui: 看了一下layui文档，其实这有自带的组件的！但是又版本要求的!并且layui的官方文档…
阅读更多...
LLaMA-Factory参数的解答（命令，单卡，预训练）

LLaMA-Factory参数的解答（命令，单卡，预训练）

前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！ *这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数解读不对或…
阅读更多...
2分钟自己写小游戏：使用js和css编写石头剪刀布小游戏、扫雷小游戏、五子棋小游戏。新手老手毕业论文都能用。

2分钟自己写小游戏：使用js和css编写石头剪刀布小游戏、扫雷小游戏、五子棋小游戏。新手老手毕业论文都能用。

系列文章目录 【复制就能用1】2分钟玩转轮播图,unslider的详细用法 【复制就能用2】css实现转动的大风车，效果很不错。 【复制就能用3】2分钟自己写小游戏：剪刀石头布小游戏、扫雷游戏、五子棋小游戏 【复制就能用4】2024最新智慧医疗智慧医院大数据…
阅读更多...
如何有效的将丢失的mfc140u.dll修复，几种mfc140u.dll丢失的解决方法

如何有效的将丢失的mfc140u.dll修复，几种mfc140u.dll丢失的解决方法

当你在运行某个程序或应用程序时，突然遭遇到mfc140u.dll丢失的错误提示，这可能会对你的电脑运行产生一些不利影响。但是，不要担心，以下是一套详细的mfc140u.dll丢失的解决方法。 mfc140u.dll缺失问题的详细解决步骤 步骤1&#x…
阅读更多...
Camtasia2024激活秘钥 亲测好用的电脑视频录制和剪辑软件

Camtasia2024激活秘钥 亲测好用的电脑视频录制和剪辑软件

Camtasia Studio2024是一款专业的屏幕录像和视频编辑软件套装，它集成了屏幕录制、视频剪辑、编辑、菜单制作、视频播放等多功能于一体。使用Camtasia Studio，用户可以轻松地进行屏幕操作的录制和配音，对视频进行剪辑和添加过场动画&#xff0…
阅读更多...
代码随想录：二叉树22-24

代码随想录：二叉树22-24

目录 700.二叉搜索树的搜索 题目 代码（二叉搜索树迭代） 代码（二叉搜索树递归） 代码（普通二叉树递归） 代码（普通二叉树迭代） 98.验证二叉搜索树 题目 代码（中序递…
阅读更多...
【linux高性能服务器编程】项目实战——仿QQ聊天程序源码剖析

【linux高性能服务器编程】项目实战——仿QQ聊天程序源码剖析

hello ！大家好呀！ 欢迎大家来到我的Linux高性能服务器编程系列之项目实战——仿QQ聊天程序源码剖析，在这篇文章中，你将会学习到如何利用Linux网络编程技术来实现一个简单的聊天程序，并且我会给出源码进行剖析&#xff…
阅读更多...
解决NetworkManager覆盖/etc/resolv.conf的问题

解决NetworkManager覆盖/etc/resolv.conf的问题

发布时间：2024.4.27 问题 /etc/resolv.conf是Linux下DNS的配置文件。 但是NetworkManager会用覆盖它，导致我们每次都要重新配置。 解决办法 这是官方推荐的做法。或者你可以用resolveconf工具。 $ nm-connection-editor会调起一个界面，…
阅读更多...
HWOD：提取不重复的整数

HWOD：提取不重复的整数

一、知识点 不要看到题目是和整数的位相关的，就下意识用求余的操作去获得整数的每一位 这里用getchar()直接读取了整数的每一位 代码中k是往后走的 二、题目 1、描述 输入一个 int 型整数，按照从右向左的阅读顺序，返回一个不含重复数字…
阅读更多...
SQL异常

SQL异常

异常 EXCEPTION 预定义异常 系统已经设置好的异常，包含了异常名，异常代码，异常信息组成 CASE NOT FOUND 未知异常：OTHERS 异常信息：SQLERRM 错误代码：SQLCODE 有各种各样的很多异常 捕获异常的语法 DE…
阅读更多...
uniapp获取当前位置及检测授权状态

uniapp获取当前位置及检测授权状态

uniapp获取当前位置及检测授权定位权限 文章目录 uniapp获取当前位置及检测授权定位权限效果图创建js文件permission.jslocation.js 使用 效果图 Android设备 点击 “设置”，跳转应用信息，打开“权限即可”； 创建js文件 permission.js 新建…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023