web爬虫第五弹 - JS逆向入门（猿人学第一题）

0- 前言

爬虫是一门需要实战的学问。 而对于初学者来说，要想学好反爬，js逆向则是敲门砖。今天给大家带来一个js逆向入门实例，接下来我们一步一步来感受下入门的逆向是什么样的。该案例选自猿人学练习题。猿人学第一题

1- 拿到需求

进入页面拿到需求我们先不要急着看源码， 没事多点点喝杯茶。需求为抓取页面上所有机票的平均值。

2- 参数分析

1- 打开无痕浏览器， 免得上班刷题被网管查到记录。 然后可以放心的多一点看一](https://img-blog.csdnimg.cn/b576674b03fc4d04a2a2add6242ae611.png)
前三页都挺正常的， 看起来就是普普通通的AJAX请求

2- 第四页第五页画风突变，不让看了。一想也是， 防止你手动计算， 只能逆了js才能访问。 好吧， 我们现在来构建一下请求。
在这里插入图片描述

3- 复制请求到postman， 可以正常访问。
在这里插入图片描述
将代码复制到python， 亦可以正常访问。 哇， 感觉还行啊
在这里插入图片描述
再运行一下， 报错了， 看下postman， 也报错了。 看样子是有时效性的参数。 那我们来看看参数吧。
在这里插入图片描述
就是这个了， 多抓几次包， 确定page是页数，还有一个m是变动的。 瞅着后面像是个时间戳。前面是一段类似加密参数。 那我们的目标明确了， 就是这个m。 破解了， 就可以正常获取到页面了吧。
在这里插入图片描述

3- 逆向过程

1- 首先我们要知道一个参数如何加密的，需要先找到加密代码。 以下提供两个方法：
方法一：从Initiator中进入
在这里插入图片描述
最后一个请求在此发出。 我们在此处打上断点， 即为发送请求时所有参数在此以全部加载完。那我们重新请求， 既可以看到参数的变化，从call stack中寻找， 或者search中搜索关键词都行。 慢慢找到参数 m 的生成地方
在这里插入图片描述
最终我们在request中找到了m的生成地方， 查看m参数是如何生成的
在这里插入图片描述
我们看到参数m 是有 window[‘\x66’] 这个值生成。很明显这个js文件中并没有该值的生成逻辑。 那如何找到 window[‘\x66’] 的加载地方呢。 我们继续往上一个堆栈找， 即anonymous。
在这里插入图片描述
进入后我们发现这里有一大段未格式化的js代码。 写的不规范，十有八九就是不想让你看。 如果一个网站js代码不想让别人读，那它一定有问题， 我们把这段代码拿出来格式化一下
在这里插入图片描述
去掉一些没有什么卵用的东西， 剩下了两段js代码。
一段是我们在上一个js中看到的oo0O0(mw)函数，
另一段是window的相关属性。

在这里插入图片描述
咱们都展开看一下，运行一下， 发现报错。 缺少w函数， 我们缺啥补啥，一个个给他找齐

D:\Scriptspace\逆向\学习逆向第一步\猿人学_第一题\第一段js.js:1
w();
^

在这里插入图片描述
只用补齐w() 和 D()两个函数， 再次运行即正常了， 我们拿到参数 mw， 传入oo0O0(mw) 试试效果

在这里插入图片描述
结果如下， 又去少了window.a, 继续补， 补到运行不报错为止。
在这里插入图片描述
参数全部补齐后， 又报了一个如下错误。
在这里插入图片描述

node:buffer:1349
throw lazyDOMException(‘Invalid character’, ‘InvalidCharacterError’);
^
DOMException [InvalidCharacterError]: Invalid character
at new DOMException (node:internal/per_context/domexception:53:5)
at _node_internal (node:internal/util:520:10)
at atob (node:buffer:1349:13)
at oo0O0 (D:\Scriptspace\逆向\学习逆向第一步\猿人学_第一题\第一段js.js:52:10)
at Object. (D:\Scriptspace\逆向\学习逆向第一步\猿人学_第一题\第一段js.js:57:13)
at Module._compile (node:internal/modules/cjs/loader:1254:14)
at Module._extensions…js (node:internal/modules/cjs/loader:1308:10)
at Module.load (node:internal/modules/cjs/loader:1117:32)
at Module._load (node:internal/modules/cjs/loader:958:12)
at Function.executeUserEntryPoint [as runMain] (node:internal/modules/run_main:81:12)

没办法一个个去打印查看一下，并随手chatgpt一下， 经过gpt的解析， 代码应该是如下这样。
其中mw是个变量， 估计是传入的mw的值。目测这就是一个函数啊

atob(window['b'])[J('0x0', ']dQW')](J('0x1', 'GTu!'),  "mw" )

在这里插入图片描述
我们在控制台将函数打印一下，并提取出来
在这里插入图片描述
格式化一整理， 这就是个函数啊， 我们将参数传入。一运行， 成功了。 多次校验， 这个值就是参数m的加密值。 还准备打持久战，怎么稀里糊涂就已经拿到值了。
在这里插入图片描述

总结

按照我们原本的思路， 我们的处理逻辑是

1- 我们多次请求， 对页面进行抓包， 分析其参数。 猜想为： 加密参数外加cookie中其他参数案例中： 只有一个m参数为必须参数
2- 对js进行断点调试， 找到m参数生成的地方猜想为： 一段js加密， 或许会有混淆。 案例中： 加密逻辑为一段未格式化的<script>脚本，格式化后就能正常调用。
3- 对加密代码进行解析猜想为： 生成出有一段 oo0O0(mw) 的代码， 和一段window的参数代码。 需要复现两段代码逻辑， 整合后进行解密。案例中： 只处理了 oo0O0(mw) 函数， 并在函数中找到了eval(atob(window['b'])[J('0x0', ']dQW')](J('0x1', 'GTu!'), '\x27' + mw + '\x27')); 这段数据， 在找不到window['b']的生成处后，直接打印了atob(window['b'])得到一段js代码。 解析js代码， 确认直接为加密逻辑
4- 校验， 通过读传参时的js确定参数为时间戳， 并将时间戳传入加密逻辑， 成功获取参数m的值。

js逆向需要我们有一定的js功底， 不同的js逆向难易程度都有所不同。 针对于本案例是属于比较简单的js逆向。有种还未还是解析就已经拿到了加密逻辑的感觉。 适合练手

补充

在前面说到有几个断点调试的方法，在之前的爬虫文章中也提到了， 针对这个案例，补充一下查找断点的方法
第一个：添加 xhr断点， 因为本案例中为ajax请求， 获取到了接口， 可以直接在这里打上断点
在这里插入图片描述
第二个：就是本案例中用到的， 直接callstack中断点
在这里插入图片描述
第三个： 直接搜索参数中的page， 直接找到加密逻辑。（这个方法有一定的随机性， 谨慎使用）
在这里插入图片描述

代码

加密逻辑大家自己搞定， 我这里只放python代码了。将加密逻辑抠出来， 运行这段python直接获取结果。

import execjs, time, urllib.parsedef get_param_m():timestamp = int(time.time()) * 1000 + (16798545 + -72936737 + 156138192)M_time = int(timestamp/1000)mwqqppz = str(timestamp)with open ('猿人学第一题.js',encoding='utf-8') as f:js_data = f.read()js = execjs.compile(js_data)js_result = js.call('hex_md5', mwqqppz)param_m = "{}丨{}".format(js_result, M_time)return param_mdef get_info(page, param_m):import requestsurl = "https://match.yuanrenxue.cn/api/match/1?page={}&m={}".format(page, param_m)url = urllib.parse.quote(url, safe=':/?=&')print(url)headers = {'authority': 'match.yuanrenxue.cn','accept': 'application/json, text/javascript, */*; q=0.01','accept-language': 'zh-CN,zh;q=0.9','cache-control': 'no-cache','cookie': 'Hm_lvt_c99546cf032aaa5a679230de9a95c7db=1690184377,1690941596,1690969392,1690971468; Hm_lvt_9bcbda9cbf86757998a2339a0437208e=1690184376,1690941595,1690969392,1690971468; Hm_lvt_434c501fe98c1a8ec74b813751d4e3e3=1690971476; Hm_lpvt_434c501fe98c1a8ec74b813751d4e3e3=1690971476; tk=-7962460354862954537; sessionid=1mcld1cz4z54nrnhkuxfq7wtysc7vdds; Hm_lpvt_9bcbda9cbf86757998a2339a0437208e=1691027865; Hm_lpvt_c99546cf032aaa5a679230de9a95c7db=1691027869','pragma': 'no-cache','referer': 'https://match.yuanrenxue.cn/match/1','sec-ch-ua': '"Google Chrome";v="113", "Chromium";v="113", "Not-A.Brand";v="24"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Windows"','sec-fetch-dest': 'empty','sec-fetch-mode': 'cors','sec-fetch-site': 'same-origin','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36','x-requested-with': 'XMLHttpRequest'}response = requests.request("GET", url, headers=headers).json()print(response['data'])sum = 0for val in response['data']:sum += val['value']mean_num = sum/len(response['data'])return mean_numif __name__ == '__main__':sum_num = 0for page in range(1, 6):param_m = get_param_m()print(param_m)res = get_info(page ,param_m)print(res)sum_num += resresult = sum_num/5print(result)

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/51986.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C语言经典小游戏之三子棋（超详解释＋源码）

C语言经典小游戏之三子棋（超详解释＋源码）

“纵有疾风来&#xff0c;人生不言弃&#xff0c;风乍起&#xff0c;合当奋意向此生。” 今天我们一起来学习一下三子棋小游戏用C语言怎么写出来&#xff1f; 三子棋小游戏 1.游戏规则介绍2.游戏准备3.游戏的实现3.1生成菜单3.2游戏的具体实现3.2.1初始化棋盘3.2.2打印棋盘3.2…
阅读更多...
SpringBoot统一功能处理(拦截器)

SpringBoot统一功能处理(拦截器)

1.用户登录权限校验 1.1自定义拦截器 写一个类去实现HandlerInterceptor接口表示当前类是一个拦截器,再重写HandlerInterceptor接口中的方法,preHandle为在方法执行前拦截,postHandle为方法执行中拦截,afterCompletion为方法执行中拦截.需要在什么时候拦截就重写什么方法 Co…
阅读更多...
【2023】XXL-Job 具体通过docker 配置安装容器，再通过springboot执行注册实现完整流程

【2023】XXL-Job 具体通过docker 配置安装容器，再通过springboot执行注册实现完整流程

【2023】XXL-Job 具体通过docker 配置安装容器&#xff0c;再通过springboot执行注册实现 一、概述二、安装1、拉取镜像2、创建数据库3、创建容器并运行3、查看容器和日志4、打开网页 127.0.0.1:9051/xxl-job-admin/ 三、实现注册测试1、创建一个SpringBoot项目、添加依赖。2、…
阅读更多...
Kubernetes高可用集群二进制部署（二）ETCD集群部署

Kubernetes高可用集群二进制部署（二）ETCD集群部署

Kubernetes概述 使用kubeadm快速部署一个k8s集群 Kubernetes高可用集群二进制部署&#xff08;一&#xff09;主机准备和负载均衡器安装 Kubernetes高可用集群二进制部署&#xff08;二&#xff09;ETCD集群部署 Kubernetes高可用集群二进制部署&#xff08;三&#xff09;部署…
阅读更多...
租赁类小程序定制开发|租赁管理系统源码|免押租赁系统开发

租赁类小程序定制开发|租赁管理系统源码|免押租赁系统开发

随着互联网的发展&#xff0c;小程序成为了一种重要的移动应用开发方式。租赁小程序作为其中的一种类型&#xff0c;可以为很多行业提供便利和创新。下面我们将介绍一些适合开发租赁小程序的行业。 　　房屋租赁行业&#xff1a;租房小程序可以帮助房东和租户快速找到合适的租赁…
阅读更多...
ABAP 自定义搜索功能 demo1

ABAP 自定义搜索功能 demo1

ABAP 自定义搜索功能 demo1 效果&#xff1a; 双击选中行则为选中对应发票 实现 1定义 定义屏幕筛选参数 SELECTION-SCREEN BEGIN OF SCREEN 9020. SELECT-OPTIONS:s1_belnr FOR rbkp-belnr, s1_gjahr FOR rbkp-gjahr, s1_lifnr FOR rbkp-lifnr, s1_erfna FOR rbkp-erfnam, …
阅读更多...
React 路由使用-详细介绍

React 路由使用-详细介绍

路由初使用 抽象路由模块 src\page\Article\index.js const Article () > {return (<div><p>文章页</p></div>); };export default Article;src\router\index.js // 导入页面 import Article from "../page/Article"; import Login fr…
阅读更多...
【外卖系统】文件上传与下载

【外卖系统】文件上传与下载

文件上传 文件上传又称upload&#xff0c;将本地图片、视频等文件上传到服务器上&#xff0c;供其他用户下载或者浏览。 form表单&#xff1a;HTML中的form元素用于创建一个包含表单字段的区域&#xff0c;用户可以在该区域输入数据&#xff0c;并通过提交表单将数据发送到服务…
阅读更多...
全面升级：华为鸿蒙HarmonyOS4正式发布，玩趣个性化，小艺AI升级

全面升级：华为鸿蒙HarmonyOS4正式发布，玩趣个性化，小艺AI升级

8月4日新闻&#xff0c;今天下午&#xff0c;华为正式发布了最新版本的鸿蒙操作系统——HarmonyOS 4&#xff01; 在华为发布会上&#xff0c;鸿蒙HarmonyOS迎来了一系列令人激动的功能升级。其中包括个性化空间、多种生产力工具以及增强的手机AI助手"小艺"。这次更…
阅读更多...
Restful开发规范以及开发流程

Restful开发规范以及开发流程

目录 一、RestFul开发规范 二、开发流程 一、RestFul开发规范 RESTful&#xff08;Representational State Transfer&#xff09;是一种用于设计和开发网络应用程序的架构风格&#xff0c;它强调使用标准HTTP方法和状态码来进行资源的管理和交互。以下是一些常见的RESTful开发…
阅读更多...
游戏开发人员如何从 Splashtop 中受益

游戏开发人员如何从 Splashtop 中受益

游戏开发时代在不断发展&#xff0c;远程办公、协作和高性能需求变得越来越普遍。因此&#xff0c;对复杂工具的需求不断增加&#xff0c;这些工具不仅可以满足这些需求&#xff0c;还可以为开发人员提供无缝体验。 其中一个工具是 Splashtop Business Access Performance&…
阅读更多...
使用 github 同步谷歌浏览器书签

使用 github 同步谷歌浏览器书签

想必使用谷歌浏览器Chrome的用户一定非常头疼的一件事就是&#xff1a;账户不能登录&#xff0c;书签收藏夹不能同步&#xff0c;换一台电脑书签收藏夹没有了&#xff01; 下面教大家一招亲测有效适用的方法解决书签同步问题&#xff0c;在任何电脑都可以同步了 1、去下载谷歌…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023