一个难忘的json反序列化问题

news/2024/11/20 18:34:42/文章来源:https://www.cnblogs.com/12lisu/p/18289381

前言

最近我在做知识星球中的商品秒杀系统,昨天遇到了一个诡异的json反序列化问题,感觉挺有意思的,现在拿出来跟大家一起分享一下,希望对你会有所帮助。

案发现场

我最近在做知识星球中的商品秒杀系统,写了一个filter,获取用户请求的header中获取JWT的token信息。

然后根据token信息,获取到用户信息。

在转发到业务接口之前,将用户信息设置到用户上下文当中。

这样接口中的业务代码,就能通过用户上下文,获取到当前登录的用户信息了。

我们的token和用户信息,为了性能考虑都保存到了Redis当中。

用户信息是一个json字符串。

当时在用户登录接口中,将用户实体,使用fastjson工具,转换成了字符串:

JSON.toJSONString(userDetails);

保存到了Redis当中。

然后在filter中,通过一定的key,获取Redis中的字符串,反序列化成用户实体。

使用的同样是fastjson工具:

JSON.parseObject(json, UserEntity.class);

但在反序列化的过程中,filter抛异常了:
com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}

2 分析问题

我刚开始以为是json数据格式有问题。

将json字符串复制到在线json工具:https://www.sojson.com,先去掉化之后,再格式数据,发现json格式没有问题:

然后写了一个专门的测试类,将日志中打印的json字符串复制到json变量那里,使用JSON.parseObject方法,将json字符串转换成Map对象:

public class Test {public static void main(String[] args) {String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";Map map = JSON.parseObject(json, Map.class);// 输出解析后的 JSON 对象System.out.println(map);}
}

执行结果:

{password=$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe, credentialsNonExpired=true, roles=["admin"], accountNonExpired=true, id=13, authorities=[{"authority":"admin"}], enabled=true, accountNonLocked=true, username=admin}

竟然转换成功了。

这就让我有点懵逼了。。。

为什么相同的json字符串,在Test类中能够正常解析,而在filter当中却不行?

当时怕搞错了,debug了一下filter,发现获取到的json数据,跟Test类中的一模一样:

带着一脸的疑惑,我做了下面的测试。

莫非是反序列化工具有bug?

3 改成gson工具

我尝试了一下将json的反序列化工具改成google的gson,代码如下:

 Map map = new Gson().fromJson(userJson, Map.class);

运行之后,报了一个新的异常:
com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 2 path $

这里提示json字符串中包含了:$

$是特殊字符,password是做了加密处理的,里面包含$.,这两种特殊字符。

为了快速解决问题,我先将这两个特字符替换成空字符串:

json = json.replace("$","").replace(".","");

日志中打印出的json中的password,已经不包含这两个特殊字符了:

2a10o3XfeGr0SHStAwLuJRW6ykE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe

但调整之后代码报了下面的异常:
com.google.gson.JsonSyntaxException: com.google.gson.stream.MalformedJsonException: Expected name at line 1 column 2 path $.

跟刚刚有点区别,但还是有问题。

4 改成jackson工具

我又尝试了一下json的反序列化工具,改成Spring自带的的jackson工具,代码如下:

ObjectMapper objectMapper = new ObjectMapper();
try {Map map = objectMapper.readValue(json, Map.class);
} catch (JsonProcessingException e) {e.printStackTrace();
}

调整之后,反序列化还是报错:
com.fasterxml.jackson.core.JsonParseException: Unexpected character ('\' (code 92)): was expecting double-quote to start field name

3种反序列化工具都不行,说明应该不是fastjson的bug导致的当前json字符串,反序列化失败。

到底是什么问题呢?

5 转义

之前的数据,我在仔细看了看。

里面是对双引号,是使用了转义的,具体是这样做的:\"

莫非还是这个转义的问题?

其实我之前已经注意到了转义的问题,但使用Test类测试过,没有问题。

当时的代码是这样的:

public class Test {public static void main(String[] args) {String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";Map map = JSON.parseObject(json, Map.class);// 输出解析后的 JSON 对象System.out.println(map);}
}

里面也包含了一些转义字符。

我带着试一试的心态,接下来,打算将转义字符去掉。

看看原始的json字符串,解析有没有问题。

怎么去掉转义字符呢?

手写工具类,感觉不太好,可能会写漏一些特殊字符的场景。

我想到了org.apache.commons包下的StringEscapeUtils类,它里面的unescapeJava方法,可以轻松去掉Java代码中的转义字符。

于是,我调整了一下代码:

json = StringEscapeUtils.unescapeJava(json);
JSON.parseObject(json, UserEntity.class);

这样处理之后,发现反序列化成功了。

总结

这个问题最终发现还是转义的问题。

那么,之前Test类中json字符串,也使用了转义,为什么没有问题?

当时的代码是这样的:

public class Test {public static void main(String[] args) {String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";Map map = JSON.parseObject(json, Map.class);System.out.println(map);}
}

但在filter中的程序,在读取到这个json字符串之后,发现该字符串中包含了\转义符号,程序自动把它变成了\\\

调整一下Test类的main方法,改成三个斜杠的json字符串:

public static void main(String[] args) {String json = "{\\\"accountNonExpired\\\":true,\\\"accountNonLocked\\\":true,\\\"authorities\\\":[{\\\"authority\\\":\\\"admin\\\"}],\\\"credentialsNonExpired\\\":true,\\\"enabled\\\":true,\\\"id\\\":13,\\\"password\\\":\\\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\\\",\\\"roles\\\":[\\\"admin\\\"],\\\"username\\\":\\\"admin\\\"}";Map map = JSON.parseObject(json, Map.class);System.out.println(map);
}

执行结果:
Exception in thread "main" com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}
抛出了跟文章最开始一样的异常。

说明其实就是转义的问题。

之前,我将项目的日志中的json字符串,复制到idea的Test的json变量中,当时将最外层的双引号一起复制过来了,保存的是1个斜杠的数据。

这个操作把我误导了。

而后面从在线的json工具中,把相同的json字符串,复制到idea的Test的json变量中,在双引号当中粘贴数据,保存的却是3个斜杠的数据,它会自动转义。

让我意识到了问题。

好了,下次如果遇到类似的问题,可以直接使用org.apache.commons包下的StringEscapeUtils类,先去掉转义,再反序列化,这样可以快速解决问题。

此外,这次使用了3种不同的反序列化工具,也看到了其中的一些差异。

如果你对日常工作中的一些坑,比较感兴趣,可以看看我的技术专栏《程序员最常见的100个问题》,里面有很多干货,还是非常值得一看的。

最后说一句(求关注,别白嫖我)

如果这篇文章对您有所帮助,或者有所启发的话,帮忙扫描下发二维码关注一下,您的支持是我坚持写作最大的动力。

求一键三连:点赞、转发、在看。
关注公众号:【苏三说技术】,在公众号中回复:面试、代码神器、开发手册、时间管理有超赞的粉丝福利,另外回复:加群,可以跟很多BAT大厂的前辈交流和学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/740415.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

windows mysql执行sql文件

背景 快速导入数据表或者数据库。 解决 直接执行sql文件。虽然直接复制内容也行,但是还是执行文件更好一些。登录mysql -u root -p -D xxx-D指定数据库的名称。如果不写,可以在进入mysql命令行后,使用use xxx来使用数据库。执行source xxx.sql特别注意,哪怕路径里有空格,外…

GERL论文阅读笔记

Graph Enhanced Representation Learning for News Recommendation论文阅读笔记 这篇文章是2020年的,也算是比较老的了,但是比较经典,这里来读一下 Abstract 存在的问题: ​ 现有的新闻推荐方法通过从新闻内容和用户与新闻的直接交互(如点击)中建立精确的新闻表征来实现个…

根轨迹不受增益的影响

%fileName:figure10_57.m s=tf(s); K=[25 125 250 500]; sysD=500*(s+4); rlocus(sysD); grid on sysGq=0.4*(s+0.25)/((s-1.6+2.8*j)*(s-1.6-2.8*j)*(s+3.4)*(s+20)); rlocus(sysGq); grid on %sysGz=feedback(series(sysD,sysGq),1); %应该是开环传递函数的根轨迹,这个闭环的…

Spring Boot3整合Mybatis Plus,数据库为MySQL

项目结构如下:注意不需要任何XML文件 1.导入依赖 除了Spring Boot创建时自带的依赖,还需要加入: <!-- Mybatis Plus依赖--> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-spring-boot3-starter</artifactId>…

将.nuget文件夹从C盘移到其它盘,再也不用担心的C盘爆红了

将.nuget文件夹从C盘移到其它盘,再也不用担心的C盘爆红了 命令 查看缓存文件夹的具体路径 dotnet nuget locals all --list第一步 在文件资源管理器输入%AppData%\NuGet\NuGet.Config ,默认存放NuGet.Config的路径,具体情况可能根据你的电脑来操作。 增加配置<config>…

网络测速

网络测速🥏 https://speed.cloudflare.com/

新知识get,vue3是如何实现在style中使用响应式变量?

这篇文章我们来讲讲vue是如何实现在style中使用script模块中的响应式变量前言 vue2的时候想必大家有遇到需要在style模块中访问script模块中的响应式变量,为此我们不得不使用css变量去实现。现在vue3已经内置了这个功能啦,可以在style中使用v-bind指令绑定script模块中的响应…

Address Sanitizer

Address Sanitizer Introduction ​ Address Sanitizer是一款内存检测器,它可以检测在堆栈,全局变量等地方的溢出。后来被整合到了GCC等编译器中,Address Sanitizer由两部分组成:一个Instrumentation模块和一个运行时库。Instrumentation模块修改代码来检查每个内存访问的影…

暂停windows更新方法

暂停windows更新方法暂停windows更新方法 打开注册表进入 计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsUpdate\UX\Settings右键新建DWORD的32位,输入名称:FlightSettingsMaxPauseDays选择十进制,输入3650天网站:http://shibowl.topgithub:https://github.com/ha…

航空航天单位保密网文件导出管理难点在哪里?如何解决?

航空航天单位的重要性不言而喻,它们在国家安全、科技进步、经济发展以及国际合作等多个领域都扮演着至关重要的角色。为了保护工作内容中的重要数据,遵守保密规定,对涉密人员、保密要害部门单位、涉密载体、涉密信息传输和涉密活动进行严格管理,采用物理隔离的方式将网路隔…

【转载】App Inventor 开发BLE应用

1. 文章1:搭建环境的介绍: 【深海王国】小学生都能做的APP?AppInventor、BLE蓝牙、Arduino联合开发你的第一个手机远程控制程序(1) 链接:https://blog.csdn.net/D13162580021/article/details/139026624?spm=1001.2014.3001.55022. 文章2:BLE基本知识的介绍: 【深海王…

从 Helm 到 Operator:Kubernetes应用管理的进化

🧰Helm 的作用 在开始前需要先对 kubernetes Operator 有个简单的认识。 以为我们在编写部署一些简单 Deployment 的时候只需要自己编写一个 yaml 文件然后 kubectl apply 即可。apiVersion: apps/v1 kind: Deployment metadata: labels: app: k8s-combat name: k8s-…