记一次测试环境文件预览OOM问题

news/2025/3/18 11:38:42/文章来源:https://www.cnblogs.com/gan601/p/18778607

同事反映30MB的文件预览不了, 让我帮忙看下.
直接通过异常堆栈找到对应的方法. 大概实现是:

    GridFSFile dbFile = gridFsTemplate.findOne(query);GridFSDownloadStream gridFSDownloadStream = gridFSBucket.openDownloadStream(dbFile.getObjectId());GridFsResource resource = new GridFsResource(dbFile, gridFSDownloadStream);bufferedInputStream = new BufferedInputStream(resource.getInputStream());String fileType = fileName.substring(fileName.lastIndexOf("."));paramMap.put("bytes", Base64.encode(bufferedInputStream.readAllBytes()));String response = HttpUtil.post(previewServUrl, JSONUtil.toJsonStr(JSONUtil.parse(paramMap)), timeOut);

上profile:
image
真是令人心脏骤停, 30MB能膨胀到4GB, 把消耗最高的JsonUtil换成jackson:
image
降到200MB了, 但是还不太够, 测试环境的实例只分配了1g内存, 光开着这程序就用了800多MB了.
接下来从Base64.encode(bufferedInputStream.readAllBytes()下手, profile显示它消耗了200MB.
通过idea提供的跳转功能, 具体造成消耗的是readAllBytes这个方法.
image
接下来修改读取的文件流, 考虑到上传的文件不会支持太大, 直接给他一次性预分配和文件一样大的缓冲区:

    var w = new byte[(int) Math.min(30 * 1024 * 1024, dbFile.getLength() + 4096)];var bo = new ByteArrayOutputStream(w.length);int bytesRead;while ((bytesRead = gridFSDownloadStream.read(w)) != -1) {bo.write(w, 0, bytesRead);if (bytesRead < w.length) {break;}}paramMap.put("bytes", Base64.encode(bo.toByteArray()));

image
很好, 降到85MB了, 这段代码已经算是满足需求了, 就不继续了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/900866.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

这款流行 AI 工具被盗用挖取加密货币,这些隐患你需要知道

OneAPI 是在开源代码托管平台 GitHub 上拥有 2万 Star 的 AI 网关工具,该工具的用户发现安装最新版本镜像后,会固定消耗一定比例的 CPU 。事情经过 OneAPI 是在开源代码托管平台 GitHub 上拥有 2万 Star 的 AI 网关工具,该工具的用户发现安装最新版本镜像后,会固定消耗一定…

ProfiNet转DeviceNet实现Festo阀岛数据批量接入西门子TIA Portal系统

一、案例背景 在汽车零部件制造行业,随着市场竞争的加剧,企业对生产效率和产品质量的要求不断提高。某汽车零部件制造企业主要生产发动机缸体、变速器齿轮等关键零部件,其生产线涉及大量的自动化装配和检测工序。在原有的生产系统中,为实现精确的气动控制,采用了Festo品牌…

013 登录页-Panel中间tabs切换

现在我们来搭建中间这个 可以看到效果 左右都有选项目录,看这里

树上前缀和

树上前缀和 题目链接 多次询问树上的一些路径的权值和点前缀和 \(s[i]\)代表从根节点到节点\(i\)的点权和 先自顶向下计算出前缀和\(s[i]\),然后利用前缀和拼凑\((x, y)\)的路径和 \(s[x] + s[y] - s[lca] - s[fa[lca]]\)边前缀和 \(s[i]\)代表从根节点到节点\(i\)的边权和 先…

Matlab深度学习ResNet、迁移学习多标签图像分类及超分辨率处理Grad CAM可视化分析COCO、手写数字数据集

全文链接:https://tecdat.cn/?p=40982 在当今数字化时代,图像分类和图像超分辨率处理是计算机视觉领域的重要研究方向。深度学习技术的发展为解决这些问题提供了强大的工具。本文将详细介绍如何使用Matlab构建多标签图像分类模型和图像到图像的回归网络,以实现图像超分辨率…

2025年Manus、Deepseek通用AI智能体技术发展报告70+份汇总解读|附PDF下载

原文链接:https://tecdat.cn/?p=41001 随着人工智能技术从对话交互向任务执行跃迁,通用型AI智能体(Agent)成为重塑生产力的核心载体。本报告深度剖析全球首款通用AI智能体Manus的技术架构、市场表现及行业影响,揭示其如何通过自主决策能力突破传统AI的边界,并为企业与开…

2024全球财务采用AI报告60+份汇总解读|附PDF下载

原文链接:https://tecdat.cn/?p=40915 人工智能技术正以颠覆性力量重塑全球财务职能,德勤最新研究显示,财务AI市场规模预计2025年将突破120亿美元,年复合增长率达28%。本报告汇总解读基于《KPMG国际:2024全球财务采用AI报告》及文末68份行业研究报告的数据,报告合集已分…

C语言01

1、按f7后f5,打开程序看运行到哪,再打开寄存器窗口和内存窗口 shift➕f结束 二.c语言格式 三.函数的反汇编分析 1.空函数 例:编写一个空函数,没参数也没返回值,分析函数f7,f5后右键反汇编从call开始写再f11打开进函数里面,有jmp 再f11跳转jmp到0040D6F0,开栈(即提升堆…

虚幻unreal4.27源码编译编辑器流程与问题汇总

当你使用的是源码编译的虚幻unreal编辑器https://github.com/orgs/EpicGames/teams/developers搜索到你想要的版本对应的分支,并进入切换或者从这里下载稳定发布版。(注意下载4.27.2压缩包可能才380+M,解压后要113G+,所以最好预留空间120G) 在这里键入cmdH:\UnrealEngine-…

安装并运行Cloudreve个人网盘:详细步骤指南

安装并运行Cloudreve个人网盘:详细步骤指南 在本文中,我们将指导您如何安装并运行Cloudreve个人网盘,以及如何将其与阿里云OSS集成,实现高效的文件存储和管理。 步骤 1: 下载Cloudreve安装包 首先,您需要下载Cloudreve的安装包。请在您的Linux终端中执行以下命令: bash复…

算法心得(4)**快速排序和归并排序**

我们这里讨论的排序是把数组元素排成从小到大的顺序(升序) **快速排序** 先直接上模板: /***************** function:对数组进行快速排序* para:q[](待排序数组),l(数组左边界),r(数组右边界)* return:void*/ void fastSort(long long q[], int l, int r) {if (l >= r…