异步任务的一些思考

前言
XXL-Job部署教程

项目中,必然少不了数据的导入导出,针对数据的导入导出简单复盘一下。

为了不占用资源消耗时间,影响用户体验,大量数据的导入导出一般都是异步执行

导入的时候,如果数据量很大,一次性全部读取到内存中,再去整体校验入库,会有OOM的风险

因此诞生了第二个方案,采用流分批读写,这样牺牲掉整体校验的需求,优化OOM问题。
在这里插入图片描述

但对于整个系统而言,整体内存资源有限,一个用户的导入导出可以满足,那很多的导入导出还是会造成OOM风险。

在这里插入图片描述

因此凡是涉及到异步的接口均要考虑任务调配的问题。

根据我们的经验,要进行合理的任务调配,有两套成熟的方案:

  1. 消息中间件,如kafka的生产消费者实现任务调度
  2. 分布式调用框架 quartz 、xxl-job也能实现任务调度

使用哪一套方案呢?

如果我们期待老王导出文件1和文件2,且将消息告诉小李和张姐,小李和张姐也导出导入文件1和文件2。这就是消息通信,这个场景下kafka是最合适的。如下这个场景
在这里插入图片描述

如果我们期待老王每天8点导出银行账单,小李每天9点导出金融界的新闻,张姐每天10点导入会议纪要,每个人在固定的时间干好自己的事情就行,这个场景下分布式调用框架最合适。

分布式框架是如何实现任务调度,能满足我们的需求吗?

原理这里就不展开解释了,确实在开发过程中,因为我们项目的数据量较大,每次导入导出都会及其消耗资源,为了方便管理,就需要模仿任务调度的设计,来管理我们的导入导出操作。

期待的最终效果是:机器资源有限,若大量的导入导出任务同时进行,封装的工具包会将这些任务管理起来,当资源空闲时,便执行任务,当资源紧缺时,先不执行异步任务。为了区分导入导出任务,自定义注解@AsyncTask表示这是一个异步导入导出任务。系统启动后,便会找到该注解,该注解对应的方法会被统一管理起来,类似一个Bean。然后根据通过计算系统资源的情况,在资源合适的情况下从线程池捞一条线程出来去执行这个方法,如果执行失败,该任务的优先级降低一级。达到一定阈值后,不会再自动执行该任务。此外对线程加一个乐观锁,避免多个线程操作同一个数据库造成事务不一致的问题。

若引入xxl-job,还需要维护此开源工具,成本较大,若基于kafka,若是使用我们这套工具,还必须部署kafka服务。因此,借鉴成熟开源项目,封装组件是有必要的。后续尝试一下

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/443151.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

腾讯云部署vue+node项目

文章目录 一、安装宝塔二、vue项目部署三、node项目部署 前言: 关于项目部署,一开始也是找了很多资料,费了点时间,所以记录一下。希望能对各位有所帮助。 一、安装宝塔 1.首先在控制台,进入云服务器的终端界面 2.输入命令和密码获取权限,并且安装宝塔界面 yum install -y w…

配置IPv6静态路由

1、静态路由简介 静态路由是一种需要管理员手工配置的特殊路由。 静态路由在不同网络环境中有不同的目的: 当网络结构比较简单时,只需配置静态路由就可以使网络正常工作。 在复杂网络环境中,配置静态路由可以改进网络的性能,并…

Java中实例化的一般过程

在Java中,当你有几个类(如 ManualTriggerStartNode, EndNode, TimerTriggerStartNode)继承自一个基类(如 BaseNode),实例化这些子类时的确定性主要依赖于你的具体需求和上下文。 实例化的一般过程&#xf…

Wireshark网络协议分析 - Wireshark速览

在我的博客阅读本文 文章目录 1. 版本与平台2. 快速上手2.1. 选择网络接口进行捕获(Capture)2.2. 以Ping命令为例进行抓包分析2.3. 设置合适的过滤表达式2.4. 数据包详情2.5. TCP/IP 四层模型 3. 参考资料 1. 版本与平台 Wireshark是一个开源的网络数据…

【ASP.NET Core 基础知识】--Web API--创建和配置Web API(一)

一、简介 Web API(Web Application Programming Interface)的重要性在于其在现代软件开发中扮演着关键的角色。以下是一些关于Web API重要性的方面: 跨平台交互: Web API允许不同平台、不同技术栈的应用程序进行通信。无论是Web…

Python爬虫:XPath基本语法

XPath(XML Path Language)是一种用于在XML文档中定位元素的语言。它使用路径表达式来选择节点或节点集,类似于文件系统中的路径表达式。 不啰嗦,讲究使用,直接上案例。 导入 pip3 install lxmlfrom lxml import etr…

1990-2021年各省绿色金融指数数据(含原始数据+测算结果)

1990-2021年全国各省绿色金融指数数据(含原始数据结果) 1、时间:1990-2021年 2、指标:地区、年份、该省环保项目信贷总额(亿元)、全省信贷总额(亿元)、绿色信贷、环境污染治理投资…

Excel得到JSON串

很多时候业务都需要做一种从Excel读取或者导入数据的功能,这在cs程序比较简单,在BS程序上如果封装不好的话那么写起来还是很费劲的,这次封装Excel读取操作。 先看使用 对,你没有看错,就是这么简单。 封装 基础设计…

Docker本地部署Firefox浏览器并结合内网穿透公网访问

文章目录 1. 部署Firefox2. 本地访问Firefox3. Linux安装Cpolar4. 配置Firefox公网地址5. 远程访问Firefox6. 固定Firefox公网地址7. 固定地址访问Firefox Firefox是一款免费开源的网页浏览器,由Mozilla基金会开发和维护。它是第一个成功挑战微软Internet Explorer浏…

SpringBoot项目logback日志配置

Session 认证和 Token 认证 过滤器和拦截器 SpringBoot统一返回和统一异常处理 SpringBoot项目logback日志配置 程序运行出现错误时,第一时间想到的是甩锅还是日志?通过查看日志定位出问题的位置,才能更好的甩锅,今天就来学习…

java之mybatis入门

大前题 正确创建好了springboot工程,极其依赖 配置数据库连接 application.yml spring:datasource:driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://localhost:3306/cangqiongusername: rootpassword: rootlombok Data 自动生成代码&#xff08…

完整地实现日期类(分3个文件+测试结果)

🌈完整地实现日期类 👻主要使用了构造函数、运算符重载函数。 👻以下日期类包含接收日期、日期与日期减加减、日期与天数间加减、日期自增减(自动加减一天)、日期间大小比较等功能。 ☀️一、分析与优化各函数实现 …