关于作业系统的一些思考

news/2024/11/19 17:18:16/文章来源:https://www.cnblogs.com/jmcui/p/18555168

作业程序有两种类型:

  • Long-lived 作业程序:输入或输出是无限量的数据,常见近乎实时的业务数据处理,比如日志处理等。(一般将消息队列连接输入,用来做流量削峰或多个输入)
  • Short-lived 作业程序:处理一组有限的数据然后终止。运行代码并在数据库中记录执行状态的任务,然后结束。

常见的做法是,基于 Spring Cloud Stream 框架编写 Long-lived 作业程序,基于 Spring Cloud Task 或 Spring Batch 框架编写 Short-lived 作业程序;

Spring Cloud Data Flow 可以用来调度作业程序:

作业系统一般分为 调度执行编排

  • 调度 就指示了作业谁来执行、什么时候执行、怎么执行等,由此可以延伸出定期调度、手动调度、路由策略、过期策略、阻塞策略、失败重试等等,这些都是 调度 需要处理的事情。
  • 编排 处理作业之间的依赖关系,子作业等。
  • 执行 具体的作业逻辑。


参考资料:
  • Spring Cloud Data Flow
  • Spring Batch Architecture
  • XXL-JOB

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/836886.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

安利一款好用的 gRPC 调试工具 Apifox

各位用gRPC的小伙伴们!今天要给大家安利一个超好用的gRPC调试神器 - Apifox!它对gRPC的支持真的是太友好了,让我们一起来看看~ gRPC 调试功能有多强?支持的调用类型 描述 使用场景一元调用 类似HTTP请求的简单调用 常规的请求-响应场景服务端流 服务器端持续推送数据 实时…

上门家政开发架构分析

随着科技的进步,手机被多数人使用,上门家政已成为家喻户晓的行业了,上门家政服务呈现出多元化、专业化、智能化等发展走向,上门家政到底时是走是留,何去何从呢? 服务专业化与精细化: 传统家政服务不断衍生出更多专业细分领域。例如在母婴护理方面,不再仅仅是简单照顾产…

抓包工具Fiddler安装及汉化

抓包工具Fiddler安装及汉化下载Fiddler 这里强烈建议大家在官网上下载安装,在此附上链接https://pan.quark.cn/s/e9447b1917b5(含汉化教程),在其它地方安装很有可能会给你再下一堆不必要的软件(垃圾全家桶)安装 点击文件夹里的 [FiddlerSetupy官网英文原版] 安装完成界面…

RCE

一、RCE(远程代码执行漏洞) owasp_top_10中,rce又称为os注入漏洞。 在Web应用开发中为了灵活性、简洁性等会让应用调用代码执行函数或系统命令执行函数处理,若应用对用户的输入过滤不严,容易产生远程代码执行漏洞或系统命令执行漏洞。二、常见RCE漏洞函数 1.系统命令执行函数…

CTF_Web笔记_RCE

一、RCE(远程代码执行漏洞) owasp_top_10中,rce又称为os注入漏洞。 在Web应用开发中为了灵活性、简洁性等会让应用调用代码执行函数或系统命令执行函数处理,若应用对用户的输入过滤不严,容易产生远程代码执行漏洞或系统命令执行漏洞。二、常见RCE漏洞函数 1.系统命令执行函数…

上门家政系统功能解析案例实战演练

上门家政 APP 平台的问世,在极大程度上化解了大众家庭中不愿做家务的难题,这让众多创业者从中看到了新的创业方向。他们觉得上门家政 APP 平台竞争小,易于复制,属于轻资产创业模式,经济负担不大,并且上线速度快,能够迅速抢占市场。上门家政 APP 平台主要涵盖用户端、家政…

DNS解析智能线路有何优势?

在当今数字化的网络环境中,DNS(域名系统)解析智能线路正逐渐成为提升网络性能和用户体验的关键技术。它具有诸多显著优势,深刻地影响着网络数据的传输和处理。 1、智能线路优化了网络访问速度 传统的DNS解析可能会将用户请求指向距离较远或网络拥塞路径上的服务器,导致数据…

MySQL 性能定位

一、SQL性能分析1.SQL执行频率MySQL 客户端连接成功后,通过 show [session|global] status 命令可以提供服务器状态信息。通过如下指令,可以查看当前数据库的 INSERT 、 UPDATE 、 DELETE 、 SELECT 的访问频次: -- session 是查看当前会话 ; -- global 是查询全局数…

Mit6.S081笔记Lab10: mmap 文件内存映射

课程地址:https://pdos.csail.mit.edu/6.S081/2020/schedule.html Lab 地址:https://pdos.csail.mit.edu/6.S081/2020/labs/mmap.html 我的代码地址:https://github.com/Amroning/MIT6.S081/tree/mmap xv6手册:https://pdos.csail.mit.edu/6.S081/2020/xv6/book-riscv-rev1…

.net 非阻塞的异步编程 及 线程调度过程

本文主要分为三个部分: 1、语法格式 2、线程调度情况 3、编程注意事项 * 阅读提示 :鼠标悬停在 章节标题 上可见 文章目录异步编程(Task Asynchronous Programming,TAP),一种编程模式(Task-based Asynchronous Pattern)。 TAP 是 .NET 中推荐的异步编程模式,基于 Task…

微软Office 2021 24年11月授权版

概述 Microsoft Office LTSC 2021 专业增强版是微软公司推出的一款专为企业客户设计的办公软件套件。该版本于2024年11月进行了批量许可版更新推送,旨在为企业用户提供更加稳定、高效的办公体验。主要特点LOGO设计趋势强化:新版Office将棱角改为圆角风格,提高了企业的辨识度…

OpenStack制作镜像

Ubuntu镜像的制作采用的是IOS 安装 转qcow2 上传OpenStack使用。 1.环境介绍 主机:Ubuntu 22.04 工具:QEMU+KVM 镜像类型:Ubuntu 22.04 工具:VNC-Client、系统镜像ISO或者IMG格式等,这里使用:ubuntu-22.04.5-live-server-amd64.iso2. 环境准备 root@node3:~/t# cat /proc…