kettle调度管理系统XXK-PDI,kettle调度好帮手

news/2025/2/24 18:10:23/文章来源:https://www.cnblogs.com/zjBoy/p/18733787

最近两天感冒了,而且莫名其妙的嗓子哑了好几天,心情很是不爽。周末两天啥也不想干,坐在电脑旁边继续手撕kettle调度系统。

1、其实之前有整理过kettle的调度方法,有很多种,根据自己的需求合理选择其中的一种,如下图所示:

2、kettlePack 应该是深度集成kettle,将kettle的核心模块集成到系统里面,缺点就是和kettle严重耦合,升级比较困难,会遇到很多kettlePack本身的一些问题。

3、今天主要介绍本人开发的一款轻量级的调度管理系统:XXK-PDI。

XXK - PDI 后台管理系统是一款专门用于 Kettle 任务调度管理的系统。它基于若依框架开发,并集成了 Carte 功能。 该系统采用 Cron 表达式的方式对 Kettle 的转换(tran)或作业(job)进行灵活调度。无论是面对单个 Carte 服务器,还是 Carte 服务器组,它都能稳定、高效地完成调度任务,为您提供全方位的 Kettle 任务调度解决方案。

4、XXK-PDI使用介绍

1)常规登录,输入用户名和密码进行登录,如下图所示:

2)carte服务器信息维护,录入carte服务器信息后系统就可以基于carte进行调度了。如下图所示:

 3)点击链接【查看carte信息】可以查看此carte服务器上面运行的trans &job 信息以及相关日志。(注这里只是将carte的原生页面内嵌到系统,不做任何修改)如下图所示:

 4)选择trans/job 任一一条,点击眼睛按钮查询trans或者job的运行步骤详情、日志等信息,根据步骤详情可以进行调优化,如下图所示:

 日志信息

 5)文件服务器

文件服务器的作用是可以将本地的trans文件或者job文件上传到carte服务器指定的目录,也就是资源仓库所在的位置。

注:调度时若是单体carte服务器调度,可以通过此处上传文件,carte服务器组的不建议使用此处,可以手动将trans或者job上传到各个carte服务器相应目录下面或者资源仓库使用database方式。

6) kettle调度任务配置

这里可以支持系统中直接生成cron表达式,查看调度日志,如下图所示:

 点击新增/编辑按钮进行配置任务配置,如下图所示

这里主要有如下几个参数:

carteCode:指定某个carte运行此task

groupName:carte服务器组的名称(目前支持组内随机和按照权重进行调度两种策略)

rep:carte服务器上面的资源仓库名称

name:trans或者job的名字

level:执行trans或者job的日志级别

 7)carte运行时信息

这里记录了哪个trans/job在哪个carte服务器上执行,另外执行job的话,可以直接通过链接【查看运行日志定位到carte的运行信息】,如下图所示:

注:运行trans目前由于carte服务器没有返回carteObjectId导致无法直接定位到carte运行页面,只能通过carte服务器菜单进入查看。

所以可以将任务都设计为job进行运行规避此问题,有可能是kettle开发者故意而为之。

写在最后

XXK - PDI 是我本人基于深厚的专业知识和丰富的实践经验开发而成的系统,在开发过程中涉及大量的技术研发、测试验证以及后续的技术支持工作,这些都需要投入相当的资源。因此,目前无法将其免费开源供大家使用。付费使用 XXK - PDI,您将获得专业的技术保障、及时的更新服务以及个性化的解决方案,助力您的业务实现更高效的运作。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/889114.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

记录---Vue的scoped原理是什么?

🧑‍💻 写在开头 点赞 + 收藏 === 学会🤣🤣🤣前言还记得几年前我去找前端工作的时候,那时候才初入职场,有一次去面试,然后被面试官问过一个面试题,Vue中Scoped的原理是什么?幸好当时八股文面试题背的很多,我当时就说是在选择器加了一个唯一的属性实现的,那时候…

用链表实现队列

问题:链表和数组,哪个队列更快? 分析:队列是先进后出 数组是连续存储的,push很快,shift 很慢   链表是非连续存储,add 和 delete 都很快 结论:链表实现队列更快链表实现队列单向链表,要同时记录 head 和 tail 要从tail 入队,从head 出队 length要实时记录,不可遍历…

PLC及CNC数控机床设备运行状态工艺参数节拍产量采集焊接设备

序号 车间 产线 设备名称 设备数量 控制器 控制器型号 通讯接口 设备采集参数 增加转 类型 换模块1 焊洗 焊洗4线 压簧支柱焊接设备 1 PLC 三菱FX1N 串口 设备运行状态;节拍;产量 是2 焊洗 焊洗4线 机脚焊接设备 1 PLC 三菱FX3U 串口 设备运行状态;节拍;产量 是3 焊…

Unity UI框架总结

前言 目前国内手游的开发过程中,大部分业务玩法都是围绕着UI进行的。一个玩法业务不管是大型还是小型,UI上能占用40%-60%的工作量,不过当然也与玩法类型也有关系,玩法越偏3D,UI占有率越低,玩法越偏2D,UI占有率就越高,甚至能达到100%。博主作为一个3年多工作经验的U3D小…

战神电话app版本过低怎么办更新最新版本

您的App版本过低,已无法使用,请升级App,您的App版本过低,已经停止提供烧录等功能,并即将停用全部功能,请记录设备密码并及时升级App 战神电话app最新版本,战神电话app版本过低怎么办, 怎么更新到最新版本,版本过低有什么app可以代替,不能继续使用app的用户,可以联系升…

Language-only Efficient Training of Zero-shot Composed Image Retrieval

目录概LinCIR代码Gu G., Chun S., Kim W., Kang Y. and Yun S. Language-only efficient training of zero-shot composed image retrieval. CVPR, 2024.概 本文提出了一种仅在文本上训练的 Zero-Shot Composed Image Retrieval (ZS-CIR) 方法. LinCIR上图展示了一种最为常见的…

vue中接收接口数据控制svg图转动

前段时间做了svg图放到vue项目中项目,实时展示监控堆垛机、线体、告警等实时信息,还有暖通、废气、水处理、进料等系统的实时数据,直接展示在svg图上,并且部分系统设备能下发设备参数或者开关控制设备。在之前已经讲过《vue集成svg大图拖拽无限放大缩小》、《vue若依集成C#…

DeepSeek-R1 1.5b、7b、8b、14b、32b、70b、671b 都是什么鬼?

大家好,我是R哥。 你是不是被 DeepSeek-R1 1.5b、7b、8b、14b、32b、70b、671b 这些概念绕晕了? 如图所示:DeepSeek-R1 模型有好几种规格,比如 1.5b、7b、8b、14b、32b、70b、671b,后面的数字代表模型的参数量,而 b 则是指 “billion” 的意思,也就是十亿,表示这个模型…

北京智和信通:全方位智能 OLT、ONU 设备监控运维方案

北京智和信通OLT、ONU监控运维方案自动发现网络中不同品牌、型号的OLT设备,统一纳管,集中监控,动态呈现OLT、ONU设备的运行态势,通过对OLT、ONU设备的有效监控和管理,保障OLT、ONU设备的高效运行,及时发现并解决潜在问题,保障网络稳定。 随着网络技术的不断迭代与…

Redis低版本客户端Jedis2.9.0兼容高版本redis(比如redis6)不支持ACL的问题(亲测可用)

redis6版本及以上使用了acl认证 就是通过账号密码去认证,但是在之前版本都是只需要密码的,这种如果要适配,可能就要升级jedis客户端依赖的,但是一些老项目都不能随便升级的 之前的代码可能就不适配了 如果就要考虑使用现有的jedis版本 如:2.9.0 去支撑redis6的连接 以下有…

Linux 中sed命令的整行替换

Linux 中sed命令的整行替换.001、基本用法[root@PC1 test2]# ls a.txt [root@PC1 test2]# cat a.txt ## 测试文件 a UU i a UU i b q j c q y [root@PC1 test2]# sed /b/ s/.*/QQ/ a.txt ## 将匹配b的行全部替换为Q…

高科战神拨号精灵app下载设置方法

高科战神拨号助手、拨号健、全家软件下载,高科拨号精灵app使用设置方法说明:首先用安卓手机安装拨号助手app【联系图片上的V信 2081003456下载】。安装好后拨12345678进行蓝牙连接,蓝牙连接好后就可以进行操作。1拨号 2拨号 3拨号 4拨号 5拨号 关闭程序 12345678拨号设置。