文章作者:**伏长海**
文章整理:曾辉
个人介绍
大家好,我是伏长海,目前在珍岛集团担任大数据开发工程师职位!
GitHub ID:fuchanghai
在算法平台后端的研究领域耕耘了三年,任务调度方面也有一年半的深入探索。闲暇时,平时喜欢睡懒觉,偶尔阅读书籍,以此充实自己的生活。
为社区做了哪些贡献?
因为在公司的工作主要是针对Apache DolphinScheduler的原生功能进行二开,所以工作中产出的Feature是无法贡献的,目前对社区的贡献大部分都是一些Bug Fix
主要是修复了几个核心流程的Bug和improvement,以及多种任务插件的bug
对DataX ,SUB_PROCESS 这两种类型任务的优化,bugfix,DAG相关优化
以及相关联的PR的Review #14563 #13206;
对于流程提交报错,导致Master无限循环提交,最终导致服务不可用的修复(Bug 级别较高)#15092 #13051;
集成Springdoc-open-ui #12379;
协助楚枫对UT相关的修改#12328,对部分类的功能拆分,对新增数据源,
v2版本接口的Review,;
部分缺失文档的补充;
3.1.8 发版时,对SQL升级脚本的验证,对缺失的SQL的Fix,及部分缺失PR 的Cherry-pick;
布道Apache DolphinScheduler,以及在微信和Slack,的解答,issue 的回复;
对K8s task 部分功能的新增,Bug Fix;
社区结缘
其实我与Apache DolphinScheduler能够结缘,是出现了太多的巧合,当初我项目组领导给我的第一个任务是将Apache DolphinScheduler部分接口的接口文档提供给其他业务模块,但是我也是第一次接触Apache DolphinScheduler,看到有UT,就想试着根据UT的参数去熟悉各个接口的功能,但是调试的第一个UT就有问题,于是乎就提了个PR,本以为和Apache DolphinScheduler 的缘分就到这!
后来某次业务的版本迭代,有个功能在其他模块中做会很麻烦,当时对Apache DolphinScheduler也已经有了一定的了解,结合当时的经验,我觉得这个可以放在Apache DolphinScheduler中做,于是给产品和领导提了个建议,最后还真做成功了。
后来越来越多的需求需要修改Apache DolphinScheduler 的源码,从此在公司中就专门做Apache DolphinScheduler还有相关的task plugin的工作了~
社区初印象
我对Apache DolphinScheduler社区的第一印象是友好互助,耐心。社区中不缺乏BAT,以及清北复交名校的大佬,但是我从来没有感觉到他们高高在上,反而乐于帮我解决问题。社区解决问题,永远先考虑是否优化或者解决了问题,是否还有更优的方式,不会因为对架构改动过大,瞻前顾后推脱不去修改。
我第一次深度参与开源,就是Apache DolphinScheduler项目,我觉得吸引我的地方是,社区中大家友好的互相帮助,通过和大家交流,我能得到更好的方案去解决我遇到的问题!
使用场景
在珍岛集团,我们使用Apache DolphinScheduler来满足人群标签、算法分析、数据抽取和可视化建模等多种需求。将Apache DolphinScheduler的实例信息与业务模块解耦,以及实时任务的调度。
特别是在k8s环境下,DolphinScheduler展现出良好的兼容性,能够在不关闭k8s任务的情况下进行有效的任务起停和监控。
我觉得调度中心最关键就是稳定,期望以后Apache DolphinScheduler能够将实时任务做的更好,期望代码结构在中版本的升级中能稳定下来
让我们一起恭喜他!!
本文由 白鲸开源科技 提供发布支持!