Apache DolphinScheduler社区新晋Committer:伏长海的开源之旅

文章作者:**伏长海**

文章整理:曾辉

个人介绍

大家好,我是伏长海,目前在珍岛集团担任大数据开发工程师职位!

GitHub ID:fuchanghai

file

在算法平台后端的研究领域耕耘了三年,任务调度方面也有一年半的深入探索。闲暇时,平时喜欢睡懒觉,偶尔阅读书籍,以此充实自己的生活。

为社区做了哪些贡献?

因为在公司的工作主要是针对Apache DolphinScheduler的原生功能进行二开,所以工作中产出的Feature是无法贡献的,目前对社区的贡献大部分都是一些Bug Fix

主要是修复了几个核心流程的Bug和improvement,以及多种任务插件的bug

  1. 对DataX ,SUB_PROCESS 这两种类型任务的优化,bugfix,DAG相关优化

  2.  以及相关联的PR的Review  #14563 #13206;

  3. 对于流程提交报错,导致Master无限循环提交,最终导致服务不可用的修复(Bug 级别较高)#15092 #13051;

  4. 集成Springdoc-open-ui #12379;

  5. 协助楚枫对UT相关的修改#12328,对部分类的功能拆分,对新增数据源,

    v2版本接口的Review,;

  6. 部分缺失文档的补充;

  7. 3.1.8 发版时,对SQL升级脚本的验证,对缺失的SQL的Fix,及部分缺失PR 的Cherry-pick;

  8. 布道Apache DolphinScheduler,以及在微信和Slack,的解答,issue 的回复;

  9. 对K8s task 部分功能的新增,Bug Fix;

社区结缘

其实我与Apache DolphinScheduler能够结缘,是出现了太多的巧合,当初我项目组领导给我的第一个任务是将Apache DolphinScheduler部分接口的接口文档提供给其他业务模块,但是我也是第一次接触Apache DolphinScheduler,看到有UT,就想试着根据UT的参数去熟悉各个接口的功能,但是调试的第一个UT就有问题,于是乎就提了个PR,本以为和Apache DolphinScheduler 的缘分就到这!

后来某次业务的版本迭代,有个功能在其他模块中做会很麻烦,当时对Apache DolphinScheduler也已经有了一定的了解,结合当时的经验,我觉得这个可以放在Apache DolphinScheduler中做,于是给产品和领导提了个建议,最后还真做成功了。

后来越来越多的需求需要修改Apache DolphinScheduler 的源码,从此在公司中就专门做Apache DolphinScheduler还有相关的task plugin的工作了~

社区初印象

我对Apache DolphinScheduler社区的第一印象是友好互助,耐心。社区中不缺乏BAT,以及清北复交名校的大佬,但是我从来没有感觉到他们高高在上,反而乐于帮我解决问题。社区解决问题,永远先考虑是否优化或者解决了问题,是否还有更优的方式,不会因为对架构改动过大,瞻前顾后推脱不去修改。

我第一次深度参与开源,就是Apache DolphinScheduler项目,我觉得吸引我的地方是,社区中大家友好的互相帮助,通过和大家交流,我能得到更好的方案去解决我遇到的问题!

使用场景

在珍岛集团,我们使用Apache DolphinScheduler来满足人群标签、算法分析、数据抽取和可视化建模等多种需求。将Apache DolphinScheduler的实例信息与业务模块解耦,以及实时任务的调度。

特别是在k8s环境下,DolphinScheduler展现出良好的兼容性,能够在不关闭k8s任务的情况下进行有效的任务起停和监控。

我觉得调度中心最关键就是稳定,期望以后Apache DolphinScheduler能够将实时任务做的更好,期望代码结构在中版本的升级中能稳定下来

让我们一起恭喜他!!

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/423007.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ORA-01033: ORACLE initialization or shutdown in progress---惜分飞

客户反馈数据库使用plsql dev登录报ORA-01033: ORACLE initialization or shutdown in progress的错误 出现该错误一般是由于数据库没有正常open成功,查看oracle 告警日志发现 Mon Jan 22 16:55:50 2024 Database mounted in Exclusive Mode Lost write protection disabled …

【Linux】—— 命名管道详解

命名管道是一种在操作系统中用于进程间通信的机制,它允许不同的进程之间通过管道进行数据交换。与匿名管道相比,命名管道具有更多的灵活性和功能。在本博客中,我们将深入探讨命名管道的概念、用途以及如何在编程中使用它们。 目录 &#xff…

pycharm创建vue项目idealTree:npm: sill idealTree buildDeps,换taobao源后还不好使?那就再换一个

心血来潮打算写个小项目,前后端分离,flask/fastapivue(具体用哪个后端还没想好),里面的功能大概就是目前所有热门的应用的合集,一键出结果的那种,然后跟随着科技趋势,不断去更新维护…

实现钉钉与宁波银行对接,助力东吴黄金集团财务智能化

客户介绍: 某黄金集团有限公司是一家在国内外黄金市场上具有重要影响力的综合性黄金企业。该公司拥有一支高素质、专业化的团队,具备丰富的行业经验和卓越的执行力。在业务范围上,该公司涵盖了黄金勘探、采选、冶炼、加工、销售等全产业链&a…

C#使用DateAndTime.DateDiff方法计算年龄

目录 一、计算年龄的方法 二、 DateAndTime类 1.定义 2.常用方法 3.DateDiff(DateInterval, DateTime, DateTime, FirstDayOfWeek, FirstWeekOfYear) 三、使用DateAndTime.DateDiff方法计算年龄 一、计算年龄的方法 使用DateDiff方法计算系统时间与员工生日之间相隔的年…

【机器学习:异常值检测】新颖性和异常值检测

【机器学习:异常值检测】新颖性和异常值检测 异常值检测方法概述新颖性检测纵向扩展单类 SVM 异常值检测拟合椭圆包络隔离林局部异常因子使用局部异常因子进行新颖性检测 许多应用程序需要能够确定新观测值是属于与现有观测值相同的分布(它是异常值&…

【算法练习Day51】柱状图中最大的矩形

​📝个人主页:Sherry的成长之路 🏠学习社区:Sherry的成长之路(个人社区) 📖专栏链接:练题 🎯长路漫漫浩浩,万事皆有期待 文章目录 柱状图中最大的矩形思路动态…

【C++】初识类和对象

引言 在C语言中,我们用结构体来描述一个复杂的对象,这个对象可能包括许多的成员,如用结构体描述一个学生的成绩,或者描述一个日期等。 struct Date {int _year;int _month;int _day; }; 如上是一个描述日期的结构体定义&#x…

不同业务模式的跨境电商如何借助云桥通SDWAN组网做Tiktok生意?

TikTok for Business的出海电商行业运营策略负责人在演讲中强调,商家在TikTok实现销售的两种主要方法包括开设TikTokShop和利用各类广告产品引流到独立站。在TikTokShop开店的过程中,商家需完成入驻、学习运营指南、通过新店铺考察期等步骤。而利用广告引…

HYBBS 表白墙网站PHP程序源码 可封装成APP

源码介绍 PHP表白墙网站源码,可以做校园内的,也可以做校区间的,可封装成APP。告别QQ空间的表白墙吧。 安装PHP5.6以上随意 上传程序安装,然后设置账号密码,登陆后台切换模板手机PC都要换开启插件访问前台。 安装完…

MySQL---多表分组查询综合练习

创建dept表 CREATE TABLE dept ( deptno INT(2) NOT NULL COMMENT 部门编号, dname VARCHAR (15) COMMENT 部门名称, loc VARCHAR (20) COMMENT 地理位置 ); 添加dept表主键 mysql> alter table dept add primary key(deptno); Query OK, 0 rows affected (0.02 s…

最小生成树(java版)

📑前言 本文主要是【最小生成树】——最小生成树使用的文章,如果有什么需要改进的地方还请大佬指出⛺️ 🎬作者简介:大家好,我是听风与他🥇 ☁️博客首页:CSDN主页听风与他 🌄每日一…