数睿通2.0数据接入升级——支持增量字段同步,表单独映射

引言

上次数睿通 2.0 更新是在 23 年12 月 底,已经过去了接近三个月的时间,中间由于过年加上年前年后实在是工作繁忙,所以一直没有腾出空来更新代码,希望大家可以理解,平台的发展离不开你们的支持,在此表示由衷的感谢!

本次主要是更新了数据接入模块,还有一些细节优化,bug修复等,主要添加了以下支持:

  • 支持自定义增量字段同步,支持源端为数据表或 sql
  • 支持表统一映射和单独映射,选择单独映射每张表可以配置自己的映射规则
  • 修复数据服务查询别名问题
  • 修复数据资产数据表 sql 鉴权问题
  • 部分细节优化

下个版本会推出不少朋友想要的数据血缘自研页面,数据标签完善等内容,大家耐心等待,下面来简单看一下本次更新的内容。

支持增量字段同步

新版的数睿通 2.0 可以通过设置表或 sql 的增量字段来进行数据的同步,一般我们都会把时间戳当作增量字段,比如数据的更新时间等,每次同步都会记录上次更新的位置,下次更新就会从上次的位置继续同步,根据增量字段同步无法同步物理删除的数据,只能同步插入和更新操作,大家在使用的时候要注意这点,原理说起来很简单,但是实现起来的细节十分繁杂,实现过程大家可以自行去查阅源码,界面做了如下改动:

增量字段
单独映射同步信息
sql增量

支持统一映射和单独映射

之前的版本在配置数据接入任务的映射规则时候,只能对映射规则进行统一设置,也就是多张表运用的是同一种规则,不够灵活,映射规则之间也容易冲突,所以本次在之前的基础上新增了单独映射的功能,可以单独设置每个表的映射规则,主键以及增量字段,规则之间相互隔离。

统一映射
单独映射

问题处理修复

之前有朋友反应数据服务生成 api,sql 中如果有别名,查询出来还是本来的列名而不是展示别名,目前已经修复。数据资产 sql 语句查询的时候如果带上 schema 查询,会误报无权限访问,目前已修复,剩下的还有一些细节上的优化,在此就不一一赘述了,大家可以自行体验。

结语

本次更新内容就是这些了,看上去不多,但背后也是付出了很多的劳动,希望平台以后能越做越好,给大家的工作带来便利。下个版本会优先更新自研数据血缘页面,完善数据标签,有时间的话会支持 excel,api 等非结构化的数据集成,这几个功能呼声较高,优先考虑,平台后期打算跟 AI 结合,争取让现有功能变得更加智能,强大,任重而道远!

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/522453.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Linux】第四十站:线程概念

文章目录 一、线程二、Linux中线程应该如何理解三、重新定义线程四、四谈进程地址空间(页表相关)五、Linux线程周边的概念1. 线程与进程切换2.线程优点3.线程缺点4.线程异常5.线程用途 一、线程 线程:是进程内的一个执行分支。线程的执行粒度…

RFID-科技的“隐秘耳语者”

RFID-科技的“隐秘耳语者” 想象一下,你身处一个光线昏暗的环境中,周围的一切都被厚厚的阴影笼罩。这时,你需要识别并获取一个物体的信息,你会选择怎么做?是点亮灯光,用肉眼仔细观察,还是打开扫…

复杂业务场景下,如何优雅的使用设计模式来优化代码?

1、引言 本文以一个实际案例来介绍在解决业务需求的路上,如何通过常用的设计模式来逐级优化我们的代码,以把我们所了解的到设计模式真实的应用于实战。 2、背景 假定我们现在有一个订单流程管理系统,这个系统对于用户发起的一笔订单&#…

Linux--搭建Zabbix监控系统

11.1 案例分析 要想实时地了解服务器的运行状况并且能在出现问题时及时解决,利用监控软件是一个很好的 途径。 Zabbix(免费的)是一个基于Web界面的企业级开源监控套件,提供分布式系统监控与网络监视功能。具备主机的性能监控。网络…

对simplex算法的时间复杂度进行分析

对于simplex算法,如果每进行一次pivot变换,目标函数所得到的结果都会有可能出现增加的情况,所以得到的结论中,可以肯定它的值是一定不会出现减少的情况的,每次从目标函数中找到一个系数大于0的变量,然后再在约束条件中选取能够让它的增值最少的那个来继续进行pivot变换。…

egg如何写单元测试

优秀的代码需要有单元测试进行质量保证,每个测试用例都给应用的稳定性提供了一层保障。 测试目录结构 我们约定 test 目录为存放所有测试脚本的目录,测试所使用到的 fixtures 和相关辅助脚本都应该放在此目录下。 测试文件的目录和我们需要测试的文件目…

考研数学|张宇30讲,搭配什么基础题?

如果基础跟的是张宇,那么基础做的题目要根据自己的题目来决定 题集的选择最好不要太难,而且基础也不用做太多题目,以数学知识点的运用,培养做题感觉为主。 张宇老师的课程在基础阶段也有配套的课程,就是《张宇基础30…

力扣hot100:438.找到字符串中所有字母异位词(滑动窗口)

26个字符,我复制怎么了?26个字符我比较个数怎么了? 顶多时间复杂度*26 本题用固定窗口大小的滑动窗口每次比较包含26个元素的数组次数,最容易写。 动态窗口大小哈希表存数值(双指针差值)难想难写。 一、动态…

HTML—常用标签

常用标签&#xff1a; 标题标签&#xff1a;<h1></h1>......<h6></h6>段落标签&#xff1a;<p></p>换行标签&#xff1a;<br/>列表&#xff1a;无序列表<ul><li></li></ul> 有序列表<ol>&…

React-Redux中actions

一、同步actions 1.概念 说明&#xff1a;在reducers的同步修改方法中添加action对象参数&#xff0c;在调用actionCreater的时候传递参数&#xff0c;数会被传递到action对象payload属性上。 2.reducers对象 说明&#xff1a;声明函数同时接受参数 const counterStorecre…

python基础篇--学习记录2

1.深浅拷贝 l1 ["张大仙","徐凤年",["李淳刚","邓太阿"]] # 变量名对应的就是内存地址,这里就是将l1的内存地址给了l2 # 现在两个变量指向同一个内存地址,l1变化l2也会变化 l2 l1 现在的需求是l2是l1的拷贝版本,但是两者是完全分割…

【C++】C++模板基础知识篇

个人主页 &#xff1a; zxctscl 文章封面来自&#xff1a;艺术家–贤海林 如有转载请先通知 文章目录 1. 泛型编程2. 函数模板2.1 函数模板概念2.2 函数模板格式2.3 函数模板的原理2.4 函数模板的实例化2.5 模板参数的匹配原则 3. 类模板3.1 类模板的定义格式3.2 类模板的实例化…