中电金信:数据管理的“工艺”和“柔”性艺术

news/2024/11/28 17:30:25/文章来源:https://www.cnblogs.com/zhongdianjinxin/p/18569873

数字化转型将数据作为重要的资源和决策依据,通过收集、加工、分析和利用大数据,来优化业务流程和支撑业务决策。中国信通院在“2023数据资产管理大会”上分享了数据管理发展的六大趋势,其中认为“DataOps将打造数据开发治理融合的新范式”“数据编织塑造下一代数据架构”。那么,为何需要DataOps,基于DataOps的研发工艺有何过人之处和具体实践?基于Data Fabric的新一代数据仓库更“灵活”更“柔”?Data Fabric落地关键能力和应用场景有哪些?本期Gien享汇视频由中电金信数据资产平台产品架构师、资深技术专家戴永恒向大家解密。

 

1. 高效、灵活、安全:数据管理的发展趋势

数字化转型将数据作为重要的资源和决策依据,数据资源最重要的承载就是数据仓库。从系统架构及内核引擎角度来看,数据仓库从第一代的单机分型数据库、第二代传统MPP数据仓库演进为融合大数据技术的湖仓一体的实时数仓,以及云原生数仓。从数据管理和开发软件视角来看,数据仓库从工具化向流程化、自动化、智能化阶段演进,每个阶段都有代表性的数据管理产品,让数据管理更高效、灵活和安全。

 

2. 数据工程的工艺化:基于DataOps的研发工艺管理

关于DataOps业内有很多理解,中电金信用”工艺化“来形容,强调数据产品研发过程的自动化、规范化和价值化,以保证研发的速度、质量与效率。

具体实施工艺如下:

· 研发速度:构建自动化的数据产品研发工具链路,利用工具提升研发速度,且发展智能化工具。

· 研发质量:构建规范化的数据产品研发工程工艺,利用工艺保障研发质量,且发展智能化工艺。

· 研发成效:构建费效化的数据产品研发价值度量,利用量化提高研发成效,且发展智能化度量。

 

源启数据资产平台就是这样的产品,将DataOps融合到从开发需求到资产运营的整个数据研发流程,在每一个研发阶段匹配自动化的研发工具,再将原始需求撰写、加工需求评审、数据模型设计等研发过程规范化,将以人为主的数据交付模式升级为以“流程+工具”为主的数据交付模式。

 

3. 从刚性走向柔性:基于Data Fabric的新一代数据仓库

“柔性”数据仓库的两大支柱一是让数据更灵活的NL2SQL,二是逻辑数仓,两者融合起来才能实现更为灵活的数据仓库。基于Data Fabric的新一代“柔性”数据仓库能够更灵活地适应业务的快速发展,让各类指标得到即时响应和生成。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/841586.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

macOS电脑数据转换:Easy Data Transform直装版安装包资源

Easy Data Transform是一款专为Mac用户设计的数据转换工具,支持CSV、Excel、JSON等多种文件格式。它提供直观的拖放界面,无需编写代码即可完成数据合并、过滤、排序、拆分等操作。此外,该软件拥有丰富的转换模板和自动化功能,支持42种转换和60种文本编码,能够显著提高数据…

Shiro 漏洞复现

Shiro 漏洞复现 shiro是什么? ApacheShiro是一个灵活且全面的Java安全框架,它为现代应用程序提供了认证、授权、加密和会话管理等核心安全功能。shiro组件识别 1.在访问及登录时抓包,如果响应头 set-cookie 中显示 rememberMe=deleteMe,说明使用了 Shiro 组件。2.有时 Shir…

什么是网格变形?HyperWorks网格变形设置方法

HyperMorph 是 HyperMesh 向用户提供的强大的网格变形工具。它可以在保证基本网格形态和质量的前提下,按照用户使用需求,自如的对已有的有限元模型进行网格变形。 HyperMorph 可用于: • 改变已有的网格,生成新的设计方案。 • 将已有的网格映射至全新的几何模型。 • 用于…

Kafka集群管理:大数据运维专家来教你如何实现数据均衡与性能最大化

Kafka 概述 Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统,现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛…

x-easypdf 初始与简单使用

一、概述 一个 java 语言简化处理 pdf 的框架 项目主页https://x-easypdf.cn项目概述x-easypdf是一个java语言简化处理pdf的框架,包含fop模块与pdfbox模块,fop模块以创建功能为主,基于xsl-fo模板生成pdf文档,以数据源的方式进行模板渲染;pdfbox模块以编辑功能为主,对标准…

x-easypdf 初始

一、概述 一个 java 语言简化处理 pdf 的框架 项目主页https://x-easypdf.cn项目概述x-easypdf是一个java语言简化处理pdf的框架,包含fop模块与pdfbox模块,fop模块以创建功能为主,基于xsl-fo模板生成pdf文档,以数据源的方式进行模板渲染;pdfbox模块以编辑功能为主,对标准…

园子与阿里云的推广合作:直播预告|FFA 2024 上海主论坛,11月29日正式上线!

为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于 11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届Flink Forwar…

关于力矩、转动惯量、扭矩等机器人、电机领域相关名词的解析和扫盲

前言 这篇博客主要用于记录一些关于电机一些专有名词分析的事情,特此记录,一方面便于日后自己的温故学习,另一方面也比便于大家的学习和交流。如有不对之处,欢迎评论区指出错误,你我共同进步学习! 这里摘要自b站的这位老师的视频,原视频很长,这里做出一定程度的总结: …

PowerShell配色方案修改 —— Windows 10下设置PowerShell背景,文字,命令,错误信息,错误信息背景等等的颜色—仅供参考!!!

PowerShell配色方案修改 —— Windows 10下设置PowerShell背景,文字,命令,错误信息,错误信息背景等等的颜色—仅供参考!!! 前言:笔者平时使用wsl的时候,觉得其它开发工具相对笨重,且CMD代码框又太简陋,PowerShell正好符合目前需求,且可自定义调节颜色,网上看了太多…

占用磁盘100%?Apache DolphinScheduler 日志如何定时清理!

当 Apache DolphinScheduler 运行几个月后,大部分朋友会发现 Logs 下的运行日志越来越多,这时可以考虑清理下 Logs/ 目录下的日志文件,比如设置只保留最近 3 天的日志,怎么操作呢?可以通过执行以下三个命令来实现: find ./logs -type f -mtime +3 -name "dolphinsch…

CMS管理后台(前后端分离模式)

本后台使用前后端分离模式开发,前端UI为Vue3+Ant Design Vue,后端Api为Go+Gin,解耦前后端逻辑,使开发更专注 技术栈 前端:Vue3,Ant Design Vue,Axios,分页,OTP动态码登录 后端:Gin,Gorm,Mysql,Docker,JWT,跨域,Log,模型绑定,Validator,权限判断,分页,OT…

专为Mac设计的文件管理工具——Dropzone 4 直装版本 Dropzone 4激活下载

Dropzone 4直装激活版是一款专为Mac设计的文件管理工具,它通过拖放操作简化文件管理流程。该软件支持快速上传文件至多种云存储服务(如Dropbox、Google Drive等),并提供文件合并、拆分、压缩、解压及邮件发送等功能。Dropzone 4允许用户自定义操作和快速访问面板,进一步提…