克服指标管理痛点,实现数据价值最大化

news/2024/10/5 20:47:40/文章来源:https://www.cnblogs.com/DTinsight/p/18271727

在当下的企业管理中,由于数据量的激增,管理方式逐渐从基于经验转向基于数据。在此过程中,我们能够通过数据探查业务情况、分析数据,从而获取更优的决策支持数据。这通常通过数据报表或分析平台来实现,对于临时性场景,则会基于日常取数方式进行临时数据分析。

但在此过程中,由于数据源的多样性、数据结果呈现的多样性以及需求提出时间的不一致,导致出现了诸如指标管理不统一、口径不一致、流程不规范等管理问题。例如不同部门核对指标数据时口径和结果不一致,使大家对数据真实性产生质疑,进而影响业务决策。

指标平台的出现,正是为了应对上述挑战,其目标在于统一指标管理,规范数据流程,确保数据决策的有效性与一致性。通过指标平台,企业得以克服指标管理的痛点,实现数据价值的最大化,保障数据准确无误,促进业务发展。

指标平台的业务价值与在数仓中的定位

传统数仓建设的基本架构,从数据源同步、数据清洗、数据聚合、至数据服务化,每个环节都承载着特定功能。数仓从数据源同步至ODS层,再到DWD、DWS和ADS层的数据处理流程。重点在于上层数据(DWS和ADS)对业务决策的影响,它们直接关联着业务决策的依据。

指标平台通过优化上层数据处理,实现指标的标准化管理和数据的统一性,强化了数据决策的质量。在这个过程中,ODS 和 DWD 层数据与业务弱相关,指标需求和取数更多来自 ADS 和 DWS 层,问题也主要出现在这两层,所以指标管理主要解决这两层的问题,确保数据统一规范,方便获取准确结果。

file

如何通过指标平台实现指标的定义与计算

指标平台集成了数据源管理、数据模型构建、指标定义、审批流程、运维调度、权限控制、数据查询及异常监控等功能,形成了一套完备的指标管理体系。

file

数据源管理包括维度和事实表管理,在此基础上生成数据模型,进而生成指标,同时涉及指标目录、学员版本管理、原数据管理等管理内容,还包括指标发布下线及审批流程以保证规范。

配置好指标内容后,涉及数据运维中心,通过自研的分布式调度引擎进行周期性或临时的补数据调度,保证及时获取数据结果,并对调度结果进行监控。

数据应用方面包括权限管控、数据查询、结果查看等,还可通过指标市场进行指标查询与管理,通过原数据查询指标,查看热门查询了解指标使用热度。

面向业务层,有自助取数方式,可将关注数据保存生成指标看板,平台能进行异动监测和归因分析,还可通过指标门户、API 方式对接上游应用系统或 BI 平台。在此基础上,可通过 AI 智能分析辅助企业经营决策。

file
指标开发的整体过程,包括开发和日常运维两部分。首先有一个数据源,基于此进行指标逻辑计算,进行指标任务开发和结果落地,之后是数据结果的周期性调度和日常运维,保证计算任务稳定输出。

重点讲一下指标定义的语义化定义,包括数据源准备、指标模型、指标语义化定义和指标结果落表。数据源分为维度表和事实表,基于此又产生四种表类型。基于数据源生成指标模型,包括维度管理和数据模型,数据模型实际使用中建议采用星型模型。定义好指标模型后,对指标计算口径进行语义化定义,指标分为原子指标、派生指标和复合指标。对于生成的结果涉及表字段生成,包括业务日期、维度、指标、更新周期。

通过语义化定义,平台简化了指标构建过程,包括数据源准备、模型构建、指标定义和结果落表。此外,平台内置的AI智能分析功能进一步提升了数据洞察力,为决策者提供了更多有价值的信息。

file

《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057?src=szsm

《数栈产品白皮书》下载地址:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/732267.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ubuntu22.4环境下npm下载gdal失败

https://www.npmjs.com/package/gdal https://github.com/naturalatlas/node-gdal从错误日志来看,安装gdal模块时遇到了几个问题,导致安装失败。以下是几个关键点:缺少预构建二进制文件: node-pre-gyp ERR! install response status 404 Not Found on https://github.com/n…

SymPy-1-13-中文文档-二十八-

SymPy 1.13 中文文档(二十八)原文:docs.sympy.org/latest/index.html数域原文链接:docs.sympy.org/latest/modules/polys/numberfields.html引言像代数数论中许多其他计算一样,有理素数的分裂只能用有理方法处理。如果考虑用自动计算设备进行计算,这一事实非常重要。只需…

SymPy-1-13-中文文档-二十-

SymPy 1.13 中文文档(二十)原文:docs.sympy.org/latest/index.html控制系统绘图原文:docs.sympy.org/latest/modules/physics/control/control_plots.html该模块包含用于控制系统中一些常见绘图的绘图函数。如果用户需要绘图,则需要外部依赖 Matplotlib。如果仅需获得绘图…

SciPy-1-12-中文文档-十八-

SciPy 1.12 中文文档(十八)原文:docs.scipy.org/doc/scipy-1.12.0/index.htmlscipy.special.fdtr原文:docs.scipy.org/doc/scipy-1.12.0/reference/generated/scipy.special.fdtr.html#scipy.special.fdtrscipy.special.fdtr(dfn, dfd, x, out=None) = <ufunc fdtr>F…

Centos7在已有python3.6的基础上安装python3.8

需要系统带有gcc和make wget http://www.python.org/ftp/python/3.8.13/Python-3.8.13.tgz tar -zxvf Python-3.8.13.tgz sudo mkdir -p /usr/local/python3.8 cd Python-3.8.13/# --prefix表示把编译好的python放到哪个地方 ./configure --prefix=/usr/local/python3.8 --enab…

zabbix提示链接数过多

一、先进入mysql查看连接数是多少mysql -uroot -p 输入密码 show variables like max_%; #查询连接 默认是一100, 二、改修msyql连接参数‘,先查配置文件在哪里mysql --help|morevim /etc/my.cnf.d/mysql-server.cnfmax_connections=1000 #新增这条参数 再重启一下mysq…

npm install pnpm问题解决方法

安装npm install -g pnpm 正确配置环境变量 在cmd输入: Start-Process powershell -Verb runAs 设置缓存路径: npm config set prefix "E:\nodejs\node_global"npm config set cache "E:\nodejs\node_cache" 解决方法: 设置执行策略: 检查策略: Get-E…

代理时响应头大小写区别

配置代理访问非代理访问

Cilium Native Routing with KubeProxyReplacement 模式

Cilium Native Routing with KubeProxyReplacement 模式Cilium Native Routing with KubeProxyReplacement 模式 一、环境信息主机 IPubuntu 172.16.94.141软件 版本docker 26.1.4helm v3.15.0-rc.2kind 0.18.0kubernetes 1.23.4ubuntu os Ubuntu 20.04.6 LTSkernel 5.11.5 内核…

OOP课程第三次Blog

一、 前言 本次博客是对于题目集7~8的总结和反思。 知识点 本阶段题目集的主要对之前所有知识进行综合考察,主要知识点包括封装、继承、多态,继承、抽象类和接口、List及泛型等。继承包括对super、extend关键字的使用,方法的重写等,多态包括向上转型、向下转型等。在设计上…

Linux 网卡端口 Bonding

通过将多个网卡端口聚合成一个虚拟端口,虚拟端口提供冗余及增加了链路带宽,参与聚合的网卡端口应连接到不同的网络交换机。Linux 网卡端口聚合主要有bonding、team技术,team 技术是 RHEL 7 推出的,由于其普及程度不高又没有优势在RHEL 9 版本中已经废弃,bonding 技术则更成…

2024好用的项目管理软件有哪些?这10款最火国内项目管理工具你应该知道

不管是大公司还是小公司,如果想提高企业运作效率、规范管理并且高效且实用的项目管理工具,对项目流程进行把控、及时共享工作进度,从而让工作变得更有效率。那么一款好用的项目管理工具必不可少。然而面对市场上这么多的项目管理工具,你是否感到疑惑,不知道选择哪款项目管…