【华为数据之道学习笔记】3-11元数据管理

1. 产生元数据

(1)明确业务元数据、技术元数据和操作元数据之间的关系,定义华为公司元数据模型。
(2)针对找数据及获取数据难的痛点,明确业务元数据、技术元数据、操作元数据的设计原则。
1)业务元数据设计原则
一个主题域分组下有多个主题域,一个主题域下有多个业务对象,一个业务对象下有多个逻辑实体,一个逻辑实体下有多个属性,一个属性有一个数据标准。
每个数据标准可被一个或多个属性引用,每个属性归属于一个逻辑实体,每个逻辑实体归属于一个业务对象,每个业务对象归属于一个主题域,每个主题域归属于一个主题域分组。
2)技术元数据设计原则
物理表设计须满足三范式,如为了降低系统的总体资源消耗,提高查询效率,可反范式设计。
物理表、视图和字段的设计须基于用途进行分类。
承载业务用途的物理表、虚拟表、视图必须与逻辑实体一一对应,承载业务用途的字段必须与属性一一对应。系统间的数据传递须优先采用数据服务。
3)操作元数据设计原则
日志目的不同的进行分类设计,日志目的相同的进行相同设计(非自研场景按软件包适配)。
(3)规范数据资产管理,设计数据资产编码规范
1)数据资产编码规范
华为数据资产编码的主要包括业务元数据和技术元数据两大类,其中业务元数据包含主题域分组、主题域、业务对象、逻辑实体、属性、数据标准;技术元数据包含物理数据库、Schema、表、字段。具体的定义与描述如表所示。
2)数据资产编码原则
数据资产编码(DAN)是通过一组数字、符号等组成的字符串去唯一标识华为公司内部每一个数据资产,基于此唯一标识,保证各业务领域对同一数据资产的理解和使用一致,它的设计遵循以下原则。
  • 统一性原则: 华为公司内部只能使用一套数据资产编码,以方便不同业务部门之间的沟通和IT应用之间的数据交换。
  • 唯一性原则: 每一个数据资产只能用唯一的数据资产编码进行标识,不同数据资产的编码不允许重复,同一个编码也只能对应到一个数据资产上。
  • 可读性原则: 数据资产编码作为数据资产分类、检索的关键词和索引,需要具备一定的可读性,让用户通过编码就能初步判断其对应的数据资产类型。
  • 扩展性原则: 数据资产的编码要从数据管理角度适当考虑未来几年的业务发展趋势,其编码长度要能适当扩展,同时不影响整个编码体系。
3)业务元数据资产编码规则
业务元数据资产编码规则主要包含三个部分:第一部分为主题域分组的编码规则,主题域分组的编码由公司统一分配;第二部分为主题域、业务对象、逻辑实体、属性的编码规则,这部分主要由数据治理平台按照编码规则自动生成;第三部分主要为业务元数据包含的子类对应的数据资产类型代码。

2. 采集元数据

元数据采集是指从生产系统、IT设计平台等数据源获取元数据,对元数据进行转换,然后写入元数据中心的过程。元数据的来源可分为如表3-3所示的六类。
1)选择适配器
适配器是指针对不同的元数据来源,采用相应的采集方式获取元数据的程序,元数据的来源种类繁多,因而须选择相对应的适配器及元模型。
2)配置数据源
配置数据源是采集元数据的关键,在确定数据源所选择的适配器类型、适配器版本、元模型的基础上,配置数据源的名称、连接参数和描述。
3)配置采集任务
采集任务为自动调度的工作单元,为元数据的采集提供自动化的、周期性的、定时的触发机制。

3. 注册元数据

大多数企业的数字化建设都存在增量和存量两种场景,如何同时有效地管理这两种场景下的元数据就成了问题的关键。华为通过标准的元数据注册规范和统一的元数据注册方法,实现了两种场景下业务元数据和技术元数据的高效连接,使业务人员能看懂数据、理解数据,并通过数据底座实现数据的共享与消费。
(1)元数据注册原则
元数据注册的原则包括如下三点:
  • 数据Owner负责,是谁的数据就由谁负责业务元数据和技术元数据连接关系的建设和注册发布;
  • 按需注册,各领域数据管理部根据数据搜索、共享的需求,推进元数据注册;
  • 注册的元数据的信息安全密级为内部公开。
(2)元数据注册规范
通过“元数据注册三步法”完成元数据注册。
1)准备度评估项包括如下检查要点:
  • IT系统名称必须是公司标准名称;
  • 数据资产目录是否经过评审并正式发布;
  • 数据Owner是否确定数据密级;
  • 物理表/虚拟表/视图名。
2)元数据连接需遵从以下规范。
  • 逻辑实体和物理表/虚拟表/视图一对一连接规范:在业务元数据与技术元数据连接的过程中,必须遵从逻辑实体和物理表/虚拟表/视图一对一的连接原则,如果出现一对多、多对一或多对多的情况,各领域需根据实际场景,参照元数据连接的设计模式进行调整。
  • 业务属性与字段一对一连接规范:除了逻辑实体与物理表/虚拟表/视图要求一一对应外,属性和非系统字段(具备业务含义)也要求遵从一对一的连接原则,如出现属性与字段匹配不上的情况,可参考元数据关联的设计模式进行调整。
  • 完成元数据注册后,通过元数据中心自动发布。
(3)元数据注册方法
元数据注册分为增量元数据注册和存量元数据注册两种场景。
增量场景相对容易,在IT系统的设计与开发过程中,落实元数据的相关规范,确保系统上线时即完成业务元数据与技术元数据连接,通过元数据采集器实现元数据自动注册。
针对存量场景,华为设计了元数据注册的四大模式。在符合元数据设计规范的前提下,进行业务元数据与技术元数据的连接及注册。
模式一:一对一模式
适用场景 适用于数据已发布信息架构和数据标准且物理落地,架构、标准与物理落地能一一对应的场景。
解决方案
  • 将逻辑实体和物理表一对一连接。
  • 逻辑实体属性和物理表字段一对一连接。
模式二:主从模式
适用场景
适用于主表和从表结构一致,但数据内容基于某种维度分别存储在不同物理表中的场景。例如,按时间或项目归档,或按区域进行分布式存储。
解决方案
  • 识别主物理表和从属物理表。
  • 以主物理表为核心,纵向UNION所有从属物理表,并固化为视图。
  • 将视图、逻辑实体、字段和业务属性一对一连接。
模式三:主扩模式
适用场景
适用于逻辑实体的大部分业务属性在主物理表,少数属性在其他物理表中的场景。
解决方案
  • 识别主物理表和扩展物理表。
  • 以主物理表为核心,横向JOIN所有扩展物理表,完成扩展属性与主表的映射,并固化为视图。
  • 将视图、逻辑实体、字段和业务属性一对一连接。
模式四:父子模式
适用场景
适用于多个逻辑实体业务属性完全相同,按不同场景区分逻辑实体名称,但落地在同一张物理表的场景。
解决方案
  • 识别一张物理表和对应的多个逻辑实体。
  • 将物理表按场景拆分和多个逻辑实体一对一连接。
  • 将物理表字段和多个逻辑实体属性一对一连接。

4. 运维元数据

运维元数据是为了通过对元数据进行分析,发现数据注册、设计、使用的现状及问题,确保元数据的完整、准确。通过数据资产分析,了解各区域/领域的数据注册情况,进而发现数据在各信息系统使用过程中存在的问题。通过业务元数据与技术元数据的关联分析,反向校验架构设计与落地的实施情况,检查公司数据管理政策的执行情
况。
主要分为如下四个场景。
  • 场景一:基于数据更新发现,数据源上游创建,下游更新;
  • 场景二:通过数据调用次数发现,某数据源上游调用次数<下游调用次数;
  • 场景三:虽制定了架构标准,但不知落地情况,比如某个属性建立了数据标准,但是却找不到对应落地的物理表字段;
  • 场景四:通过物理表的字段分析,发现很多字段缺少数据标准。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/276685.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

燃气发电机组市场分析:预计2029年将达到682亿元

燃气发电机组是一种以液化气、天然气等可燃气体为燃烧物&#xff0c;代替汽油、柴油作为发动机动力的新型&#xff0c;高效的新能源发电机组。 燃气发电机组根据燃烧气体的不同可以分为&#xff1a;天然气发电机组、石油伴生气发电机组、发生炉煤气发电机组、液化石油气发电机组…

伦敦金投资者的本质其实是风险管理者

长期在市场中可以稳定盈利的投资者&#xff0c;他们的秘密是什么&#xff1f;很多人以为&#xff0c;肯定是他有别人所没有的交易策略。其实并不是&#xff0c;交易技术固然很重要&#xff0c;但在持续盈利的问题上&#xff0c;技术所占的重要性是次要的&#xff0c;而主要的是…

uni-app导航栏右侧功能按钮自定义图标显示

问题 uni-app中导航栏功能按钮只提供了一个text属性来设置按钮的显示文本&#xff0c;并未提供额外的设置图标的属性 "buttons": [{"text": "保持"} ]官方文档 通过查阅官方文档发现&#xff0c;text属性支持使用字体图标 下载字体图标 那么…

Polkadot 品牌焕新提案:重返前卫,市场营销的创新愿景

波卡的品牌形象和营销策略也许将迎来新变化。长久以来一些社区成员批评道&#xff0c;波卡的形象过于保守、太企业化&#xff0c;缺乏 Crypto 行业应有的先锋气质。 在前阵子的 Parity “去中心化” 变革中&#xff0c;Parity 的营销团队经历了大幅的变动&#xff0c;随后建立…

节气丨大雪过后,阳气归根的十五天,这些事再不做就晚了!

亲爱的家人们大家好&#xff0c;大雪&#xff0c;是24节气中的第21个节气&#xff0c;也是冬季的第3个节气。 这一节气的到来&#xff0c;标志着仲冬时节正式开始&#xff0c;特点是气温显著下降、降水量增多。 古人认为“秋冬养阴”&#xff0c;所谓养阴&#xff0c;即是养阳…

Unity Meta Quest 一体机开发(十一):【手势追踪】远距离抓取

文章目录 &#x1f4d5;教程说明&#x1f4d5;玩家配置 DistanceHandGrabInteractor&#x1f4d5;物体配置 DistanceHandGrabInteractable&#x1f4d5;调整物体飞向手部的速度&#x1f4d5;调整探测物体的范围⭐HandFrustumNarraw⭐HandFrustumWide⭐HeadFrustum 此教程相关的…

camunda流程引擎——Java集成Camunda(上)(笔记)

目录 一、以一个处理流程开始1.1 后端1.2 前端1.3 执行 二、Camunda的补充2.1 使用方式2.2 可视化平台的Cockpit2.3 流程相关数据2.4 表介绍2.5 前端集成Modeler 三、用Java集成Camunda3.1 集成配置3.2 自动部署3.2.1 修改process.xml位置3.2.2 多进程引擎配置与多租户 3.3 历史…

电源测试系统 | 自动化测试体现在哪?有什么特点?

一、背景 随着电源设计研发技术的不断发展&#xff0c;对电源性能以及质量的要求越来越高&#xff0c;传统手动测试以及传统自动化测试方法已经无法满足测试需求&#xff0c;弊端日渐显露&#xff1a; 1. 手动测试过程繁琐、信息零散、难以有效的控制与监测&#xff0c;且人工成…

strtok()的用法及实现哦

1. 用法 1. 声明&#xff1a;char *strtok(char *str, const char *delim) str -- 要被分解成一组小字符串的字符串。第一次调用 strtok() 时&#xff0c;这个参数应该是你想要分割的字符串。随后的调用应该将此参数设置为NULL&#xff0c;以便继续从上次的位置分割。delim -- …

每日一题SQL

以下题目来源微信公众号【SQL数据库开发】 1、编写一个 SQL 查询来实现分数排名。如果两个分数相同&#xff0c;则两个分数排名&#xff08;Rank&#xff09;相同。请注意&#xff0c;平分后的下一个名次应该是下一个连续的整数值。换句话说&#xff0c;名次之间不应该有“间隔…

【Qt QML 入门】TextField

TextField 是一个单行文本编辑器&#xff0c;它继承自TextInput&#xff0c;具备TextInput的所有功能&#xff0c;同时扩展了 TextInput 并增加了占位符文本功能和装饰选项。 自定义文本输入框&#xff1a; import QtQuick import QtQuick.Window import QtQuick.ControlsWindo…

OpenCvSharp从入门到实践-(07)绘制图形

目录 1、线段的绘制 1.1实例1-绘制线段拼成一个"王"字 2、矩形的绘制 2.1实例2-绘制一个矩形边框 2.2实例3-绘制一个实心矩形 3、圆的绘制 3.1实例4-绘制"交通灯" 4、多边形绘制 4.1实例5-绘制等腰梯形 5、文字的绘制 5.1实例6-绘制文字OpenCvS…