3、如何从0到1去建设数据仓库

1、数仓实施过程

1.1 数据调研

        数据调研包括:业务调研、需求调研

       业务调研

                需要调研企业内有哪些业务线、业务线的业务是否还有相同点和差异点

                各个业务线有哪些业务模块,每个模型下有哪些业务流程,每个流程下产生的数据

                是怎样存储的

业务调研完后的产出:

        业务调研表、各个业务流程图


需求调研

        主要调研 分析师、运营人员的数据需求 和 现有报表系统中的数据需求        


1.2 数仓架构设计

数据域(主题域)的划分

        进行数据调研后,需要对 业务过程或维度进行归纳、抽象出数据域

        数据域的特点:

                为保证数仓的稳定性,数据域需要从业务过程中抽象提炼

                并且长期维护和更新,但不轻易变动

                划分数据域时,既要能覆盖当前所有的业务需求,又要在有新的业务进入时

                毫无影响的进入已有的数据域或者扩展新的数据域


构建总线矩阵

        构建总线矩阵的目的是为了明确两个事情:

                1、明确每个数据域下有哪些业务过程

                2、明确每个业务过程与哪些维度相关


1.3 规范定义

        规范定义主要包括:表命名规范、字段命名规范、ETL开发规范 (后续章节会单独介绍这块内容)

1.4 模型设计

        模型设计主要包括:事实表设计、维度表设计 (后续章节会单独介绍这块内容)

1.5 代码开发

        ETL开发过程

1.6 评审

        对设计的模型、开发代码进行评审

1.7 上线及配置质量监控

        调度任务上线及配置质量监控任务

1.8 总结

        数仓的建设是一个高度迭代和动态的过程,一般采用螺旋式实施方法。

        在总体架构设计完成之后,开始根据数据域进行迭代式模型设计和评审

        在架构设计、规范定义、模型设计等过程中,都要引入评审机制,以确保实施过程的正确性

        

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/210829.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

张弛语言课奇幻剧配音,一场特殊的体验

在为奇幻剧进行配音时,配音艺术家要将自己投入到一个充斥着魔法、幻想生物和超自然现象的虚构世界中。奇幻剧侧重于构建一个超越现实的幻境,因此配音工作要求既要呈现角色的个性化特征,也要与剧中的奇幻氛围相得益彰。以下是进行奇幻剧配音的…

【C/C++】排序算法代码实现

这里&#xff0c;汇总了常见的排序算法具体代码实现。使用C语言编写。 排序算法实现 插入排序冒泡排序选择排序快速排序希尔排序归并排序 插入排序 #include <stdio.h> #include <stdlib.h>void InsertSort(int arr[],int n){int i,j,temp;for(i 1;i < n;i){ …

Windows如何使用key登录Linux服务器

场景&#xff1a;因为需要回收root管理员权限&#xff0c;禁止root用户远程登录&#xff0c;办公环境只允许普通用户远程登录&#xff0c;且不允许使用密码登录。 一、生成与配置ssh-key 1.使用root管理员权限登录到目标系统。 2.创建一个新的普通用户&#xff0c;和设置密码用…

css渐变详解(重复性线性渐变、径向渐变、重复性径向渐变的使用)

目录 线性渐变 重复性线性渐变 径向渐变 重复性径向渐变的使用 线性渐变 线性渐变是向下、向上、向左、向右、对角方向的颜色渐变。 其语法格式为&#xff1a; background-image: linear-gradient(side-or-corner|angle, linear-color-stop); 参数说明如下&#xff1a; …

OpenCV入门10——特征点检测与匹配

文章目录 特征检测的基本概念Harris角点检测Shi-Tomasi角点检测SIFT关键点检测SIFT计算描述子SURF特征检测OBR特征检测暴力特征匹配FLANN特征匹配实战flann特征匹配图像查找图像拼接基础知识图像拼接实战 特征点检测与匹配是计算机视觉中非常重要的内容。不是所有图像操作都是对…

无人智能货柜:提升购物体验

无人智能货柜&#xff1a;提升购物体验 随着移动支付的普及&#xff0c;人们日常生活中的主要场景已经渗透了这一支付方式。同时&#xff0c;无人智能货柜作为购物的重要渠道&#xff0c;正在崭露头角。通过人工智能、图像识别和物联网技术的应用&#xff0c;无人智能货柜将使购…

软件开发及交付的项目管理角色

在软件开发及交付过程中&#xff0c;通常会涉及不同的角色和职责&#xff0c;包括业务角色、技术角色和管理角色。这些角色在项目管理中发挥着不同的作用&#xff0c;以确保项目的成功和交付高质量的产品。 业务角色&#xff1a;包括产品经理、业务分析师和业务运营人员等职位…

基于框架的线性回归

线性回归是机器学习中最简单和最常用的回归方法之一。它建立了自变量和因变量之间的线性关系&#xff0c;并通过拟合一条直线或超平面来预测和分析数据。 基于框架的线性回归是构建线性回归模型的一种常见方法&#xff0c;它利用现有的机器学习框架来实现线性回归模型的建立、…

【史上最细教程】服务器MySQL数据库完成主从复制

文章目录 MySQL完成主从复制教程准备&#xff1a;原理&#xff1a;步骤&#xff1a; 推荐文章 MySQL完成主从复制教程 主从复制&#xff08;也称 AB 复制&#xff09;就是将一个服务器&#xff08;主服务器&#xff09;的数据复制到一个或多个MySQL数据库服务器&#xff08;从…

将所有图片居中对齐

Ctrl h 调出替换框 ^g表示所有图片 格式里面选择段落 全部替换

Halcon学习笔记

目录 一.简介 一.简介 Halcon和OpenCV在工业应用中的区别&#xff1a; OpenCV的精度没Halcon高&#xff1b;OpenCV没有模板匹配&#xff0c;Halcon有&#xff0c;而且Halcon匹配的精度更高。

OpenCV滑块验证码图像缺口位置识别

OpenCV图像缺口位置识别 1、背景2、图像缺口位置识别原理3、图像缺口位置识别实现4、滑块验证码HTTP图像需要保存到本地吗1、背景 在使用Selenium完成自动化爬虫时,许多网站为了防止机器人爬取数据会使用验证码(例如滑块验证码)。通过Selenium动作操作,爬虫可以模拟用户输入…