2、表结构数据

1、表结构数据

表结构数据——以字段或记录作为数据的引用、操作及计算的基本单位的数据。

表的数据结构是方形的,要求不同字段记录行数相同。

  • 字段——整列数
  • 记录——整行数
  • 维度——业务角度
  • 度量——业务行为的结果
  • 维度字段——文本型
  • 度量字段——数值型


2、事实表&维度表

维度表:只包含维度信息

事实表:既包含维度信息又包含度量信息的表


3、表结构数据特征 

   特征1

  1. 第一行为标题行(所有字段名构成的)
  2. 第二行以后 称为 记录
  3. 字段名不能重名(唯一字段名可定位精确)
  4. 一个字段只能有一种数据类型(表结构-基本单位是字段)

 特征2:所有字段记录行数相同

  • 存在空值(空置在计算机程序中,用null来记录;可用于数据占位)
  • 处理缺失值
处理缺失值

根据数据类型以及生成信息重要程度的不同,使用不同方法处理

①文本型字段

影响不大:不进行处理,或者可以用其他没有实际业务含义的文本字符对缺失值进行替换

影响大:让业务人员核查确认后替换,或删除。

②数值型字段

略麻烦,综合考虑该数值型字段所代表的度量意义,以及针对该数值型字段进行汇总计算的方式来最终决定对缺失值的具体处理方法。

特征3:一个表中有且只有一个主键

主键的物理意义——表的行识别符 
  • 单字段主键:
  • 多字段联合主键:主键可以由多个字段构成;
  • 非空不重复  (主键中不能存在空值;不能有2个以上重复值存在;)
  • 定位记录行、字段名+主键值定位具体数值    
  • 多以“xxID”、“xxNo”、“xx编号”等名称命名

记录值的字符数相同,在不同位数字符的组合代表不同的含义(eg:身份证号;前6位出生地,出生日期,性别等;)

备注:一个字段只能有一种数据类型;字段中可出现null值,一行记录可以有不同数据类型。

主键的业务意义 ——表的业务记录单位。

在一个数据表中的所有非主键字段都要围绕主键展开


4、表结构数据获取方法

4.1 “应用”与“引用”

数据来源 (无本质差异;使用的方式会有差异)

1.将数据源导出的数据应用在 电子表格工具上,就成为以单元格为基本单位的表格结构数据

2.将数据源引用到表结构数据分析工具上,以字段为基本单位的表结构数据

3.在获取数据上不同:应用&引用的区别

表格结构数据——应用从数据源到导出的表结构数据——引用数据源;更加保证数据时效性与准确性

4.2 数据管理系统 

4.2.1 关系型数据库管理系统(RDBMS)

关系型数据库管理系统的主要任务是企业业务数据的存储、检索、访问与共享

  • 3级嵌套关系

多个不同的数据表构成一个数据库,多个不同的数据库构成一个关系型数据库管理系统。

  • OLTP

On-Line Transaction Processing联机事务处理过程(OLTP),也称为面向交易的处理过程。

基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一

  • 可量化、结构化数据
  • 提供大部分数据源
  • 不善于分析 

4.2.2 商业智能系统-BI(Business Intelligence)

用于为企业决策者快速提供完整、准确、深入的数据分析结构,帮助企业决策者实现商业洞察

  • 强于分析
  • 多功能模块构成
  • 两种主要类型:

 4.2.2 ETL(Extract-Transform-Load)

用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。

ELT:先抽取之后加载到数据仓库,再进行清洗及转换;(根据加载对象数据仓库的处理能力越强,处理数据量越大,清洗转换逻辑越复杂,就倾向于ETL)

若加载功能较弱,就用ETL的顺序。

4.2.4 数据仓库DW(Data Warehouse)

用来存储分析所需要的的不同数据源上的所有相关数据信息

 4.2.5 OLAP(Online Analytical Processing,联机分析处理

用来连接信息孤岛、创建多维数据模型;观测网

OLAP——联机分析处理,是搭建多维数据模型的处理过程

OLAP的基本多维分析操作有钻取(Drill-up和Drill-down)、切片(Slice)和切块(Dice)、以及旋转(Pivot)等。

一个完整的BI项目,先后要涉及到:

ETL——DW——olap——数据可视化  4个软件‘

还要经过业务理解,多维度数据获取加工,多维数据获取创建,透视分析规则创建以及分析结果展现。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/499200.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

价格腰斩:腾讯云和阿里云服务器优惠价格对比

2024年阿里云服务器和腾讯云服务器价格战已经打响,阿里云服务器优惠61元一年起,腾讯云服务器62元一年,2核2G3M、2核4G、4核8G、8核16G、16核32G、16核64G等配置价格对比,阿腾云atengyun.com整理阿里云和腾讯云服务器详细配置价格表…

MySQL:索引有哪些(清晰明了)

一提到索引,可能就会想到B树索引、Hash索引、聚簇索引、主键索引、唯一索引、联合索引等等,但这些名词并不能混为一谈,他们有重复的部分,是从不同方面给索引取的名字。 从数据结构上来讲:B树索引、Hash索引、Full-text…

RabbitMQ实战学习

RabbitMQ实战学习 文章目录 RabbitMQ实战学习RabbitMQ常用资料1、安装教程2、使用安装包3、常用命令4、验证访问5、代码示例 一、RabbitMQ基本概念1.1. MQ概述1.2 MQ 的优势和劣势1.3 MQ 的优势1. 应用解耦2. 异步提速3. 削峰填谷 1.4 MQ 的劣势1.5 RabbitMQ 基础架构1.6 JMS 二…

计算机组成原理-第一/二章 概述和数据的表示和运算【期末复习|考研复习】

文章目录 前言第一章 计算机组成原理 概述及各种码1.1 计算机硬件的基本组成1.1.1 存储器1.1.2 运算器1.1.3 控制器 1.2 计算机的工作过程1.3 计算机的性能指标1.4 各个字长区别与联系 第二章 数据的表示与运算2.1 ASCII码2.2 各种码2.3 浮点数 总结 前言 给大家整理了一下计算…

solidity编程

一.Solidity 简介 Solidity 是⼀种⽤于编写以太坊虚拟机( EVM )智能合约的 编程语⾔。我认为掌握 Solidity 是参与链上项⽬的必备技 能:区块链项⽬⼤部分是开源的,如果你能读懂代码,就可以 规避很多亏钱项⽬。…

【刷题】 Leetcode 1022.从根到叶的二进制数之和

刷题 1022.从根到叶的二进制数之和题目描述:思路一(dfs深搜万能版)思路二 (栈迭代巧解版)总结 Thanks♪(・ω・)ノ谢谢阅读!!!下一篇文章见&#xff…

96 “+“ 和 方法调用 的优先级问题导致的字符串拼接问题

前言 呵呵 最近的时候碰到了这样的一个问题 我使用 来进行字符串拼接, 拼接了之后 我想替换掉 整个字符串里面的 "Auth" 字符串 结果出现了这样的一个问题, 呵呵 刚看到这个问题的时候, 有点懵 但是 其实是一个 算是比较简单的一个问题吧 以下截图, 调试 基…

大模型量化技术原理-SmoothQuant

近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,从而导致模型变得越来越大,因此,我们需要一些大模型压缩技术来降低模型部署的成本,并提升模型的推理性能。 模型压缩主要分…

Linux:Makefile的相关知识

背景: 一个工程中的源文件不计数,其按类型、功能、模块分别放在若干个目录中,makefile定义了一系列的 规则来指定,哪些文件需要先编译,哪些文件需要后编译,哪些文件需要重新编译,甚至于进行更复…

【C#】忽略大小的替换字符串

结果 代码 string a"aAAAAAAaBBaaCC"; string b Strings.Replace(a, "a", "D", 1, -1, CompareMethod.Text);

力扣:35. 搜索插入位置

力扣:35. 搜索插入位置 描述 给定一个排序数组和一个目标值,在数组中找到目标值,并返回其索引。如果目标值不存在于数组中,返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,…

手把手教你如何使用ESP8266(ESP-01S)连接到阿里云物联网平台,并通过微信小程序控制设备(如灯的亮、灭、数据上报到微信中显示)

前言 最近在做智能家居的项目,主要是通过esp8266接入云端实现远程控制的效果,于是就想到用微信小程序进行控制。由于阿里云物联网平台为设备提供安全可靠的连接通信能力,向下连接海量设备,支撑设备数据采集上云;向上提…