大数据技术原理与应用——从入门到文档数据库

大数据技术原理与应用

3次信息化的浪潮
image

研究问题的四个阶段
image

image

大数据技术的层次
image

大数据的计算模式
image

PaaS
image

image

物联网的概念
image

云计算、大数据、物联网之间的关系
image

Hadoop应用现状
image

选择Hdoop需要考虑的因素
image

Hadoop的定量评分(满分为5分)

image
image
image

总体评价
image

Ubuntu的一些基本知识(之所以不用CentOs,是因为其太重了)
image

Hadoop安装方式
image

Hadoop是什么
image

Hadoop的发展历程(了解)
image

安装Hadoop前的jdk路径

image

Hadoop使用

3种Shell命令方式
image

MapReduce两大核心组件
image

热备份:
image

HDFS

是 Hadoop Distribution File System的缩写

HDFS实现目标
image

HDFS的局限性
image

HDFS的相关概念
1.块
image

为什么要这样设计:
image

这样设计的好处:
image

2.名称节点(NameNode)与数据节点(DataNode)
image

FsImage:
image

元数据:
image

名称节点的具体文件结构:
image

名称节点与数据节点经常通信、传递信息,所以名称节点知道各个数据节点的信息

开始shell后的操作流程:
image

文件保存的位置:
image

HDFS的体系结构:
局限性:
image

第二名称节点的作用、冷备份:
image

3.4 HDFS存储原理

3.5.1 HDFS读数据过程

3.5.2 HDFS写数据过程

4.1 HBase简介

是一个稀疏的列式数据库

HBase与关系数据库的联系和区别:
image

访问接口:
image

4.2 HBase数据模型

定位一个数据:
4个必须:行键、列组、列限定符、时间戳:
image

概念示图(可能比较稀疏):
image

底层存储示意图(基本都是紧凑地存储):
image

面向行的存储的优势和缺点:
image

如何选择列式数据库还是行式数据库:
image

4.3 HBase的实现原理

HBase的功能组件:
库函数;Master服务器;Region服务器
image

Master服务器的作用:
image

Region的拆分(拆分速度很快,只是修改链接,并不会修改物理地址;只有合并后的才需要修改物理地址)及大小配置:
补充:同一个Region只是会在一个Region服务器上;每个Region大概能存储10-1000个region
image

寻址结构:
image
3层结构及作用:
image

查找数据时的缓存:
image

4.4 HBase运行机制

读写数据的过程:

写数据:
image

HLog的工作原理:
image

4.5 HBase应用方案

性能优化方法:
image

HBase怎么检测性能:
image

Ambari
image

4.6 HBase安装配置和常用Shell命令

5.1 NoSQL概述

NoSQL特点:
image

传统的关系数据库性能上的缺陷:
image

MySQL集群方式的缺陷:
image

NoSQL兴起的原因:
image

在web2.0时代,关系数据库没法发挥的特性
image

5.2 NoSQL与关系数据库的比较

关系数据库的优势:
image

NoSQL数据库的优势和劣势
image

5.3.1键值数据库和列族数据库

不同数据库的分类
image

不同类型数据库的举例
image

键值数据库
image

列族数据库
image

5.3.2文档数据库图数据库以及不同数据库比较分析

文档数据库
image

图数据库
image

5.4.1 CAP理论

CAP理论:image

CAP理论理论下的几种选择
image

不同产品在CAP理论理论下的不同设计原则
image

5.4.2 BASE和最终一致性

BASE:
image

image

最终一致性;
image
回话一致性;单调写一致性
image

如何实现各种类型的一致性
image

N/W/R之间的关系
image

举例:
image

5.5 从NoSQL到NewSQL数据库

数据库的发展,伴随着大数据的发展
image

newSQL数据库
image

5.6 文档数据库MongoDB

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/798535.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

macOS Ventura 13.7 (22H123) 正式版发布,ISO、IPSW、PKG 下载

macOS Ventura 13.7 (22H123) 正式版发布,ISO、IPSW、PKG 下载macOS Ventura 13.7 (22H123) 正式版发布,ISO、IPSW、PKG 下载 2024 年 9 月 17 日凌晨 1 点,Tim Cook 领导的 Apple 今天发布了 macOS 15 Sequoia 正式版,iPhone 镜像、密码应用程序、窗口平铺更新等带来全新体…

C++11 线程同步接口std::condition_variable和std::future的简单使用

std::condition_variable条件变量std::condition_variable有wait和notify接口用于线程间的同步。如下图所示,Thread 2阻塞在wait接口,Thread 1通过notify接口通知Thread 2继续执行。具体参见示例代码:#include<iostream> #include<mutex> #include<thread>…

macOS Sequoia 15.0 (24A335) 正式版发布,ISO、IPSW、PKG 下载

macOS Sequoia 15.0 (24A335) 正式版发布,ISO、IPSW、PKG 下载macOS Sequoia 15.0 (24A335) 正式版发布,ISO、IPSW、PKG 下载 iPhone 镜像、Safari 浏览器重大更新、备受瞩目的游戏和 Apple Intelligence 等众多全新功能令 Mac 使用体验再升级 请访问原文链接:https://sysin…

Go runtime 调度器精讲(十一):总览全局

原创文章,欢迎转载,转载请注明出处,谢谢。0. 前言 前面用了十讲介绍了 Go runtime 调度器,这一讲结合一些图在总览下 Go runtime 调度器。 1. 状态转换图 首先是 Goroutine 的状态转换图:大部分转移路径前面几讲也介绍过,这里就不继续介绍了(下同)。 接着是 P 的状态转移…

macOS Sonoma 14.7 (23H124) 正式版发布,ISO、IPSW、PKG 下载

macOS Sonoma 14.7 (23H124) 正式版发布,ISO、IPSW、PKG 下载macOS Sonoma 14.7 (23H124) 正式版发布,ISO、IPSW、PKG 下载 2024 年 9 月 17 日凌晨 1 点,Tim Cook 领导的 Apple 今天发布了 macOS 15 Sequoia 正式版,iPhone 镜像、密码应用程序、窗口平铺更新等带来全新体验…

CentOS 设置静态地址

配置文件路径: /etc/sysconfig/network-scripts/ 在ifcfg-ensxxx配置文件里做出如下修改:在最后添加以下配置 IPADDR=192.168.10.10 #静态IP GATEWAY=192.168.10.1 #默认网关 NETMASK=255.255.255.0 #子网掩码 DNS1=192.168.10.1 #DNS 配置

day06 数据类型:指针、切片、字典

day06 数据类型 Go语言中常见的数据类型有很多,例如:整型,用于表示整数。 浮点型,用于表示小数。 布尔型,用于表示真/假。 字符串,用于表示文本信息。 数组,用于表示多个数据(数据集合) 指针,用于表示内存地址的类型。 切片,用于表示多个数据(数据集合) 字典,用于…

day05 数据类型

day05 数据类型写程序 等价于 写作文数据类型,其实就是各种各样类型的数据。Go语言中常见的数据类型有挺多,例如:整型,用于表示整数。 浮点型,用于表示小数。 布尔型,用于表示真/假。 字符串,用于表示文本信息。 数组,用于表示多个数据(数据集合) 指针,用于表示内存…

前端系列一:HTML

HTML:HyperText Markup Language,超文本标记语言。Author: ACatSmiling Since: 2024-09-10HTML 4 HTML:HyperText Markup Language,超文本标记语言。超文本的含义:是一种组织信息的方式,通过超链接将不同空间的文字、图片等各种信息组织在一起,能从当前阅读的内容,跳转…

day03 基础知识

day03 基础知识 今日概要switch case语句,条件判断。 for循环语句,循环。 goto语法,不太建议使用。 字符串格式化,“拼接”数据。 运算符1.switch语句 package mainfunc main() {// 表达式/*switch 1 + 1 {case 1:fmt.Println("等于1")case 2:fmt.Println("…

day02 快速上手

day02 快速上手 今日概要初识包管理,知道项目中文件和文件、文件和文件夹之间关系。输出,写代码,在go编译器运行时会在屏幕显示内容。初识数据类型整型,数字。例如:1、2、3、4 字符串,表示文本信息。例如:“如家” "锦江之星" 布尔类型,真假。例如: 1>2…

在研究yum源的时候发现的一个小工具

在确保联网的情况下 在终端输入以下命令: bash <(curl -sSL https://gitee.com/SuperManito/LinuxMirrors/raw/main/ChangeMirrors.sh)