【hadoop】Google的基本思想

Google的基本思想

  • 三架马车
  • GFS
    • 分布式文件系统的核心架构和原理
    • 机架感知
  • MapReduce计算模型
    • PageRank问题
    • MapReduce
  • BigTable

三架马车

Google的基本思想主要有三个,称之为三架马车,分别是GFS(Google File System)、MapReduce计算模型、BigTable大表

GFS

分布式文件系统的核心架构和原理

在这里插入图片描述

机架感知

在这里插入图片描述

MapReduce计算模型

PageRank问题

PageRank问题就是网页排序的问题,可以简化为如何解决大矩阵的计算问题?
在这里插入图片描述

MapReduce

Google为了解决上面的PageRank问题,进而提出了MapReduce计算模型。该模型只是思想,具体由Java程序编写。
以下面的1+2+…+10为例:
在这里插入图片描述

BigTable

回顾一下:关系型数据库,他是需要遵循范式的要求。范式的优点是:减少数据冗余,范式的缺点是:影响性能;关系型数据库是行式数据库,适合 insert update select。

而BigTable与关系型数据库相反,大表思想是想把所有的数据存入一张表中。不遵循范式要求。通过牺牲空间,提高性能。故而HBase是列式数据库,适合做select。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/14505.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySql进阶(2)

MySql进阶 一、视图1.1 视图的增删改查1. 2 视图的检查选项1.3 视图的更新与作用 二、存储过程2.1 存储介绍2.2 语法2.3 变量2.3.1 系统变量2.3.2、用户自定义变量2.3.2、局部变量 2.4、if判断2.5、参数2.6、case2.7、循环2.7.1、while2.7.2、repeat2.7.3、loop 2.8、游标-curs…

Delphi 11必备指南:使用Git集成Python4Delphi的完整步骤

在Delphi中使用Python有很多好处,可以扩展Delphi的功能并利用Python强大的科学计算和数据分析库。但是,为了将Python集成到Delphi中,我们需要安装Python for Delphi (P4D)组件套件。在这篇博客中,我将介绍如何使用Git安装P4D组件套…

【HarmonyOS】【FAQ】HarmonyOS应用开发相关问题解答(三)

贴接上回。。。 【往期FAQ参考】 【HarmonyOS】【FAQ】HarmonyOS应用开发相关问题解答(一) 【HarmonyOS】【FAQ】HarmonyOS应用开发相关问题解答(二) 【本期FAQ】 1、第一次调用geolocation.getCurrentLocation()接口&#xff…

UDS统一诊断服务【七】DTC控制0X85服务

文章目录 前言一、DTC控制服务介绍二、数据格式2.1 请求报文2.2 子功能2.3响应格式 三、举例总结 前言 大家好,我是嵌入式老林,从事嵌入式软件开发多年,今天分享的内容是UDS诊断故障码控制0X85服务介绍,希望能对你有所帮助 一、D…

skywalking linux安装部署

SkyWalking APM tar 下载 结合自己的es版本下载对应的tar 地址:https://archive.apache.org/dist/skywalking/ 由于我使用的是es7所以下载对应版本 拷贝对应链接使用wget下载 wget https://archive.apache.org/dist/skywalking/8.7.0/apache-skywalking-apm-es7…

Python读取Excel文件并复制指定的数据行

本文介绍基于Python语言,读取Excel表格文件数据,并基于其中某一列数据的值,将这一数据处于指定范围的那一行加以复制,并将所得结果保存为新的Excel表格文件的方法。 首先,我们来明确一下本文的具体需求。现有一个Excel…

python金字塔,三角形模型

(显示一个金字塔)编写程序提示用户输人一个在1到15之间的整数&#xff0c;然后显示一个金字塔&#xff0c;示例运行如下所示。 a int(input("请输入你要打印的行数&#xff1a;")) for i in range(1,a 1):for k in range(a , 1 ,-1):if k < i:print(k,end &…

【高通WLAN】WLAN bdf如何配置支持UMC设备和TSMC设备

除了用于台积电(TSMC)设备的现有bdf文件外,软件升级中还包括新的WLAN bdf文件,以支持UMC设备。 bdf文件导入的路径是 wlan_proc\wlan\halphy_tools\host\bdfUtil\qca61x0\bdf ■ TSMC(现有):bdwlan.xxx至bdwlan.bin ■ UMC(新):bdwlanu.xxx至bdwlanu.bin 以上配置…

基于django的数据可视化展现

今天给大家简单分享一下一个基于python的django的框架写的一个数据可视化的项目。 主要涉及技术&#xff1a;django基础&#xff0c;python基础&#xff0c;前端&#xff08;html&#xff0c;echars&#xff09;基础。 这个项目自然而然是基于python逻辑语言处理的&#xff0…

图像处理-比特平面分层和重构

一、比特平面分层 像素是由比特组成的数字。例如在256级灰度图像中&#xff0c;每个像素的灰度是由8比特&#xff08;一个字节&#xff09;组成。如下图所示&#xff0c;一幅8比特图像由8个1比特平面组成&#xff0c;其中平面1包含图像中所有像素的最低阶比特&#xff0c;而平…

SpringBoot项目多模块打包部署Docker实战

前言 我们好多程序员都只关注功能代码的编写&#xff0c;在一些运维工作上则显得略有不足。这篇文章通过介绍最常见的Maven管理的Spring Boot项目多模块打包部署Docker来介绍一下项目部署过程中操作流程和几个需要注意的点。文章假设读者有前面提到的技术点的前置知识&#xf…

3D建模软件、Creo 3D 、Creo8安装、下载教程

PTC Creo 8.0 是一款三维 CAD 软件&#xff0c;适用于多个行业和应用场景&#xff0c;包括机械设计、工业设计、电子设计等等。以下是 PTC Creo 8.0 的功能介绍和安装条件&#xff1a; 功能介绍&#xff1a; 三维建模&#xff1a;可以使用多种工具进行三维建模&#xff0c;包…