【基础知识】MPP架构和hadoop架构比对

架构比对

简单一句描述。
mpp架构,就是找一群和自己能力差不多的任一起做事,每个人做的事情是一致的。
hadoop架构,就是找一群能力差一些的人,但只需要他们每个人只做一部分工作。
image.png

举例说明

一个特色小饭店如何成为连锁餐饮巨头。
一个做宫保鸡丁的夫妻店生意越来越好,顾客经常吃不上,于是考虑扩张。

第一阶段-存算一体

于是把周围的店铺也租下来,招聘了几个学徒,经过七七四十九天学习,徒弟们终于把买菜、洗菜、切菜、炒菜、摆盘、上菜搞定了,顾客表示很满意。
师傅和学徒组成了mpp架构,即starRocks。

第二阶段-存算分离

经过半年生意越来越好,还是供不应求。再招聘一批学徒的话,还得培养七七四十九天,太累人。
现在流程太长了,每个人都得去买菜、洗菜、切菜、炒菜、摆盘、上菜。
于是乎,招聘了一批小工,专门负责去买菜和洗菜。
这样师傅和学徒们只要负责切菜、炒菜、摆盘、上菜,效率又提升了,接住了这部分客户需求。
师傅和学徒组成了mpp架构,即starRocks。小工们类似于hdfs。

第三阶段-混合模型

又过了一年,顾客越来越多,且还不满足只有宫保鸡丁,还想吃地三鲜、咖喱鸡肉、清炒土豆丝、红蘑土豆片等等。

鸡肉土豆胡萝卜花生米
宫保鸡丁鸡肉丁土豆丁胡萝卜丁
咖喱鸡肉鸡肉块
地三鲜土豆条
清炒土豆丝土豆丝
红蘑土豆片土豆片

从上述菜品可以看出,土豆的需求量很大,且类型还多。
于是乎把切菜也包给小工做,但毕竟小工能力弱,买菜、洗菜、切菜全都做的话,就风险很大。
所以分成5组,第一组负责买菜、第二组负责洗菜、第三组负责土豆去皮,第四组负责土豆切条,第五组负责土豆切丝。
这样分工的好处就是,可以直接从市场上招聘大量的小工来提升做菜效率。
那么师傅和学徒只要关心炒菜即可。
师傅和学徒组成了mpp架构,即starRocks。小工们从hdfs升级为hive+hdfs,相当于承担了更多的重复性劳动。

功能比较

mpp架构,就是找一群和自己能力差不多的任一起做事,每个人做的事情是一致的。
hadoop架构,就是找一群能力差一些的人,但只需要他们每个人只做一部分工作。
换句话说,hadoop擅长把大问题拆分成小问题,一层一层处理。mpp是把大问题进行切片,每个节点还是处理大问题,只是大问题的数据量变少。

功能清单MPPhadoop补充说明
数据最大吞吐量mpp相比hadoop,受限于单个人的处理能力,因为单个服务器的处理能力是有上限的
单机计算性能mpp招聘的人能力强,一般是采用C++,hadoop是基于java
数据写入效率在hadoop由于每个人做的工作是一样的,且简单,不需要考虑东西发给谁,只要均匀分布即可。但在mpp则要求是这个人的东西一定要都发给这个人
数据读取效率因为mpp在存储数据的时候是按照规则存储,只要按照规则去拿效率一定是高的;而hadoop的是随机分布,只是保证均匀
安装部署简单复杂mpp一般是一体化安装,hadoop是需要至少安装hive、hdfs、zk等组件
SQL开发能力MPP理论上可以更多的函数处理,hadoop有些特别的计算需要依赖代码实现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/493576.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

力扣hot100题解(python版7-9题)

7、接雨水 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图,计算按此排列的柱子,下雨之后能接多少雨水。 示例 1: 输入:height [0,1,0,2,1,0,1,3,2,1,2,1] 输出:6 解释:上面是由数组 [0,1,0,2,1,0,1,…

软件运维维保服务方案-套用模板

软件运维维保方案-套用模板 项目情况 1.1 项目背景简述项目的来源、目的和重要性。说明项目的规模、预算和预期目标。 1.2 项目现状分析当前系统/软件的运行状态、存在的问题和潜在风险。提供最近一次的维护报告或相关统计数据。服务简述 2.1 服务内容明确运维服务的具体内容&…

黑马程序员——接口测试——day03

目录: Potman断言 Postman断言简介Postman常用断言 断言响应状态码断言包含某字符串断言JSON数据Postman断言工作原理Postman关联 简介实现步骤核心代码创建环境案例1案例2Postman参数化 简介数据文件简介编写数据文件 CSV文件JSON文件导入数据文件到postman读取数…

YOLOv9图像标注和格式转换

一、软件安装 labelimg安装(anaconda) 方法一、 pip install labelImg 方法二、 pip install PyQt5 -i https://pypi.tuna.tsinghua.edu.cn/simple/ pip install pyqt5-tools -i https://pypi.tuna.tsinghua.edu.cn/simple/ pip install lxml -i ht…

第10讲用户登录SpringSecurity查库实现

用户登录SpringSecurity查库实现 security包下新建MyUserDetailServiceImpl Service public class MyUserDetailServiceImpl implements UserDetailsService {AutowiredSysUserService sysUserService;Overridepublic UserDetails loadUserByUsername(String username) throw…

理解@Configuration和@Component注解的不同用途和作用范围

理解Configuration和Component注解的不同用途和作用范围 在Spring框架中,Configuration和Component是两个常见的注解,用于实现依赖注入和组件扫描等功能。虽然它们都是用于标识类的注解,但它们在作用和用途上有着明显的区别。本文将深入探讨C…

通过苹果快捷指令轻松赚钱!一个月赚得23000元!

今天要分享的项目是《通过苹果快捷指令轻松赚钱!一个月赚得23000元!》 这是一个利用苹果快捷指令进行自动记账的项目,我在小红书上一个月就赚了23000元!苹果自带的快捷指令几乎没有成本,但很多人愿意为此付费&#xf…

对话企企通CEO徐辉:数字采购何以搭建产业数字化“桥梁”?

站在产业的角度去思考问题,从互联生态的立场出发,做难而正确的事,赋能产业链上每一个玩家,同时为自己的商业模式创造更多的可能性。 作者|斗斗 出品|产业家 市场一变,整个产业能否在几天之内全部协同起来&#x…

车规级MCU的行业走向

1 主要厂家 车规级MCU(车用微控制器单元)的主要厂家包括: NXP半导体:NXP是全球领先的车规级MCU提供商之一,提供广泛的产品用于汽车控制和管理系统。英飞凌科技:作为汽车半导体的领导者之一,英飞…

【LeetCode】升级打怪之路 Day 01:二分法

今日题目: 704. 二分查找35. 搜索插入位置34. 在排序数组中查找元素的第一个和最后一个位置 目录 今日总结Problem 1: 二分法LeetCode 704. 二分查找 【easy】LeetCode 35. 搜索插入位置 ⭐⭐⭐⭐⭐LeetCode 34. 在排序数组中查找元素的第一个和最后一个位置 【medi…

并发情况下数据校验-基于数据库实现

并发情况下数据校验-基于数据库实现 数据库行锁原理实际操作数据准备开启事务,更新数据 项目实战项目配置多线程测试 在开发过程中,我们会遇到校验数据的唯一性,数据更新之后是否超过设置的阈值等等。并发情况下数据校验常见方式有使用分布式…

谁有权开除在编教师岗位

当晨光熹微,大多数人还在被窝中沉睡时,老师们已经开始了一天的工作。备课、上课、批改作业,还要处理学生间的各种矛盾,关注每一个孩子的成长。这份工作,看似平凡,实则责任重大。这样一份承载着无数家庭希望…