Hadoop（二十）Yarn工作原理-编程知识

Hadoop（二十）Yarn工作原理

news/2024/12/25 9:51:08/文章来源:https://www.cnblogs.com/shihongpin/p/18420254

Yarn资源调度器

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序

一、基础架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成

二、YARN工作机制

假设现在有一个程序MR

（1）MR程序提交到客户端所在的节点
（2）YarnRunner向ResourceManager申请一个Application
（3）ResourceManager将该应用程序的资源路径返回给YarnRunner
（4）该程序将运行所需资源提交到HDFS上
（5）程序资源提交完毕后，申请运行mrAppMaster
（6）ResourceManager将用户的请求初始化成一个Task
（7）其中一个NodeManager领取到Task任务
（8）该NodeManager创建容器Container，并产生MRAppmaster
（9）Container从HDFS上拷贝资源到本地
（10）MRAppmaster向ResourceManager申请运行MapTask资源
（11）ResourceManager将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个 NodeManager分别启动MapTask，MapTask对数据分区排序
（13）MrAppMaster等待所有MapTask运行完毕后，向ResourceManager申请容器，运行ReduceTask
（14）ReduceTask向MapTask获取相应分区的数据
（15）程序运行完毕后，MR会向ResourceManager申请注销自己

三、Yarn调度器和调度算法

Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler），Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler

1、先进先出调度器（FIFO）

单队列，根据提交作业的先后顺序，先来先服务
优点：简单易懂
缺点：不支持多队列，生产环境很少使用

2、容量调度器（Capacity Scheduler）

特点

多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略
容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列
多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定

容器调度器资源分配算法

队列资源分配：从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源
作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源
容器资源分配：按照容器的优先级分配资源；如果优先级相同，按照数据本地性原则：
（1）任务和数据在同一节点
（2）任务和数据在同一机架
（3）任务和数据不在同一节点也不在同一机架

3、公平调度器（Fair Scheduler）