运行架构
- Spark框架的核心是一个计算引擎，采用了标准master-slave的结构
- 如图展示了一个Spark执行时的基本结构，Driver表示master，负责管理整个集群中的作业任务调度，Executor是slave，负责实际执行任务
核心组件
1. Driver
- Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作
Driver在Spark作业执行时主要负责
- 将用户程序转化为作业(job)
- 在Executor之间调度任务(task)
- 跟踪Executor的执行情况
- 通过UI展示查询运行情况
2. Executor
- Spark Executor是集群中工作节点（Worker）中的一个JVM进程，负责在Spark作业中运行具体任务（Task），任务彼此之间相互独立
- Spark应用启动时，Executor节点被同时启动，并且始终伴随着整个Spark应用的生命周期而存在
- 如果有Executor节点发生了故障或崩溃，Spark应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行
Executor有两个核心功能
- 负责运行组成Spark应用的任务，并将结果返回给驱动器进程
- 它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的RDD提供内存式存储，RDD是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算
3. Master & Worker
- Spark集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件：Master和Worker
- Master是一个进程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于Yarn环境中的RM
- Worker也是进程，一个Worker运行在集群中的一台服务器上，由Master分配资源对数据进行并行的处理和计算，类似于Yarn环境中NM
4. ApplicationMaster
- Hadoop用户向YARN集群提交应用程序时,提交程序中应该包含ApplicationMaster，用于向资源调度器申请执行任务的资源容器Container，运行用户自己的程序任务job，监控整个任务的执行，跟踪整个任务的状态，处理任务失败等异常情况
- ResourceManager（资源）和Driver（计算）之间的解耦合靠的就是ApplicationMaster
运行流程
- SparkContext向资源管理器注册并向资源管理器申请运行Executor
- 资源管理器分配Executor，然后资源管理器启动Executor
- Executor发送心跳至资源管理器
- SparkContext构建DAG有向无环图
- 将DAG分解成Stage（TaskSet）
- 把Stage发送给TaskScheduler
- Executor向SparkContext申请Task
- TaskScheduler将Task发送给Executor运行
- 同时SparkContext将应用程序代码发放给Executor
- Task在Executor上运行，运行完毕释放所有资源
提交流程
- Spark应用程序提交到Yarn环境中执行的时候，一般会有两种部署执行的方式：Client和Cluster，两种模式主要区别在于：Driver程序的运行节点位置
1. Yarn Client模式
- Client模式将用于监控和调度的Driver模块在客户端执行，而不是在Yarn中，所以一般用于测试
- Driver在任务提交的本地机器上运行
- Driver启动后会和ResourceManager通讯申请启动ApplicationMaster
- ResourceManager分配container，在合适的NodeManager上启动 ApplicationMaster，负责向ResourceManager申请Executor内存
- ResourceManager接到ApplicationMaster的资源申请后会分配container，然后ApplicationMaster在资源分配指定的NodeManager上启动Executor进程
- Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数
- 之后执行到Action算子时，触发一个Job，并根据宽依赖开始划分stage，每个stage生成对应的TaskSet，之后将task分发到各个Executor上执行
2. Yarn Cluster模式
- Cluster模式将用于监控和调度的Driver模块启动在Yarn集群资源中执行，一般应用于实际生产环境
- 在YARN Cluster模式下，任务提交后会和ResourceManager通讯申请启动ApplicationMaster
- 随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster，此时的ApplicationMaster就是Driver
- Driver启动后向ResourceManager申请Executor内存，ResourceManager接到ApplicationMaster的资源申请后会分配container，然后在合适的NodeManager上启动Executor进程
- Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数
- 之后执行到Action算子时，触发一个Job，并根据宽依赖开始划分stage，每个stage生成对应的TaskSet，之后将task分发到各个Executor上执行
