十五、YARN辅助架构

1、学习内容

(1)了解什么是代理服务器

(2)了解什么是历史服务器

2、辅助架构

(1)辅助架构的由来

        对于YARN架构来讲,除了ResourceManager集群资源总管家、NodeManager单机资源管家两个核心角色外,还可以搭配两个辅助角色使得YARN架构的运行更加稳定、更加高效。

        辅助角色:

        ~代理服务器(ProxyServer)

        ~历史服务器(JobHistoryServer)

[代理服务器]:

        注意,此处将代理服务器分离出来,让其独立运行,会在一定程度上提高安全性。

[历史服务器]:

功能:记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看。

        在这里,我们可以能会有疑惑,为什么要专门设置一个历史服务器呢?如果我想要查看某个程序的运行日志,为什么不直接找到该程序的日志呢?

        其实,这个问题和YARN的运行机制是相关的。

        YARN负责的资源分配调度,它会在每个节点中画出一定空间大小的内存,即容器,供某个程序使用,那个该程序产生的日志文件,会存储在已划分的容器中。那么,对于一个节点来说,它里面可能会有n个被划分的容器,就会至少存在n个日志文件,更别说,我们不可能之查看一个服务器的日志文件,所以我们在查看某个程序的日志文件时,就会显得特别麻烦。

        所以,打开历史服务器是很有必要的。

(2)历史服务器

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/277867.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在vue项目中,数据已经在页面渲染,但在后续操作时获取不到数据

如下图 产生这个问题的原因 异步问题 如何解决 方法一:可以将其存放在一个setTimeout里面(利用一个极小的延迟来获取数据),如下图 效果 方法二:将操作放入axios里面,如下图

Jmeter,提取响应体中的数据:正则表达式、Json提取器

一、正则表达式 1、线程组--创建线程组; 2、线程组--添加--取样器--HTTP请求; 3、Http请求--添加--后置处理器--正则表达式提取器; 4、线程组--添加--监听器--查看结果树; 5、线程组--添加--取样器--调试取样器。 响应体数据…

【设计模式--行为型--中介者模式】

设计模式--行为型--中介者模式 中介者模式定义结构案例实现优缺点使用场景 中介者模式 定义 又叫调停模式,定义一个中介角色来封装一系列对象之间的交互,使原有对象之间的耦合松散,且可以独立的改变它们之间的交互。 结构 抽象中介者角色…

Java基础回顾——数据类型

文章目录 基本数据类型引用类型数组类型遍历数组排序多维数组 常量var关键字四则运算移位操作位运算类型自动提升和强制转型浮点数运算三元运算符 内容摘自https://www.liaoxuefeng.com/wiki/1252599548343744/1255883729079552 基本数据类型 整数类型:byte&#…

网络协议 - DNS 相关详解

网络协议 - DNS 相关详解 DNS简介域名层级结构域名服务器 DNS 解析流程为什么DNS通常基于UDP DNS 查询dig 查询host查询nslookup查询whois查询在线工具查询 DNS 调度原理地理位置调度不准确规则变更生效时间不确定高可用 DNS 安全相关什么是DNS劫持什么是DNS污染为什么要DNS流量…

代付系统源码/第三方API代付系统源码/手工代付系统/批量代付系统/集成QQ微信支付宝API代付系统

源码介绍: 这是一款代付系统源码、API代付系统源码,也是手工代付系统、批量代付系统和第三方API代付系统,它是QQ微信支付宝API代付系统,余额充值接口集成易支付。 系统以0S秒下发,支持支付宝、微信、QQ等主流支付通道…

QT笔记(节选)具体图片等下载资源

QT笔记(节选)具体图片等下载资源 根据b站视频做的笔记: https://www.bilibili.com/video/BV1g4411H78N?p44&spm_id_frompageDriver&vd_sourcea3e6a48ccd3d7d1f969f662653ed68c9 qt是一个跨平台的c图形用户界面应用程序框架&#x…

从最近爆火的ChatGPT,我看到了电商的下一个形态

爆火的ChatGPT似乎让每个行业有了改造的可能性,电商行业也不例外。 在讨论了很多流量红利消失的话题后,我们看到互联网电商行业不再性感,从淘宝天猫,京东,到拼多多,再到抖音,快手,电…

MacOS下载配置OpenCV

主要参考的是OpenCV官方的这篇文章:OpenCV: Installation in MacOS 安装OpenCV需要下载一些安装包:CMake3.9、Git、Python这些我之前已经下载好,这里就不过多阐述了,自行百度安装即可 1.从Git库获取OpenCV: git clon…

C++1114新标准——模板模板参数(Template Template Parameter)、using

系列文章目录 C11&14新标准——Variadic templates(数量不定的模板参数) C11&14新标准——Uniform Initialization(统一初始化)、Initializer_list(初始化列表)、explicit C11&14新标准—— d…

SpringBoot中日志的使用log4j2

SpringBoot中日志的使用log4j2 1、log4j2介绍 Apache Log4j2 是对 Log4j 的升级,它比其前身 Log4j 1.x 提供了重大改进,并提供了 Logback 中可用的许多改 进,同时修复了 Logback 架构中的一些问题,主要有: 异常处理…

SpringBoot+线程池实现高频调用http接口并多线程解析json数据

场景 SpringbootFastJson实现解析第三方http接口json数据为实体类(时间格式化转换、字段包含中文): SpringbootFastJson实现解析第三方http接口json数据为实体类(时间格式化转换、字段包含中文)-CSDN博客 Java中ExecutorService线程池的使用(Runnable和Callable多…