大数据面试题第一期*4

题1、HDFS存储机制


(1)客户端向namenode请求上传文件 ,namenode检查目标文件是否已存在 ,父目录是否存在。
(2)namenode返回是否可以上传。
(3)客户端请求第一个 block上传到哪几个datanode服务器上。
(4)namenode返回3个datanode节点 ,分别为dn1、dn2、dn3。
(5)客户端请求dn1上传数据 ,dn1收到请求会继续调用dn2 ,然后dn2调用dn3 ,将这个通信管道建立完成。
(6)dn1、dn2、dn3逐级应答客户端
(7)客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位 ,dn1 收到一个packet就会传
给dn2 ,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。
(8)当一个block传输完成之后 ,客户端再次请求namenode上传第二个block的服务器。(重复执行3-7步)

题2、SecondaryNameNode 工作机制


 第一阶段 :namenode启动
(1)第一次启动namenode格式化后 ,创建fsimage和edits文件。如果不是第一次启动 ,直接加载编辑日志和镜像文件到内存。 
(2)客户端对元数据进行增删改的请求。 
(3)namenode记录操作日志 ,更新滚动日志。 
(4)namenode在内存中对数据进行增删改查。
  第二阶段 :Secondary NameNode工作 
(1)Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。 
(2)Secondary NameNode请求执行checkpoint。 
(3)namenode滚动正在写的edits日志 。
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
(5)Secondary NameNode加载编辑日志和镜像文件到内存 ,并合并。 
(6)生成新的镜像文件fsimage.chkpoint。
(7)拷贝fsimage.chkpoint到namenode。
(8)namenode将fsimage.chkpoint重新命名成fsimage。

题3、NameNode与SecondaryNameNode区别与联系


  一、区别:
(1)NameNode负责管理整个文件系统的元数据 ,以及每一个路径(文件)所对应的数据块信息。
(2)SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。
  二、联系:
(1)SecondaryNameNode中保存了一份和namenode一致的镜像文件(fsimage)和编辑日志(edits)。
(2)在主namenode发生故障时(假设没有及时备份数据),可以从SecondaryNameNode恢复数据。


题4、服役新数据节点和退役旧节点步骤


   一、节点上线操作:
(1)当要新上线数据节点的时候 ,需要把数据节点的名字追加在 dfs.hosts 文件中,关闭新增节点的防火墙
(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname
(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname
(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作
(5)在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname
(6)在其他节点上执行刷新操作 :hdfs dfsadmin -refreshNodes
(7)在 NameNode 节点上,更改 slaves 文件,将要上线的数据节点 hostname 追加到 slaves 文件中
(8)启动 DataNode 节点
(9)查看 NameNode 的监控页面看是否有新增加的节点
  二、节点下线操作:
(1)修改/conf/hdfs-site.xml 文件
(2)确定需要下线的机器 ,dfs.osts.exclude 文件中配置好需要下架的机器 ,这个是阻止下架的机器去连接 NameNode。
(3)配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后台进行 block 块的移动。
(4)当执行三的命令完成之后,需要下架的机器就可以关闭了,可以查看现在集群上连接的节点,正在 执行 Decommission,
会显示:Decommission Status : Decommission in progress 执行完毕后 ,会显示:Decommission Status : Decommissioned
(5)机器下线完毕 ,将他们从excludes 文件中移除。


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/690278.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

云南区块链商户平台:抓包技术自制开票工具(二)

前言 上节我们分析了云南区块链商户平台的登录接口以及数据加密、解密,本节我们将构建一个项目框架,将大致的雏形制作出来 说明 由于我们使用开票软件都是在 云南区块链商户平台上操作,如果再开发电脑端就显得没必要,思考良久&…

某MBTI性格测试系统后台Getshell

在淘宝购买了性格测试系统源代码进行环境部署,后进行渗透测试 淘宝源码链接:https://item.taobao.com/item.htm?ftt&id790798788255 (自己学习(代码审计、算法、环境搭建)知识技能提升) 环境准备 集成环境选的是小皮 phpstudy 创建网站,将源代码放入网站根目录配置好数据…

IM是什么意思?

IM(即时通讯)作为现代通讯领域的重要且普遍应用,已成为人们日常生活和工作中不可或缺的通信方式。随着科技的不断发展和互联网的普及,IM工具通过实时信息传递,将沟通变得更加迅速、便捷、高效。 IM的诞生极大地改变了…

用python写算法——栈笔记

栈 栈的定义相关算法题 栈的定义 1.它是一种运算受限的线性表。限定仅在表尾进行插入和删除操作的线性表。这一端被称为栈顶,相对地,把另一端称为栈底。向一个栈插入新元素又称作进栈、入栈或压栈,它是把新元素放到栈顶元素的上面&#xff0…

Nginx或Tengine服务器配置SSL证书

目录 前提条件 步骤一:下载SSL证书 步骤二:在Nginx服务器安装证书 步骤三:验证SSL证书是否配置成功 前提条件 已通过数字证书管理服务控制台签发证书SSL证书绑定的域名已完成DNS解析,即您的域名与主机IP地址相互映射已在Web服…

【高校科研前沿】北师大陈晋教授团队在遥感顶刊发表最新成果:ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测

01文章简介 论文名称:The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery(ClearSCD模型:在高空间分辨率遥感影像中综合…

谷歌上架攻略:个人号20人连续14天封闭测试的详细流程及相关注意事项

众所周知,近年来,Google play为了确保应用质量和用户体验,对开发者提出不少新要求。其中,对于个人开发者的一项要求是,自2023年11月13日起,新注册的个人开发者账号在上架正式版应用前,必须经过2…

最新版Ceph( Reef版本)文件存储简单对接k8s(下集)

假如ceph集群已经创建 1.创建cephfs_pool存储池 ceph osd pool create fs_kube_data 16 162.创建cephfs_metadata存储池 ceph osd pool create fs_kube_metadata 16 163 创建cephfs ceph fs new cephfs01 fs_kube_metadata fs_kube_data4 设置最大活动数 ceph fs set cephfs01…

CCF CSP 认证考试历年真题满分题解(所有前四题)

CCF CSP 认证考试历年真题满分题解(所有前四题) 前言 原本刷题的动机仅仅是为研究生复试的机试环节做准备,我通过刷csp的真题来锻炼自己,因为上次的机试题目全部是csp真题,最后也是顺利上岸。空闲之际,我…

大模型prompt实例:知识库信息质量校验模块

大模型相关目录 大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步,扬帆起航。 大模型应用向开发路径:AI代理工作流大模型应用开发实用开源项目汇总大模…

关于DDD和COLA的一些总结和思考

1|0思维:面向对象和面向过程 领域驱动设计本质上是讲的面向对象,但是谈面向对象,始终无法绕开面向过程,所以我们先好好说一下面向过程和面向对象这两个概念。 什么是面向过程呢,其实就是我们学习编程时最初被植入的逻辑…

CTF数据安全大赛crypto题目解题过程

CTF-Crypto加密题目内容 下面是一个Base64加密的密文 bXNobnszODdoajM3MzM1NzExMzQxMmo4MGg0bDVoMDYzNDQzNH0原文链接: 数据安全大赛CTF-Crypto题目 - 红客网-网络安全与渗透技术 我们用Python写一个解密脚本: import base64 import time #base64加密…