Hadoop理论及实践-HDFS读写数据流程(参考Hadoop官网)

NameNode与DataNode回顾

主节点和副本节点通常指的是Hadoop分布式文件系统(HDFS)中的NameNode和DataNode。

  • NameNode(主节点):NameNode是Hadoop集群中的一个核心组件,它负责管理文件系统的命名空间和元数据。它记录了文件的目录结构、文件的块分配信息以及每个文件块所在的DataNode等关键信息。NameNode维护着整个文件系统的元数据,并提供对文件系统的访问控制。

  • DataNode(副本节点):DataNode是Hadoop集群中的另一个核心组件,它负责存储实际的数据块。当客户端写入文件时,数据被分成多个块并复制到不同的DataNode上进行存储。DataNode会周期性地向NameNode汇报存储信息、块的完整性以及心跳状态等信息。

        NameNode和DataNode协同工作,实现了HDFS的高可靠性和扩展性。NameNode作为主节点,负责管理和控制整个文件系统的元数据;而DataNode作为副本节点,负责存储和处理实际的数据块。这种分布式架构使得HDFS能够容纳大规模的数据,并提供高吞吐量的读写操作。

HDFS读数据流程

        HDFS读数据操作,一般是客户端通过RPC 调用Namenode以确定文件按块起始位置,对于每一个块,namenode返回保存该块副本的datanode地址(返回结果具有优先顺序),客户端通过DistributedFileSystem返回的FSDataInputStream对象,调用read方法将数据从datanode传回客户端。

读流程详细版

1、客户端请求文件读取

        当用户需要读取一个文件时,首先客户端会向NameNode发送一个读取文件的请求

2、NameNode响应

        NameNode接收到请求后,会检查文件的元数据信息,包括文件的位置、块的位置等。

        具体为NameNode验证权限和路径,检查文件是否存在。如果文件不存在,则返回错误信息给客户端;如果文件存在,则返回文件的元数据信息(如文件大小、块信息等)给客户端

3、数据块位置获取

        NameNode根据文件的元数据信息确定了文件所在的数据块,然后会返回该数据块所在的DataNode列表给客户端。

4、就近原则选择DataNode,建立数据传输通道

        客户端根据就近原则选择距离自己最近的一个DataNode作为主节点(Primary DataNode),用于与其建立数据传输通道。

        具体如下:客户端通过比较自身与各个DataNode的网络距离,选择距离最近的DataNode作为首选节点, 首选节点可能存在负载过重的情况,因此客户端需要进行负载均衡。客户端可以向NameNode请求额外的DataNode列表。客户端从首选节点和其他可用的DataNode中选择一个数据副本进行读取。这里可以使用随机选择算法来确保负载均衡

5、NameNode节点与DataNode节点建立通信

        NameNode主节点开始与其他副本节点DataNode进行通信,DataNode节点将数据块传输给NameNode节点,并由NameNode节点将数据传输给客户端

6、考虑负载均衡,进行数据传输

        HDFS采用负载均衡的策略来提高系统的性能和资源利用率。在读取文件时,如果某个DataNode的负载较高,可以选择其他负载较低的DataNode进行数据传输,以实现负载均衡。

7、数据传输

      DataNode主节点将数据块分成一系列小的数据包,并通过TCP/IP协议发送给客户端。

     注: DataNode开始向客户端传输数据(从磁盘中读取数据输入流FSDataInputStream,以packet为单位做检验)

8、客户端以packet为接收单位,先本地缓存,然后写入目标文件,即客户端接收到数据包后,可以进行处理或者保存。

读流程简化版

  1. 客户端向NameNode发送读取文件请求。
  2. NameNode检查文件的元数据信息,确定文件所在的数据块和对应的DataNode列表。
  3. 客户端根据就近原则选择距离最近的一个DataNode作为主节点。
  4. 主节点与其他副本节点建立通信,并将数据块传输给客户端。
  5. 客户端接收数据包并进行处理或保存。

读数据注意

1、hdfs读数据流程是串行读

2、怎样选择节点

        同一机器,同一机架,同一网络

读面试题

  1. HDFS读文件的流程是怎样的?

    • HDFS读文件的流程包括:客户端向NameNode发送读取文件的请求,NameNode验证权限和路径并返回文件的元数据信息,客户端根据元数据信息获取数据块所在的数据节点列表,客户端与数据节点建立连接并发送读取数据块的请求,数据节点将数据块发送给客户端,客户端接收并处理数据块,通过重复这个过程直到读取完所有数据块。
  2. HDFS读取大文件时是否会有性能问题?

    • HDFS针对大文件的并行读取机制可以提高读取性能。大文件被切分成多个数据块,并且这些数据块可以同时从不同的数据节点读取,利用了集群中多个节点的读取带宽和计算资源,从而提高了整体的读取效率。
  3. HDFS如何处理并发读取操作?

    • HDFS使用共享锁来实现并发访问控制。多个客户端可以同时读取同一个文件的不同部分,每个数据节点也可以同时为多个客户端提供数据块的读取。这种并发读取机制保证了系统的吞吐量和响应时间。
  4. 如果某个数据节点发生故障,会影响HDFS的读取吗?

    • 当某个数据节点发生故障时,HDFS会自动检测到并通知NameNode。NameNode会选择其他副本所在的数据节点进行读取,以保证数据的可用性和完整性。因此,即使某个数据节点发生故障,不会明显影响HDFS的读取操作。
  5. HDFS的读取操作与传统文件系统的读取操作有何不同?

    • HDFS采用流式读取方式,数据块直接从数据节点传输给客户端,减少了读取延迟。而传统文件系统通常需要将整个文件先复制到客户端再进行读取,这个过程会消耗大量的时间和网络带宽。

HDFS写数据流程

写流程详细版

1、客户端向HDFS的NameNode发送写请求。

  • 客户端通过DistributedFileSystem的API或命令行工具(如hdfs dfs -put)向HDFS的NameNode发送写入请求,请求创建新文件或追加数据。

2、NameNode接收到写请求后,首先检查文件的元数据信息,并确定文件将要存储的位置和所需的数据块数量,确定文件是否存在以及是否有写入权限。

  • NameNode维护了整个文件系统的元数据信息,包括文件和目录的属性、访问控制列表等,它会检查请求中指定的路径和权限。
  • 如果文件不存在,则创建新文件,并将其元数据信息记录在NameNode的命名空间中。NameNode在命名空间中为新文件分配一个唯一的文件ID,并将该文件的基本信息存储在内存中。        

4、数据块分配。NameNode根据一定的策略选择可用的DataNode,并为文件的每个数据块分配一个主节点(Primary DataNode)和多个副本节点(Replica DataNode),NameNode返回文件的数据节点列表给客户端。

  • NameNode根据配置的复制因子(默认为3)和集群的拓扑结构来选择一组适合的数据节点作为副本位置。选择的原则通常是数据节点距离客户端的网络距离较近。
  • 就近原则选择主节点:在选择主节点时,HDFS会考虑就近原则,即选择距离客户端最近的DataNode作为主节点,以减少数据传输的延迟。

  • 客户端收到数据节点列表后,就知道了数据块应该写入哪些数据节点。

5、客户端根据数据节点列表,将数据切分成数据块,并按照指定的策略将这些数据块依次写入各个DataNode的数据节点。        

  • 客户端通常会将大数据文件切分成多个数据块,每个数据块默认大小为128MB(可以通过配置进行调整)。客户端通过与相应的数据节点建立连接,并将数据块发送给数据节点。
  • 主节点与副本节点建立通信:主节点与副本节点之间建立通信通道。主节点将数据块传输给副本节点,并协调副本节点之间的数据同步
  • 数据写入主节点:客户端通过与主节点建立连接向主节点发送数据写入请求。主节点将数据块按照指定的格式进行存储,并将数据复制到副本节点。

  • 数据复制和同步:主节点将数据块的副本传输给其他副本节点,并协调副本节点之间的数据同步,保证数据的一致性。

6、每个数据节点接收到数据块后,将数据块存储在本地磁盘上,并向客户端发送确认消息。

  • 数据节点负责接收数据块并存储在本地的数据目录中。一旦数据块完全写入磁盘,数据节点会向客户端发送确认消息。

7、客户端等待所有数据节点都完成数据块的写入。

  • 客户端会等待所有数据块都成功写入对应的数据节点,并收到数据节点的确认消息。

8、客户端向NameNode发送完成写操作的请求。

  • 客户端通知NameNode已经完成了文件的写入操作。

9、NameNode接收到完成写操作的请求后,更新文件的元数据信息。

  • NameNode会更新文件的元数据信息,包括文件大小、数据块的位置信息等。

10、客户端收到写操作完成的确认消息。

  • 客户端收到NameNode的确认消息,表示文件写入操作已经成功完成。

写流程简化版

  • 客户端向NameNode发送写入文件请求。
  • NameNode确定文件存储位置和数据块分配情况。
  • 主节点与副本节点建立通信并协调数据复制和同步。
  • 客户端通过与主节点建立连接将数据写入主节点。
  • 主节点将数据块的副本传输给其他副本节点进行数据同步。
  • 当所有副本节点完成数据写入和同步后,主节点发送写操作完成确认信号。
  • 客户端关闭连接,完成文件写入操作。

写面试题

  1. 解释HDFS的工作原理和体系结构。

           HDFS是一个分布式文件系统,用于存储和管理大数据集。它由NameNode和DataNode组成,其中NameNode负责维护文件系统的元数据信息,而DataNode负责存储实际的数据块。客户端通过与NameNode和DataNode的交互来进行文件读写操作。
    1. HDFS中的NameNode和DataNode的角色是什么,它们之间的通信机制是怎样的?

      NameNode是HDFS的主节点,负责管理整个文件系统的命名空间和元数据信息。它与DataNode进行心跳通信以监控其状态,并指导数据块的复制和恢复操作。
  2. HDFS如何实现数据的容错性和可靠性?

    • HDFS提供了数据的容错性和可靠性,主要通过数据的复制机制实现。每个数据块默认会有三个副本存储在不同的数据节点上,这样即使某个数据节点发生故障,仍然可以从其他副本进行读取和恢复。HDFS还支持自动故障检测和恢复,当一个数据节点出现故障时,NameNode会通知其他数据节点进行副本的重新复制。
  3. 如何处理大规模文件的写入?

    • HDFS通过将大文件切分成多个数据块进行并行写入,从而实现高效的大规模文件写入。同时,HDFS使用流式写入的方式,客户端将数据块直接发送给数据节点,而不需要整个文件先完全写入客户端再传输到数据节点。这大大减少了写入延迟,提高了写入性能。
  4. 复制因子是什么,它对HDFS的影响是什么?

    • 复制因子是指每个数据块在HDFS中的副本数量。默认情况下,HDFS的复制因子为3,即每个数据块会有三个副本存储在不同的数据节点上。复制因子的增加可以提高数据的容错性和可靠性,但也会增加存储空间的开销。
  5. HDFS如何处理并发写入操作?

    • HDFS通过使用排他锁(在写操作时)和共享锁(在读操作时)来实现并发访问控制。对于写操作,只允许一个客户端进行写入,并且会进行写锁定,防止其他客户端同时写入。对于读操作,多个客户端可以同时读取同一个文件的不同部分。
  6. 数据节点故障时的数据恢复机制是怎样的?

    • 当一个数据节点发生故障导致某些副本不可访问时,HDFS会自动检测到故障,并向NameNode报告。NameNode会根据存储在元数据中的信息,选择其他拥有相应副本的数据节点进行数据复制,以保证数据的完整性和可用性。
  7. HDFS的写入操作与传统文件系统的写入操作有何不同?

    • HDFS的写入操作是追加写入而非覆盖写入,即新的数据会追加到已有的数据块中,而不会修改已有的数据。这种方式可以避免数据的移动和复制,提高写入性能。
  8. 可能遇到的HDFS写入性能问题和优化方法有哪些?

    • 可能的性能问题包括网络带宽瓶颈、硬盘IO限制等。针对这些问题,可以采取以下优化方法:增加数据节点和网络带宽以提高写入并行度、选择更高性能的硬盘或使用SSD、调整HDFS参数以优化性能等。

参考文章

Apache Hadoop 3.4.0-SNAPSHOT – Hadoop Commands Guide,hadoop官网

Tuzki眯眼看世界 - 简书

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/63665.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ubuntu 20.04 安装 Stable Diffusionn

步骤 1:安装 wget、git、Python3 和 Python3虚拟环境(如果已安装可忽略这步骤) sudo apt install wget git python3 python3-venv步骤 2:克隆 SD 项目到本地 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webu…

Spring MVC视图解析器

Spring MVC视图解析器 ➢ AbstractCachingViewResolver:➢ XmlViewResolver:➢ ResourceBundleViewResolver➢ UrlBasedViewResolver:➢ InternalResourceViewResolver:➢ FreeMarkerViewResolver➢ ContentNegotiatingViewResolv…

2023牛客暑期多校训练营8-I Make It Square

2023牛客暑期多校训练营8-I Make It Square https://ac.nowcoder.com/acm/contest/57362/I 文章目录 2023牛客暑期多校训练营8-I Make It Square题意解题思路代码实现 题意 解题思路 这里有两种情况,即 ∣ s ∣ > ∣ t ∣ |s|>|t| ∣s∣>∣t∣和 ∣ s ∣…

IoTDB1.X windows运行失败问题的处理

在windows运行 IoTDB1.x时 会出现如图所示的问题 为什么会出现这样的问题?java没有安装还是未调用成功,我是JAVA8~11~17各种更换都未能解决问题,最后对其bat文件进行查看,发现在conf\datanode-env.bat、conf\confignode-env.bat这…

安路FPGA的赋值报错——移位处理,加括号

authordaisy.skye的博客_CSDN博客-嵌入式,Qt,Linux领域博主 在使用移位符号用来当作除以号使用时,发现如下问题 其中 cnt_8K 为偶数和奇数时输出的数据不一样 reg [10:0] cnt_8K; reg [10:0] ram1_addra; always(posedge clk_16M) begin if(ram_out_flag )begin if(…

网络安全 Day27-运维安全项目-堡垒机部署

运维安全项目-堡垒机部署 1. 运维安全项目-架构概述2. 运维安全项目之堡垒机2.1 堡垒机概述2.2 堡垒机选型2.3 环境准备2.4 部署Teleport堡垒机2.4.1 下载与部署2.4.2 启动2.4.3 浏览器访问teleport2.4.4 进行配置2.4.5 安装teleport客户端 2.5 teleport连接服务器 1. 运维安全…

函数的模拟实现

题一&#xff1a; 模拟实现strncpy #include <stdio.h>void my_strncpy(char* arr2, char* arr1, size_t num){int i 0;for (i 0; i < num; i){*(arr2 i) *(arr1 i);}}int main(){char arr1[] "hello liangzai";char arr2[10] { 0 };//strncpy(ar…

TansUNet代码理解

首先通过论文中所给的图片了解网络的整体架构&#xff1a; vit_seg_modeling部分 模块引入和定义相关量&#xff1a; # codingutf-8 # __future__ 在老版本的Python代码中兼顾新特性的一种方法 from __future__ import absolute_import from __future__ import division fr…

C++ 派生类的析构函数

派生类的析构函数的功能是在该类对象消亡之前进行的一些必要的清理工作。析构函数没有类型&#xff0c;也没有参数。 在派生过程中&#xff0c;基类的析构函数也不可以继承下来&#xff0c;如果需要析构的话&#xff0c;就要在派生类中声明新的析构函数。派生类析构函数的声明…

户外组网摆脱布线困扰,工业5G网关实现无人值守、远程实时监控

在物联网通信技术发达的2023&#xff0c;网络覆盖对所及之处的全面覆盖&#xff0c;科技发展的促使下很多高危户外场景也在思考如何利用无线技术提高人员安全及现场无人化管理。 煤矿是我们国家不可缺少的重要能源&#xff0c;其开采过程的危险系数也是众所皆知的&#xff0c;…

HbuildX生成安卓签名证书

HbuildX生成安卓签名证书 安装和配置JRE环境 根据此链接安装和配置JRE环境 生成签名证书 keytool -genkey -alias testalias -keyalg RSA -keysize 2048 -validity 36500 -keystore test.keystoretestalias是证书别名&#xff0c;可修改为自己想设置的字符&#xff0c;建议…

策略模式【Strategy Pattern】

刘备要到江东娶老婆了&#xff0c;走之前诸葛亮给赵云&#xff08;伴郎&#xff09;三个锦囊妙计&#xff0c;说是按天机拆开解决棘手问题&#xff0c; 嘿&#xff0c;还别说&#xff0c;真是解决了大问题&#xff0c;搞到最后是周瑜陪了夫人又折兵呀&#xff0c;那咱们先看看…