2-HDFS常用命令及上传下载流程

HDFS

NameNode

安全模式(safemode)

  1. 当NameNode被重启的时候，自动进入安全模式

  2. 在安全模式中，NameNode首先会触发edits_inprogress文件的滚动。滚动完成之后，更新fsimage文件

  3. 更新完成之后，NameNode会将fsimage文件中的元数据加载到内存中。加载完成之后，NameNode等待DataNode的心跳

  4. 如果NameNode没有收到DataNode的心跳，那么此时NameNode就会认为这个DataNode已经lost，那么此时NameNode会将这个DataNode上的数据备份到其他的节点上来保证副本数量；如果NameNode收到了DataNode的心跳，那么会对这个DataNode上的Block存储情况进行校验。如果校验成功，那么NameNode自动退出安全模式；如果校验失败，那么NameNode会试图恢复这个DataNode上的数据（每个DataNode的全部数据都会在其他DataNode上有备份），恢复完成之后，会重新校验；校验成功之后，才会退出安全模式

  5. 在安全模式下，HDFS只提供读(下载)操作，不提供写(上传)操作

  6. 如果在合理的时间内，HDFS依然没有退出安全模式，那么说明数据已经产生了不可逆的损坏或者丢失(这个数据的所有副本都损坏或者丢失)

  7. 安全模式的命令

    命令解释
    hdfs dfsadmin -safemode enter进入安全模式
    hdfs dfsadmin -safemode leave退出安全模式
    hdfs dfsadmin -safemode get获取安全模式的状态

DataNode

  1. DataNode是HDFS的从进程，负责存储数据。DataNode会将数据以Block形式落地到本地的磁盘上
  2. Block在磁盘上的存储位置由dfs.datanode.data.dir属性来决定的，默认值是file://${hadoop.tmp.dir}/dfs/data，由hadoop.tmp.dir属性来决定
  3. DataNode会为每一个Block生成一个.meta文件，.meta文件实际上是这个Block的校验文件
  4. DataNode会通过心跳向NameNode注册信息
  5. DataNode的状态：预服役、服役、预退役、退役

SecondaryNameNode

  1. SecondaryNameNode不是NameNode的备份，而是辅助进程，用于辅助NameNode完成edits_inprogress文件的滚动和fsimage文件的更新

    1. 如果HDFS集群中存在SecondaryNameNode，那么fsimage文件的更新是由SecondaryNameNode来完成
    2. 如果HDFS集群中不存在SecondaryNameNode，那么fsimage文件的更新是由NameNode自己来完成

  2. 因此，SecondaryNameNode不是必须的进程。实际过程中，NameNode和SecondaryNameNode不是在同一个节点上

  3. fsimage文件的更新过程

    fsimage更新

  4. 由于HDFS集群的限制，HDFS集群支持两种模式

    1. 1个NameNode+1个SecondayNameNode+n个DataNode
    2. n个NameNode+n个DataNode

    考虑到NameNode作为核心节点，必须对NameNode来进行备份。所以实际过程中，采用上述的第二种结构

机架感知策略

  1. 在HDFS集群中，机架指的是逻辑机架。默认情况下，机架感知策略是不开启的

  2. 逻辑机架：通过一个映射(map)来定义主机和机架之间的关联。将主机名或者IP作为键，将机架作为值，只要值相同，就表示不同的服务器是位于相同的机架上的

    # hadoop01~hadoop03都是属于机架r1，hadoop04~05都是属于机架r2
rack = {"hadoop01":"r1","hadoop02":"r1","hadoop03":"r1","hadoop04":"r2","hadoop05":"r2"
}

  3. 如果需要开启机架感知策略，那么需要在hadoop-site.xml文件中配置

    <property><name>net.topology.script.file.name</name><value>脚本的路径</value>
</property>

    实际过程中，一般是通过shell或者python来定义脚本文件

  4. 理论上而言，可以将同一个物理机架上的节点配置到不同的逻辑机架上，也可以将不同物理机架上的节点配置到同一个逻辑机架上

副本放置策略

  1. HDFS为了保证数据的可靠性，默认采用的是多副本策略。默认情况下，每一个Block对应了3个副本。副本数量可以通过dfs.replication属性来调节
  2. 在HDFS中，如果不开启机架感知策略，副本是放在相对空闲的节点上；如果开启了机架感知策略，那么对应的会开启副本放置策略
    1. 第一个副本：如果是集群内部上传，谁上传就放在谁身上；如果是集群外部上传，谁空闲就放在谁身上
    2. 第二个副本：放在和第一个副本相同机架的不同节点上
    3. 第三个副本：放在和第二个副本不同机架的节点上
    4. 更多副本：谁空闲放在谁身上

命令和操作

启动命令

命令解释
start-dfs.sh启动HDFS
stop-dfs.sh关闭HDFS
hdfs --daemon start namenode启动NameNode
hdfs --daemon start datanode启动DataNode
hdfs --daemon start secondarynamenode启动SecondaryNameNode
hdfs --daemon stop namenode关闭NameNode
hdfs --daemon stop datanode关闭DataNode
hdfs --daemon stop secondarynamenode关闭SecondaryNameNode

基本命令

命令解释
hadoop fs -put a.txt /
或者
hadoop fs -copyFromLocal a.txt / （过时）		将a.txt上传到HDFS的根目录下
hadoop fs -ls / 查看子文件和子目录
hadoop fs -ls -R /递归查看
hadoop fs -cat /a.txt查看文件内容
hadoop fs -appendToFile b.txt /a.txt将本地的b.txt的内容追加到HDFS的a.txt中
hadoop fs -checksum /a.txt计算校验和(就是获取这个文件的md5计算结果)
hadoop fs -chown tom /a.txt更改文件所属用户
hadoop fs -chmod 777 /a.txt更改文件的权限
hadoop fs -chgrp test /a.txt更改文件的用户组
hadoop fs -copyToLocal /a.txt /opt/test.txt
或者
hadoop fs -get /a.txt /opt/test.txt		下载文件
hadoop fs -cp /a.txt /b.txt复制文件
hadoop fs -mv /a.txt /test.txt剪切或者重命名文件
hadoop fs -df /查看HDFS的容量
hadoop fs -du /b.txt查看文件的大小
hadoop fs -setrep 3 /b.txt（上传文件时指定副本数量，这个参数优先级高于默认的副本数量）指定副本数量

回收站机制

  1. 在HDFS中，回收站机制默认是不开启的，即删除命令会立即生效，无法撤销

  2. 如果需要开启回收站机制，那么需要在core-site.xml文件中做配置

    <!-- 指定文件在回收站中临时的存放时间 -->
<!-- 单位默认是min -->
<!-- 如果不指定，默认情况下值为0，即删除要立即生效 -->
<!-- 如果超过指定时间，没有将文件从回收站中移出来，那么这个文件就会被清理掉 -->
<property><name>fs.trash.interval</name><value>1440</value>
</property>

  3. 回收站的默认路径是：/user/${user.name}/.Trash/Current/

  4. 如果需要将文件从回收站中挪出来，那么使用hadoop fs -mv命令即可

流程

删除流程

  1. 客户端发起RPC请求到NameNode，请求删除指定文件
  2. NameNode收到请求之后，会进行校验
    1. 校验是否有写入权限 - AccessControlException
    2. 校验是否有指定文件 - FileNotFoundException
  3. 如果校验失败，那么会报错；如果校验成功，那么NameNode修改元数据；修改完元数据之后，NameNode会给客户端返回一个ACK信号表示删除成功！注意，此时文件并没有真正从HDFS上移除，仅仅是修改了元数据！
  4. NameNode会等待DataNode的心跳，收到DataNode的心跳之后，会在心跳响应中要求DataNode删除对应的Block
  5. DataNode收到心跳响应之后，才回去磁盘上删除这个文件对应的Block。注意，此时，文件才真正从HDFS上移除！

写入(上传)流程

  1. 客户端通过DistributedFileSystem向NameNode发送RPC请求，请求上传指定文件

  2. NameNode收到请求之后，会进行校验

    1. 校验是否有写入权限 - AccessControlException
    2. 校验是否有同名文件 - FileAlreadyExistException

  3. 如果校验失败，那么直接报错；如果校验成功，NameNode会给客户端返回一个信号表示允许上传

  4. 客户端在收到信号之后，会再次给NameNode发送请求，请求获取第一个Block的存储地址

  5. NameNode收到请求之后，会查询元数据，根据副本放置策略，将这个Block的存储位置放入队列中返回给客户端。存储位置其实就是DataNode的主机名/IP，默认情况下，返回的是3个地址(副本数量默认为3)

  6. 客户端收到队列之后，会从队列中将地址全部取出，取出之后，会从中选择一个较近(网络拓扑距离的远近)的节点，通过FSDataOutputStream来请求建立pipeline(管道)，来写入当前Block的第一个副本；第一个副本写完之后，这个副本所在的节点会通过pipeline将这个Block的第二个副本写入；第二个副本写完之后，这个副本所在的节点会通过管道来写入下一个节点

  7. 当这个Block的最后一个副本写完之后，会给上一个副本所在的节点返回一个ACK信号表示成功；上一个副本所在的节点收到ACK之后，会继续往前返回ACK，直到返回给客户端

  8. 当客户端收到ACK之后，会再次给NameNode发送请求，请求获取下一个Block的存储位置，重复5.6.7三个步骤，直到所有的Block全部写完

  9. 当所有的Block全部写完之后，客户端会给NameNode发送一个结束信号(关流)。NameNode收到信号之后，会关闭文件。文件一旦关闭就不能修改！

    上传流程

读取(下载)流程

  1. 客户端通过DistributedFileSystem向NameNode发送RPC请求，请求读取指定文件

  2. NameNode收到请求之后，会进行校验

    1. 校验是否有读取权限 - AccessControlException
    2. 校验是否有指定文件 - FileNotFoundException

  3. 如果校验失败，则直接报错；如果校验成功， 那么NameNode会给客户端返回一个信号表示允许读取

  4. 客户端收到信号之后，会再次给NameNode发送请求，请求获取第一个Block的存储位置

  5. NameNode收到请求之后，会查询元数据，将这个Block的存储位置以及Block的校验信息放入队列中返回给客户端

  6. 客户端收到队列之后，会将地址从队列中全部取出，从中选择一个较近（网络拓扑距离较近）的节点，通过FSDataInputStream来读取这个Block

  7. 读取完成之后，客户端会对这个Block进行一次checkSum校验。如果校验失败，那么客户端会从剩余的地址中重新选取地址重新读取重新校验；如果校验成功，那么客户端会再次给NameNode发送请求，请求获取下一个Block的位置，重复5.6.7，直到所有的Block全部读取完毕

  8. 当所有的Block都读取完之后，客户端会给NameNode发送一个结束信号

    读取流程

特点

  1. 支持超大文件。HDFS会对文件进行切块处理，所以集群规模越大，能够存储的文件就越大
  2. 能够快速的应对和检测故障。HDFS通过心跳来管理DataNode，通过心跳可以确定DataNode的状态以及Block的状态
  3. 高容错性。HDFS对文件进行备份，从而保证不会因为一个节点宕机就产生数据丢失
  4. 可以在相对廉价的机器上来进行横向扩展
  5. 不支持低延迟数据访问。HDFS的设计初衷就是为了存储超大文件，因此考虑的是数据的吞吐量而不是响应速度
  6. 不建议存储小文件。每一个小文件对应的会产生一条元数据，小文件多了，就意味着元数据会增多，那么会导致内存占用变大，同时会导致查询效率降低
  7. 简化的一致性模型。HDFS支持一次写入多次读取，不支持修改但是支持追加写入
  8. 不支持事务或者支持弱事务。这就意味着在HDFS中，即使数据写错也不能修改
  9. 存储的超大文件允许小部分数据出错。HDFS通常是TB级的日志级别，然后对其数据分析。其中几MB的数据出错并不会影响最终的分析结果。

补充

RPC

  1. RPC(Remote Procedure Call)，远程过程调用，指的是允许程序员在一个节点上远程调用另一个节点上的程序或者功能，而不需要显式的实现这个功能
  2. RPC是Nelson在1990年的论文中提出的理论，现在RPC已经成为了分布式中最重要的通讯方式
  3. 存储的超大文件允许小部分数据出错。HDFS通常是TB级的日志级别，然后对其数据分析。其中几MB的数据出错并不会影响最终的分析结果。

补充

RPC

  1. RPC(Remote Procedure Call)，远程过程调用，指的是允许程序员在一个节点上远程调用另一个节点上的程序或者功能，而不需要显式的实现这个功能
  2. RPC是Nelson在1990年的论文中提出的理论，现在RPC已经成为了分布式中最重要的通讯方式
  3. stub(存根)：保证两端能够调用的函数是相同的，在Java中通常使用接口来实现

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/576667.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何在 Ubuntu 安装桌面环境

如何在 Ubuntu 安装桌面环境

在 Ubuntu 上安装不同的桌面环境 如果你正在使用官方的 Ubuntu 发行版&#xff0c;它运行在 GNOME 上&#xff0c;那么你可以很容易地从默认的包管理器安装其他流行的桌面环境&#xff08;DE&#xff09;。让我们开始吧… 在 Ubuntu 上安装 KDE Plasma 如果你正在使用 GNOME…
阅读更多...
报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

错误&#xff1a; torch.distributed.elastic.multiprocessing.errors.ChildFailedError: 这个主要是torch的gpu版本和cuda不适配 我的nvcc -V是11.8 torch使用的&#xff1a; pip install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 --index-url https://download.pyt…
阅读更多...
【学习笔记】java项目—苍穹外卖day01

【学习笔记】java项目—苍穹外卖day01

文章目录 苍穹外卖-day01课程内容1. 软件开发整体介绍1.1 软件开发流程1.2 角色分工1.3 软件环境 2. 苍穹外卖项目介绍2.1 项目介绍2.2 产品原型2.3 技术选型 3. 开发环境搭建3.1 前端环境搭建3.2 后端环境搭建3.2.1 熟悉项目结构3.2.2 Git版本控制3.2.3 数据库环境搭建3.2.4 前…
阅读更多...
Acwing_795前缀和 【一维前缀和】+【模板】二维前缀和

Acwing_795前缀和 【一维前缀和】+【模板】二维前缀和

Acwing_795前缀和 【一维前缀和】 题目&#xff1a; 代码&#xff1a; #include <bits/stdc.h> #define int long long #define INF 0X3f3f3f3f #define endl \n using namespace std; const int N 100010; int arr[N];int n,m; int l,r; signed main(){std::ios::s…
阅读更多...
东特科技现已加入2024第13届国际生物发酵产品与技术装备展

东特科技现已加入2024第13届国际生物发酵产品与技术装备展

参展企业介绍 温州东特科技有限公司是一家集设计、生产、销售及服务为一体的卫生级流体设备企业。专业从事各种乳食品、制药、化工、啤酒设备、不锈钢卫生级阀门&#xff0c;管件&#xff0c;视镜&#xff0c;及非标配件定制等产品的销售与服务。先进的设计理念专业的技术优势一…
阅读更多...
图论- 最小生成树

图论- 最小生成树

一、最小生成树-prim算法 1.1 最小生成树概念 一幅图可以有很多不同的生成树&#xff0c;比如下面这幅图&#xff0c;红色的边就组成了两棵不同的生成树&#xff1a; 对于加权图&#xff0c;每条边都有权重&#xff08;用最小生成树算法的现实场景中&#xff0c;图的边权重…
阅读更多...
【项目技术介绍篇】若依管理系统功能介绍

【项目技术介绍篇】若依管理系统功能介绍

作者介绍&#xff1a;本人笔名姑苏老陈&#xff0c;从事JAVA开发工作十多年了&#xff0c;带过大学刚毕业的实习生&#xff0c;也带过技术团队。最近有个朋友的表弟&#xff0c;马上要大学毕业了&#xff0c;想从事JAVA开发工作&#xff0c;但不知道从何处入手。于是&#xff0…
阅读更多...
机器学习：数据降维主成分分析PCA

机器学习：数据降维主成分分析PCA

一、引言 1.数据分析的重要性   在当今的信息爆炸时代&#xff0c;数据已经渗透到各个行业和领域的每一个角落&#xff0c;成为决策制定、科学研究以及业务发展的重要依据。数据分析则是从这些数据中提取有用信息、发现潜在规律的关键手段。通过数据分析&#xff0c;我们能够…
阅读更多...
【明道云】如何让用户可以新增但不能修改记录

【明道云】如何让用户可以新增但不能修改记录

【背景】 遇到一个需求场景&#xff0c;用户希望新增数据后锁住数据不让更改。 【分析】 在设计表单时直接将字段设置只读是不行的。字段设置只读将会直接让界面上此字段的前端组件不可编辑。包括新增时也无法填入。显然是不符合需求的。 需要既能新增&#xff0c;新增后又不…
阅读更多...
JavaScript new一个对象的详细过程

JavaScript new一个对象的详细过程

JavaScript new一个对象的详细过程 new实现过程 new实现原理 new手写实现 实现过程/原理 开辟一块内存&#xff0c;创建一个空对象 执行构造函数对这个空对象进行构造 给空对象添加__proto__属性 调用函数改变this指向 最后返回this指向的新对象&#xff08;如果是引用类型则返…
阅读更多...
【学习】JMeter和Postman两种测试工具的主要区别有哪些

【学习】JMeter和Postman两种测试工具的主要区别有哪些

Postman和JMeter都是常用的API测试工具&#xff0c;但它们之间存在一些不同之处。以下是Postman和JMeter的主要区别&#xff1a; 语言支持 Postman是一个基于Chrome的应用程序&#xff0c;因此它使用JavaScript作为编程语言。这意味着你可以使用JavaScript来编写测试脚本和断…
阅读更多...
【spring】@Autowired注解学习

【spring】@Autowired注解学习

Autowired介绍 Spring框架是Java领域中一个非常重要的企业级应用开发框架&#xff0c;它提供了全面的编程和配置模型&#xff0c;旨在帮助开发者更快速、更简单地创建应用程序。在Spring框架中&#xff0c;Autowired是一个非常重要的注解&#xff0c;它用于实现依赖注入&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023