HDFS中的Trash垃圾桶回收机制

Trash垃圾桶回收机制

  • 文件系统垃圾桶背景
  • 功能概述
    • Trash Checkpoint
  • Trash功能开启
    • 关闭HDFS集群
    • 修改core-site.xml
    • 删除文件到trash
    • 删除文件跳过
    • 从trash中恢复文件
    • 清空trash

文件系统垃圾桶背景

  • 回收站(垃圾桶)是windows操作系统里的一个系统文件夹,主要用来存放用户历史删除的文档文件资料,存放在回收站的文件可以恢复
  • 回收站的功能给了我们一剂“后悔药”。回收站保存了删除的文件,文件夹,图片等。这些项目将一直保留在回收站中,直到清空回收站
  • HDFS本身也是一个文件系统,那么就会涉及到文件数据的删除操作
  • 默认情况下,HDFS中是没有回收站垃圾桶概念的,删除操作的数据将会被直接删除
    在这里插入图片描述

功能概述

  • HDFS Trash机制,目的防止无意中删除某些东西。默认情况下是不开启的
  • 启用Trash功能之后,从HDFS中删除某些内容时,文件或目录不会立即被清楚,他们将被移动到回收站Current目录中(/user/${username}.Trash/current)
  • .Trash中的文件在用户可配置的时间延迟后被永久删除
  • 也可以简单的讲回收站里的文件移动到.Trash目录之外的位置来恢复回收站中的文件和目录

Trash Checkpoint

  • 检查点仅仅是用户回收站下的一个目录,用于存储在创建检查点之前删除的所有文件或目录
  • 回收站目录在/user/${username}/.Trash/{timestamp_of_checkpoint_creation}
  • 最近删除的文件被移动到回收站Current目录,并且在可配置的时间间隔内,HDFS会为Current回收站目录下的文件创建检查点/user/${username}/.Trash/<日期>,并在过期时删除旧的检查点

在这里插入图片描述

Trash功能开启

关闭HDFS集群

  • 在node1节点上,执行一建关闭HDFS集群命令:stop-dfs.sh
    在这里插入图片描述

修改core-site.xml

  • 在node1节点上修改core-site.xml文件添加下面两个属性
  • fs.trash.interval:回收站中的文件多少分钟后会被系统永久的删除。如果为0,trash功能将被禁用
  • fs.trash.checkpoint.interval:前后两次检查点爱你的创建时间间隔(也是分钟),新的检查点被创建后,随之久的检查点就会被系统永久删除。如果为0,则将该值设置为fs.trash.interval的值

在这里插入图片描述

删除文件到trash

  • 开启trash功能后,正常执行删除操作,文件世纪并不会被直接删除,而是被移动到了垃圾回收站

在这里插入图片描述

删除文件跳过

  • 在执行删除操作的时候添加一个参数:-skipTrash,不需要经过回收站直接删除
    在这里插入图片描述

从trash中恢复文件

  • 回收站里面的文件,在到期被自动删除之前,都可以通过命令恢复出来
  • 使用mv,cp命令把数据文件从trash目录下复制移动出来就可以了

在这里插入图片描述

清空trash

  • 除了fs.trash.interval参数控制到期自动删除之外,用户还可以通过命令手动清空回收站,释放HDFS磁盘存储空间
  • HDFS提供了一个命令行工具来完成这个工作:Hadoop fs -expunge.该命令立即从文件系统中删除过期检查点

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/59288.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++进阶 智能指针

本篇博客简介&#xff1a;介绍C中的智能指针 智能指针 为什么会存在智能指针内存泄露内存泄漏定义内存泄漏的危害如何检测内存泄漏如何避免内存泄漏 智能指针的使用及其原理RAII设计一个智能指针C官方的智能指针 定制删除器智能指针总结 为什么会存在智能指针 我们首先来看下面…

SpringBoot 底层机制分析[上]

文章目录 分析SpringBoot 底层机制【Tomcat 启动分析Spring 容器初始化Tomcat 如何关联Spring 容器】[上]搭建SpringBoot 底层机制开发环境Configuration Bean 会发生什么&#xff0c;并分析机制提出问题&#xff1a;SpringBoot 是怎么启动Tomcat &#xff0c;并可以支持访问C…

剑指Offer12.矩阵中的路径 C++

1、题目描述 给定一个 m x n 二维字符网格 board 和一个字符串单词 word 。如果 word 存在于网格中&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。单词必须按照字母顺序&#xff0c;通过相邻的单元格内的字母构成&#xff0c;其中“相邻”单元格是那些水平…

配置Hive远程服务详细步骤

HiveServer2支持多客户端的并发和认证&#xff0c;为开放API客户端如JDBC、ODBC提供了更好的支持。 &#xff08;1&#xff09;修改hive-site.xml&#xff0c;在文件中添加以下内容&#xff1a; <property><name>hive.metastore.event.db.notification.api.auth&l…

药库管理指南:除了药物质量,这个技能很关键

随着医疗技术的不断进步&#xff0c;药品的质量要求也日益严格&#xff0c;药物的稳定性、疗效以及避免细菌滋生等方面都直接受到温湿度变化的影响。 药品质量和安全是医疗行业的首要任务之一&#xff0c;药库温湿度监控在此过程中发挥着关键作用。通过科学合理地实施温湿度监控…

Q-Vision+Kvaser CAN/CAN FD/LIN总线解决方案

智能联网技术在国内的发展势头迅猛&#xff0c;随着汽车智能化、网联化发展大潮的到来&#xff0c;智能网联汽车逐步成为汽车发展的主要趋势。越来越多整车厂诉求&#xff0c;希望可以提供本土的测量软件&#xff0c;特别是关于ADAS测试。而Softing中国推出的Q-Vision软件不仅可…

不看后悔一辈子!不看错过50K!历尽心血总结Redis全局命令

前言&#xff1a; &#x1f4d5;作者简介&#xff1a;热爱编程的敖云岚&#xff0c;致力于C、Java、Python等多编程语言&#xff0c;热爱编程和长板的运动少年&#xff01; &#x1f4d8;相关专栏&#xff1a;Java基础语法&#xff0c;JavaEE初阶&#xff0c;数据库&#xff0c…

CS录屏教程,录制游戏需要注意哪些方面?

​最近有个CS手游的玩家小伙伴咨询想要做一些游戏视频录制&#xff0c;但是不知道有哪些好用的工具来使用&#xff0c;对于游戏录制我们其实是需要注意一些事项的&#xff0c;想要观众的观感上比较好就需要把握好视频的帧率等问题&#xff0c;下面我们就来看看录制方法和需要注…

opencv基础40-礼帽运算(原始图像减去其开运算)cv2.MORPH_TOPHAT

礼帽运算是用原始图像减去其开运算图像的操作。礼帽运算能够获取图像的噪声信息&#xff0c;或者得到比原始图像的边缘更亮的边缘信息。 例如&#xff0c;图 8-22 是一个礼帽运算示例&#xff0c;其中&#xff1a; 左图是原始图像。中间的图是开运算图像。右图是原始图像减开运…

Salesforce 助理认证和管理员认证有何区别?备考者应如何选择?

随着Salesforce生态系统对专业人员的需求不断增长&#xff0c;获得相关认证对于寻求职业发展的从业者来说至关重要。 对于刚接触Salesforce平台的人而言&#xff0c;Salesforce助理认证和Salesforce管理员认证是两个比较基础的认证。这两个认证有什么区别呢&#xff1f;从业者…

Android中简单封装Livedata工具类

Android中简单封装Livedata工具类 前言&#xff1a; 之前讲解过livedata和viewmodel的简单使用&#xff0c;也封装过room工具类&#xff0c;本文是对livedata的简单封装和使用&#xff0c;先是封装了一个简单的工具类&#xff0c;然后实现了一个倒计时工具类的封装. 1.LiveD…

基于Echarts的大数据可视化模板:智慧物流管理

目录 引言物流管理的重要性大数据可视化在解决物流管理挑战中的作用智慧物流概述定义智慧物流的概念和特点智慧物流的关键技术和平台风险管理和预测:交通拥堵情况和风险预警Echarts与大数据可视化Echarts库以及其在大数据可视化领域的应用优势开发过程和所选设计方案模板如何满…