hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)

hadoop fs -help rm 查看rm命令作用

hadoop fs 查看命令

1. 创建文件夹:

# hdfs前缀也是可以的。更推荐hadoop
hadoop fs -mkdir /sanguo

2.上传至hdfs命令:

   作用: 从本地上传hdfs系统 (本地文件被剪切走,不存在了)

   命令:

# 新建文件
vi shuguo.txt
#进入后 输入一些文字,保存退出即可#同shuguo.txt要在同目录下,输入命令
hadoop fs -moveFromLocal shuguo.txt /sanguo

 3. 拷贝文件上传到hdfs系统:

#新增文件
vi weiguo.txt
# 输入一些文字,保存并退出# 从本地复制一份文件,至hdfs文件系统
hadoop fs -copyFromLocal weiguo.txt /sanguo# 同上相同,更推荐这种,更加简洁
hadoop fs -put weiguo.txt /sanguo

4. 追加文件内容:

# 新建文件
vi liubei.txt
# 输入一些文字,保存并退出# 
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

5. 从hdfs下载至本地:

# copy
hadoop fs -copyToLocal /sanguo/shuguo.txt ./# 更推荐这种,简洁
# 下载
hadoop fs -get /sanguo/shuguo.txt ./

6. ls命令:

hadoop fs -ls /sanguo

7. cat命令:

hadoop fs -cat /sanguo/shuguo.txt

 8.更改权限:

hadoop fs -chown hadoop:hadoop /sanguo/shuguo.txt

 9. cp 复制:

# 创建文件夹
hadoop fs -mkdir /jinguo
# 复制
hadoop fs -cp /sanguo/shuguo.txt /jinguo

10. mv 移动:

hadoop fs -mv /sanguo/weiguo.txt /jinguo

11. tail 查看

hadoop fs -tail /sanguo/shuguo.txt

12. 删除文件或文件夹

# 删除文件
hadoop fs -rm /sanguo/shuguo.txt# 递归删除文件夹
hadoop fs -rm -r /sanguo

13. 统计文件夹大小信息:

hadoop fs -du -s -h /sanguo

   27 文件大小81 副本*文件大小

下面是查看文件夹每个文件的统计信息

hadoop fs -du  -h /sanguo

14. 设置副本数量:

hadoop fs -setrep 2 /sanguo/shuguo.txt

  副本数量记录在NameNode,不要设置超过节点数量的副本,设置超过节点数,最多也只是总节点数量的副本,不会超过DataNode节点数, 如果设置8个副本,如果DataNode节点数有8个,才会有8个副本

总结:命令太多不一一列举了,同centos系统一样,只是前面加了hadoop fs, 很容易记住

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/209097.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

macos端文件夹快速访问工具 Default Folder X 最新for mac

Default Folder X 是一款实用的工具,提供了许多增强功能和快捷方式,使用户能够更高效地浏览和管理文件。它的快速导航、增强的文件对话框、自定义设置和快捷键等功能,可以大大提升用户的工作效率和文件管理体验。 快速导航和访问:…

海康Visionmaster-模块索引:MFC 模块索引异常解决 办法

现象:文件编码格式为 UTF-8 不带签名编码格式,模块索引会出现 模块无法找到异常 更改文件类型为 UTF-8 带签名格式或 vs 默认 GBK2312 编码格式

华为超聚变2288H V6服务器配置RAID及安装ESXI7.0

服务器核心配置: 超聚变2288H V6服务器 硬盘:240GB M.2 SSD *2,1.92TB SAS SSD *2,2.4TB SAS HDD*8 RAID:9460-16i-PCIeRAID 标卡-4GB支持JBOD,RAID0,1,5,6, …

从0开始学习JavaScript--JavaScript生成器

JavaScript生成器(Generator)是一项强大的语言特性,它允许函数在执行过程中被暂停和恢复,从而实现更灵活的控制流。本文将深入探讨JavaScript生成器的基本概念、用法,并通过丰富的示例代码展示其在实际应用中的优势和强…

对比两个数组中对应位置的两个元素将每次对比的最大值用于构成新的数组np.maximum()

【小白从小学Python、C、Java】 【计算机等考500强证书考研】 【Python-数据分析】 对比两个数组中对应位置的两个元素 将每次对比的最大值用于构成新的数组 np.maximum() 选择题 以下代码的输出结果为? import numpy as np a1 [1,2,33] a2 [11,2,3] print("…

Vue生成二维码并进行二维码图片下载

1、安包 npm install vue-qr --save2、引入 // vue2.0 import VueQr from vue-qr // vue3.0 import VueQr from vue-qr/src/packages/vue-qr.vue new Vue({components: {VueQr} })<!-- 设备二维码 对话框 270px--><el-dialog title"点位二维码" :visible.…

华清远见嵌入式学习——网络编程——作业3

目录 作业要求&#xff1a;基于UDP的TFTP文件传输 代码 下载功能效果图​编辑 上传功能效果图 思维导图 模拟面试题和答案&#xff08;定期更新&#xff09; 作业要求&#xff1a;基于UDP的TFTP文件传输 完成文件的上传和下载功能 代码 #include<myhead.h>//实现…

10.docker的网络network-概述

1.docker的网络模式 docker共有四种网路模式&#xff0c;分别是bridge、host、none和container. 1.1 bridge bridge,也称为虚拟网桥。在bridge模式下&#xff0c;为每个容器分配、配置IP等&#xff0c;并将容器连接到一个docker0。使用–network bridge命令指定&#xff0c;…

顺序表基本操作全面解析

文章目录 1.线性表2.顺序表分类2.1 静态顺序表2.2 动态顺序表 3. 顺序表各接口实现1. 定义结构体(Seqlist)2. 结构体初始化(SLInit)3.检查容量 (SLCheckCapacity)4.打印数据 (SLPrintf)5.插入操作5.1 从数据头部插入(SLPushFront)5.2 从数据尾部插入(SLPushBack)5.3 从任意下标…

Matplotlib颜色条的配置_Python数据分析与可视化

Matplotlib颜色条配置 基本颜色颜色条选择配色方案颜色条刻度的限制与扩展功能的设置离散型颜色条 基本颜色 Matplotlib提供了8种指定颜色的方法&#xff1a; 在[0&#xff0c;1]中的浮点值的RGB或RGBA元组&#xff08;例如 (0.1, 0.2, 0.5) 或&#xff08;0.1&#xff0c; 0.…

实验4.数据全量、增量、比较更新

【实验目的】 1.利用Kettle的“表输入”&#xff0c;“表输入出”&#xff0c;”JavaScript代码”组件&#xff0c;实现数据全量更新。 2.熟练掌握“JavaScript代码”&#xff0c;“表输入”&#xff0c;“表输入出”组件的使用&#xff0c;实现数据全量更新。 【实验原理】 …

Uptime Kuma 企业微信群机器人告警

curl https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key693axxx6-7aoc-4bc4-97a0-0ec2sifa5aaa \-H Content-Type: application/json \-d {"msgtype": "text","text": {"content": "hello world"}}企业微信群机器人ke…