HDFS-HA搭建

news/2024/11/5 22:52:15/文章来源:https://www.cnblogs.com/ndmtzwdx/p/18526195

一、进行准备工作

1、防火墙

service firewalld stop

2、时间同步

yum install ntp
ntpdate -u s2c.time.edu.cn或者
date -s 20180503

3、免密钥 (远程执行命令)

在两个主节点生成密钥文件
ssh-keygen -t rsa
ssh-copy-id ipmaster-->master,node1,node2
node1-->master,node1,node2

4、修改hadoop配置文件

core-site.xml
hdfs-site.xml


停止HDFS集群：stop-dfs.sh
同步到其他节点cd /usr/local/soft/hadoop-2.7.6/etc/hadoopscp ./* node:`pwd`scp ./* node1:`pwd`

5、删除hadoop数据存储目录下的文件，每个节点都要删除



6、 启动zookeeper，三台都需要启动



7、启动JN，存储hdfs元数据



8、格式化 在一台NN上执行，这里选择master

9、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行 这里选择node1

hdfs namenode -bootstrapStandby

10、格式化ZK 在master上面执行

hdfs zkfc -formatZK

11、在hadoop的hadoop-env.sh文件配置HDFS_JOURNALNODE_USER

export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

12、启动hdfs集群

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/826788.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

HDFS 高可用集群的搭建

HDFS 高可用集群的搭建

HDFS 高可用集群的搭建 由于条件限制，电脑只够我开3台虚拟机，所以我们就用这3台虚拟机搭建一个HDFS的高可用。 在搭建之前我们先来理清一下3台虚拟机master，node1，node2分别会有哪些进程在高可用集群中会有2个NameNode，一个是活跃的（ANN），一个是备用的（SNN），每一个N…
阅读更多...
高级语言程序设计课程第六次个人作业

高级语言程序设计课程第六次个人作业

这个作业属于哪个课程：https://edu.cnblogs.com/campus/fzu/2024C/ 这个作业要求在哪里： https://edu.cnblogs.com/campus/fzu/2024C/homework/13303 学号:102400121 姓名:林永庆 12345678 把二维数组转换为一维数组91011 多个函数返回值判断12总结：菜就多练 反思：菜就多练…
阅读更多...
DNA Subway：一个综合性的生物信息学资源平台

DNA Subway：一个综合性的生物信息学资源平台

DNA Subway 是一个综合性的生物信息学资源平台，由 CyVerse 开发，旨在提供一个教育性的生物信息学平台，通过将研究级的生物信息学工具、高性能计算和数据库整合到工作流程中，使得用户能够通过一个易于使用的界面进行基因预测、基因注释、基因组分析、系统发育分析和下一代测…
阅读更多...
CapsLock+，Windows 上的快捷键神器

CapsLock+，Windows 上的快捷键神器

提高你 20% 的效率​ 我们在文字编辑时，经常会遇到一个问题：键盘的方向键「上下左右」离主键位区挺远的，如果要移动光标的方向就得挪右手过去操作方向键（或者用鼠标）。 对于经常码字（或敲代码）的人来说，这其实是非常麻烦的一件事。因为大多数时候，一篇文章或代码不是一…
阅读更多...
学习思维导图和AI的记录

学习思维导图和AI的记录

mermaid代码为：graph LRA --> A1[《Head First 嗨翻C语言》第九章]A1 --> B[函数指针]A1 --> C[动态内存分配]A1 --> D[结构体]A1 --> E[联合体]B --> B1[声明]B --> B2[使用]B --> B3[回调函数]C --> C1[malloc]C --> C2[calloc]C --> C3[f…
阅读更多...
Windows-DHCP

Windows-DHCP

AppSrv、RouterSrv 服务 DHCP（AppSrv） 安装和配置dhcp服务，为办公区域网络提供地址上网。 创建地址池名为inside_pool，地址池范围：192.168.0.1-192.168.0.100。 根据题目要求正确配置网关和dns信息。 配置故障转移 设置为“热备用服务器”模式。 伙伴服务器“DC2”为“待机…
阅读更多...
本地调试远程服务

本地调试远程服务

1、场景 ​ 通常来说我们的服务都是部署在各种远程服务器上的，本地开发完成部署到服务器长期运行。当线上出现问题的时候，或者远程出现问题的时候我们经常需要打印一些日志来判断问题所在。还有一种情况是本地开发环境正常，但是部署到远程环境就会出现各种神奇的问题，这个…
阅读更多...
把握人工智能行业脉搏！全球最值得关注的7大AI资讯平台

把握人工智能行业脉搏！全球最值得关注的7大AI资讯平台

序言：全球顶级的人工智能资讯网站都是以英文语言为主，如果大家看不懂，没关系，作者教大家一个技巧，用人工智能直接帮您看，然后直接让AI解析出您关注的重点内容给您，如果想了解详细信息，让人工智能一字不漏的翻译给你，就这么简单粗暴。在瞬息万变的人工智能领域，获取最…
阅读更多...
Hadoop高可用搭建

Hadoop高可用搭建

搭建前准备（检查是否满足以下条件） 1、关防火墙 service firewalld stop2、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 或者 date -s 201805033、免密钥 (远程执行命令) 在两个主节点生成密钥文件 ssh-keygen -t rsa ssh-copy-id ipmaster-->master,node1,no…
阅读更多...
【bypass系列】绕过命令过滤器：探索Unix/Linux中的Bypass技术

【bypass系列】绕过命令过滤器：探索Unix/Linux中的Bypass技术

原创 visionsec 安全视安免责声明 该公众号分享的安全工具和项目均来源于网络，仅供安全研究与学习之用，如用于其他用途，由使用者承担全部法律及连带责任，与工具作者和本公众号无关。在Unix或Linux系统的安全测试和网络防御中，了解如何绕过命令过滤器是非常重要的。今天，我…
阅读更多...
群晖数据自动同步百度云盘

群晖数据自动同步百度云盘

1、在群晖后台打开应用 Cloud Sync应用（没有需自己安装）。 2、选择百度云 3、这里需要注意下，同步实际上是以下这两个文件夹同步，并不是百度云的根目录， 1、群辉nas：/homes/zhanglei/百度网盘 2、百度网盘：我的应用数据 ->Cloud Sync 另外建议：设置中的同步方向修改…
阅读更多...
PVE 虚拟机 Ubuntu Server安装FTP功能

PVE 虚拟机 Ubuntu Server安装FTP功能

Ubuntu Server 18.04安装完成后，SSH功能默认已安装，可以通过22端口直接访问， 但FTP功能默认未安装，需要自己手动安装并配置参数文件，具体步骤如下。1、更新软件包列表：sudo apt update2、安装vsftpdsudo apt install vsftpd3、备份原始配置文件（可选）sudo cp /etc/vsft…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023