Hadoop3完全分布式搭建

一、第一台的操作搭建

修改主机名

使用hostnamectl set-hostname 修改当前主机名
在这里插入图片描述

关闭防火墙和SELlinux

1,使用

systemctl stop firewalld
systemctl disable firewalld

关闭防火墙
在这里插入图片描述

2,使用

vim /etc/selinux/config

修改为 SELINUX=disabled

在这里插入图片描述

使用NAT模式配置静态IP

1,修改网络配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改如下三项内容:
BOOTPROTO=static
ONBOOT=yes
IPADDR=自己想要设置的IP。这个ip参考vmware的虚拟网络编辑器的vmnet8的IP地址进行设置。
在这里插入图片描述
2,重启网络。
在这里插入图片描述

二、克隆虚拟机

克隆虚拟机

1,克隆
在这里插入图片描述
2,
在这里插入图片描述
3,
在这里插入图片描述

修改克隆后的虚拟机的静态IP

修改IP为192.168.248.102. 同理第三台虚拟机同样的修改。
在这里插入图片描述

可以修改一下hadoop02,hadoop03的主机名

使用hostnamectl set-hostname 修改当前主机名
在这里插入图片描述

三、主机映射

为后面的hadoop的核心配置文件做准备的。
vim /etc/hosts
因为配置三个集群节点。所以如下配置。

在这里插入图片描述

在另外两台节点,也修改上面的文件vim /etc/hosts

四、设置免密登录

管理集群不可能每个都要输入账号密码进行登录,那可太费劲了。
所以需要借助公钥、私钥免密登录
1,在第一台节点上,使用 ssh-keygen -t rsa 生成公钥私钥
在这里插入图片描述
2,使用ssh-copy-id 目标节点。拷贝到这三台节点上
(1)先拷贝给自己。 先拷贝到hadoop01, 然后会要求输入当前节点的登录密码。
在这里插入图片描述
(2)拷贝到hadoop02
在这里插入图片描述

(3)拷贝到hadoop03
在这里插入图片描述
3,在hadoop02, hadoop03 两个节点上,重复上面的1和2步骤

五、集群时间同步

一种是从节点同步主节点的时间。
一种是所有节点同步网络时间。
这里让所有节点同步网络时间
1,在3台节点上都执行如下命令
crontab -e
在这里插入图片描述

2,然后输入如下内容:

* * * * * /usr/sbin/ntpdate -u ntp.aliyun.com >/var/null 2>&1

在这里插入图片描述

六、在第一台虚拟机上安装配置jdk和hadoop

参考:https://blog.csdn.net/qq_45860901/article/details/135676494?spm=1001.2014.3001.5502

七、配置hadoop配置文件

1,切换到hadoop的home 目录下。
在这里插入图片描述
2,切到etc目录下, 里面只有一个hadoop文件夹
在这里插入图片描述

3,进入到这个hadoop文件夹,就有我们的核心配置文件了。
在这里插入图片描述

4,修改配置core-site.xml 文件
注意端口:在hadoop1.x 使用9000端口
hadoop2.x使用8020
hadoop3.x使用9820

<configuration><property><name>fs.defaultFS</name><value>hdfs://192.168.248.101:9820</value></property><!--hdfs基础数据路径,放在hadoop文件夹下的tmp文件夹,这个文件不需要提前创建,让hadoop自己创建--><property><name>hadoop.tmp.dir</name><value>/usr/local/app/hadoop/hadoop-3.3.5/tmp
</value></property>
</configuration>

5,修改hdfs-site.xml
对外http服务的地址

<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.secondary.http-address</name><value>192.168.248.102:9868</value></property><property><name>dfs.namenode.http-address</name><value>192.168.248.101:9870</value></property>
</configuration>

6,修改hadoop-env.sh 文件
配置hadoop允许的配置

export JAVA_HOME=/usr/local/app/java/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

7,配置workers 集群文件。 这个是指定datanode 在哪些节点上,因为要在三台节点上都要配置Datanode,所以都要写。 里面会有一个localhost ,要去掉。

hadoop01
hadoop02
hadoop03

拷贝

为了避免再去多个主机上进行上面的配置操作,使用scp 命令拷贝分发。
1,拷贝hadoop和Jdk文件分发给其他节点.
(1)下面命令是递归的将hadoop-3.3.5文件夹,拷贝到hadoop02的当前目录下,当前目录就是在hadoop01同级的目录下。

 scp -r hadoop-3.3.5/ hadoop02:$PWD

在这里插入图片描述
(2)hadoop03也执行上面操作。

2, 拷贝 /etc/profile 给其他节点
(1)将 profile 文件,拷贝到 hadoop02的 /etc目录下。

scp /etc/profile hadoop02:/etc/

(2)hadoop03也执行上面操作。

格式化集群

在 hadoop01节点上执行下面的命令:hdfs namenode -format
在这里插入图片描述
得到如下结果:
在这里插入图片描述

启动集群

执行:start-dfs.sh
在这里插入图片描述

使用JPS命令查看所有运行的java程序:
在这里插入图片描述

访问hadoop的web界面

http://192.168.248.101:9870
在这里插入图片描述
成功进入:
在这里插入图片描述

界面介绍

1,Datanode相关界面负载信息
在这里插入图片描述
2,这个查看 HDFS的相关信息
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/417572.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Pycharm无法刷新远程解释器的框架: Can‘t get remote credentials for deployment server

在Pycharm上部署项目到远程服务器&#xff0c;有时候需要启动SSH会话&#xff0c;启动的时候发现没反应&#xff0c;且事件日志显示&#xff1a;无法刷新远程解释器的框架: Can’t get remote credentials for deployment server 观察pycharm界面最下边&#xff0c;发现“无默…

canvas能压缩图片?

之前写过一篇使用命令行工具压缩图片的博文&#xff1a;使用yx-tiny命令行工具进行图片压缩&#xff0c;大家感兴趣可以去瞅一眼。 这篇简单说一下使用canvas压缩图片 其实思路很简单&#xff0c;我们选择了图片之后&#xff0c;会获取到对应的文件流对象&#xff0c;然后我们…

【第三课课后作业】基于 InternLM 和 LangChain 搭建你的知识库

基于 InternLM 和 LangChain 搭建你的知识库 1. 基础作业&#xff1a; 环境配置 1.1 InternLM 模型部署 创建开发机 进入 conda 环境之后&#xff0c;使用以下命令从本地一个已有的 pytorch 2.0.1 的环境&#xff0c;激活环境&#xff0c;在环境中安装运行 demo 所需要的依…

OpenHarmonyOS-gn与Ninja

GN语法及在鸿蒙的使用 [gnninja学习 0x01]gn和ninja是什么 ohos_sdk/doc/subsys-build-gn-coding-style-and-best-practice.md GN 语言与操作 一、gn简介 gn是generate ninja的缩写&#xff0c;它是一个元编译系统&#xff08;meta-build system&#xff09;,是ninja的前端&am…

24种设计模式之创建者模式-Java版

软件设计模式是前辈们代码设计经验的总结&#xff0c;可以反复使用。设计模式共分为3大类&#xff0c;创建者模式(6种)、结构型模式(7种)、行为型模式(11种)&#xff0c;一共24种设计模式&#xff0c;软件设计一般需要满足7大基本原则。下面通过5章的学习一起来看看设计模式的魅…

HCIP-BGP实验3

实验步骤 配置IP地址 R1 [r1]int g0/0/0 [r1-GigabitEthernet0/0/0]ip add 12.1.1.1 24 [r1-GigabitEthernet0/0/0]int loopback0 [r1-LoopBack0]ip add 192.168.1.1 24 [r1-LoopBack0]int loopback1 [r1-LoopBack1]ip add 192.168.2.1 24 [r1-LoopBack1]int loopback3 [r1-…

一键操作,批量复制文件夹名称 - 提升效率,从这里开始!

在日常生活和工作中&#xff0c;我们经常需要处理大量的文件夹&#xff0c;有时候需要将它们的名称复制到其他地方。但是&#xff0c;手动一个个复制不仅效率低下&#xff0c;还容易出错。为了解决这个问题&#xff0c;我们推出了一款实用的软件&#xff0c;它能帮助您批量复制…

【Linux】grub命令行引导进入系统

文章目录 1.grub命令行界面2.设置启动目录3.chainloader加载windows启动文件4.启动5.grub命令行无响应办法 在卸载Linux系统后&#xff0c;有的小白可能会忘记删除Linux的EFI引导。这样的话&#xff0c;下次开机时就会自动进入grub的命令行&#xff0c;连windows系统都进不去了…

VS2019+QT5.12.12+opencv+pcl1.12.1 显示点云,运行程序报错-无法定位程序输入点于链接库 如何解决?

之前配置好VS2019QTopencv&#xff0c;做了简单视觉软件&#xff0c;实现了部分功能。昨天下载PCL1.12.1&#xff0c;并参考很多博友的文档配置pcl,编写点云显示代码&#xff0c;程序编译成功&#xff0c;但执行一直报错。 VC目录配置&#xff1a; 添加PCL各个目录下的Lib名…

全球 TOP 20 免费恢复删除的文件/照片的数据恢复软件

如今几乎一切都是数字化的。大多数人选择以数字方式存储所有重要文件、图片和其他数据&#xff0c;因为纯粹是为了方便。虽然数字存储使存储大量数据变得很方便&#xff0c;但它也面临着自己的挑战。 意外删除文件就像将它们存储在硬盘、SD 卡或 USB 驱动器上一样简单。这就是…

计算机导论10-软件与软件工程

文章目录 软件软件的概念软件的定义软件的特征 软件的保护与授权软件的法律保护软件许可 软件工程软件危机软件危机的概念产生软件危机的原因 软件工程的概念软件工程的定义软件工程基本原理软件工程框架软件工程三要素 软件工程方法学软件工程方法软件工程工具软件工程过程 软…

ASP.NET Core列表增删改查

前置要求&#xff1a; 1、 vueelement-plus实现前端静态页面 HelloWorld.vue(src->view) <template><h2>hello界面</h2><div class"tableList"><!-- 搜索框 --><el-row :gutter"20"><el-col :span"8"…