基于CentOS-7搭建hadoop3.3.6大数据集群(保姆级教程)

目录

安装虚拟机

为hadoop用户添加权限

关闭防火墙

修改主机名以及ip地址映射

配置ip

连接xshell ，以hadoop用户登录

创建目录并将该文件夹权限赋予hadoop用户

安装配置jdk

关闭虚拟机，克隆其他两个节点

修改主机名和ip地址

配置免密登录

安装配置hadoop

配置文件修改

集群初始化

查看进程和web界面

安装虚拟机

接下来按照默认推荐无脑下一步，到磁盘容量这一步需要修改，容量看自己或老师要求，这个并不会实际占用这么多电脑磁盘空间

点击开启此虚拟机等待安装

等很久没反应一般是需要按 Enter键 确认

进入安装界面

等待安装......安装好后重启即可

切换为命令行模式

linux图形化界面和字符界面的转换_linux图形界面切换到字符界面命令-CSDN博客

为hadoop用户添加权限

vim   /etc/sudoers

关闭防火墙

注：（root用户）

systemctl stop firewalld 关闭

systemctl disable firewalld 取消开机自启动

systemctl status firewalld 检查是否已关闭

修改主机名以及ip地址映射

主机名根据自己需要修改，ip地址后的就是映射的主机名

配置ip

点击虚拟网络编辑器，将网段修改为我们需要的网段

再修改配置文件/etc/sysconf ig/network-scripts/ifcfg-ens33

vim /etc/sysconf ig/network-scripts/ifcfg-ens33

重启网络服务：service network restart 

然后重启reboot （主机名用配置文件修改需要重启才会生效）

连接xshell ，以hadoop用户登录

创建目录并将该文件夹权限赋予hadoop用户

[hadoop@ly01 ~]$ sudo mkdir /opt/bigdata
[hadoop@ly01 ~]$ sudo chown hadoop:hadoop /opt/bigdata

切换到该目录

[hadoop@ly01 ~]$ cd /opt/bigdata/

安装配置jdk

卸载OpenJDK、安装新版JDK、配置JDK

先用rpm -qa | grep java查看java-openjdk版本

根据上述情况，卸载1.7.0、1.8.0即可，不同镜像会略有不同

sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64sudo rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64sudo rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

rz上传jdk文件

[hadoop@ly01 bigdata]$ rz[hadoop@ly01 bigdata]$ ll
total 135512
-rw-r--r--. 1 hadoop hadoop 138762230 Jul 28  2023 jdk-8u361-linux-x64.tar.gz

解压并重命名为jdk

[hadoop@ly01 bigdata]$ tar -zxvf jdk-8u361-linux-x64.tar.gz 
[hadoop@ly01 bigdata]$ mv jdk1.8.0_361 jdk
[hadoop@ly01 bigdata]$ ll
total 135516
drwxrwxr-x. 8 hadoop hadoop      4096 May 16 00:05 jdk

配置环境变量

 vim /etc/profile

在最后添加以下内容

export JAVA_HOME=/opt/bigdata/jdk
export PATH=$PATH:$JAVA_HOME/bin

使修改后配置文件生效 

[hadoop@ly01 bigdata]$ source /etc/profile

 检查是否安装成功

[hadoop@ly01 bigdata]$ java -version
java version "1.8.0_361"
Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)

关闭虚拟机，克隆其他两个节点

修改主机名和ip地址

节点2和3都需修改，修改之后重启reboot

sudo vim /etc/hostname 

vim /etc/sysconf ig/network-scripts/ifcfg-ens33

配置免密登录

重启之后通过xshell连接三个节点，均以hadoop用户登录

在每个节点都执行以下命令

ssh-keygen  -t  rsa  （连续三次回车）
ssh-copy-id  ly01   （输入yes,hadoop用户的密码）
ssh-copy-id  ly02    （输入yes,hadoop用户的密码）
ssh-copy-id  ly03    （输入yes,hadoop用户的密码）

可在节点1ssh 连接其他节点测试是否成功

安装配置hadoop

切换目录，rz上传hadoop文件并解压,重命名

[hadoop@ly01 ~]$ cd /opt/bigdata/
[hadoop@ly01 bigdata]$ rz[hadoop@ly01 bigdata]$ tar -zxvf hadoop-3.3.6.tar.gz
[hadoop@ly01 bigdata]$ mv hadoop-3.3.6 hadoop

 配置环境变量

[hadoop@ly01 bigdata]$ sudo vim /etc/profile#修改为以下内容
export JAVA_HOME=/opt/bigdata/jdk
export HADOOP_HOME=/opt/bigdata/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin#生效
[hadoop@ly01 bigdata]$ source /etc/profile

配置文件修改

将hadoop-env.sh mapred-env.sh yarn-env.sh 加入JAVA_HOME变量

[hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/hadoop-env.sh
[hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/mapred-env.sh
[hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/yarn-env.sh

切换目录

[hadoop@ly01 bigdata]$ cd /opt/bigdata/hadoop/etc/hadoop
[hadoop@ly01 hadoop]$

节点名称按照自己的修改，文件目录不一样的话也要修改！！！

 core-site.xml修改

<configuration><property><name>fs.defaultFS</name><value>hdfs://ly01:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/opt/bigdata/hadoop/tmp</value></property>
</configuration>

 hdfs-site.xml修改

<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/bigdata/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/bigdata/hadoop/tmp/dfs/data</value></property>
</configuration>

 mapred-site.xml修改

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

 yarn-site.xml修改

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>ly01</value></property>
</configuration>

 workers修改

#删除原有内容，添加节点名称
ly01
ly02
ly03

 将节点1上的hadoop文件夹拷贝到另外节点2、节点3上、

[hadoop@ly01 hadoop]$ scp -r /opt/bigdata/hadoop/ hadoop@ly02:/opt/bigdata/
[hadoop@ly01 hadoop]$ scp -r /opt/bigdata/hadoop/ hadoop@ly03:/opt/bigdata/

将节点1上的profile文件拷贝到另外节点2、节点3上,并到相应的机器上执行source

注：输入yes后输入root用户密码即可，如下

[hadoop@ly01 hadoop]$ sudo scp /etc/profile root@ly02:/etc
The authenticity of host 'ly02 (192.168.100.101)' can't be established.
ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ly02,192.168.100.101' (ECDSA) to the list of known hosts.
root@ly02's password: 
profile                                                                                                                                                             100% 1961     1.1MB/s   00:00 
[hadoop@ly01 hadoop]$ sudo scp /etc/profile root@ly03:/etc
The authenticity of host 'ly03 (192.168.100.102)' can't be established.
ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ly03,192.168.100.102' (ECDSA) to the list of known hosts.
root@ly03's password: 
profile                                                                                                                                                             100% 1961     1.0MB/s   00:00    
[hadoop@ly01 hadoop]$ 

#在节点2执行
[hadoop@ly02 ~]$ source /etc/profile
#在节点3执行
[hadoop@ly03 ~]$ source /etc/profile

集群初始化

hadoop namenode -format

启动hadoop集群

start-yarn.sh
start-dfs.sh

 jps查看进程

节点1（主节点）

[hadoop@ly01 hadoop]$ jps
2567 ResourceManager
3498 DataNode
3661 SecondaryNameNode
3390 NameNode
4334 NodeManager
4415 Jps

从节点（都是三个进程）

[hadoop@ly02 hadoop]$ jps
2761 Jps
2698 NodeManager
2493 DataNode

查看进程和web界面

192.168.100.100:8088

192.168.100.100:9870

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/704223.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

MT3038 植发

MT3038 植发

思路&#xff1a; 有两个点可以取头发&#xff0c;每个头发寿命不同。 先看点(0,0)&#xff0c;按寿命由小到大排序&#xff08;先考虑寿命短的可以移植到哪里&#xff09;。 (0,0)点头发放置的位置应该让(0,m)点的头发可以尽可能多的放置&#xff08;例如(0,0)点有一根头发…
阅读更多...
JavaScript-输入输出语句

JavaScript-输入输出语句

输出语句 document.write( 输出的内容 ) 语法&#xff1a;document.write( 输出的内容) 作用&#xff1a;内容会显示在网页上 如果输出的内容是标签&#xff0c;也会被解析为网页元素 代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head>&…
阅读更多...
六种恢复已删除PDF文件的方法及实用方法全解析

六种恢复已删除PDF文件的方法及实用方法全解析

在数字化时代PDF文件已成为我们日常工作中不可或缺的一部分。有时我们可能会因误操作或系统故障而不小心删除Excel、Word或PPT文档&#xff0c;特别是重要的PDF文件。此时如何高效地恢复这些文件就显得尤为重要。今天将为大家介绍六种恢复已删除PDF文件恢复方法&#xff0c;继续…
阅读更多...
Day28 代码随想录打卡|栈与队列篇---逆波兰表达式求值

Day28 代码随想录打卡|栈与队列篇---逆波兰表达式求值

题目&#xff08;leecode T150&#xff09;&#xff1a; 给你一个字符串数组 tokens &#xff0c;表示一个根据 逆波兰表示法 表示的算术表达式。 请你计算该表达式。返回一个表示表达式值的整数。 注意&#xff1a; 有效的算符为 、-、* 和 / 。每个操作数&#xff08;运算…
阅读更多...
数据结构——二叉树知识点详解！

数据结构——二叉树知识点详解！

引言&#xff1a;本篇博客将详细介绍到数据结构中的又一位大将——二叉树。它也是我们目前学到的第一个非线性的数据结构。并且本章将学到的概念居多&#xff0c;希望大家可以理解并牢记。 更多有关C语言和数据结构知识详解可前往个人主页&#xff1a;计信猫 目录 一&#xff0…
阅读更多...
（论文笔记）TABDDPM：使用扩散模型对表格数据进行建模

（论文笔记）TABDDPM：使用扩散模型对表格数据进行建模

了解diffusion model&#xff1a;什么是diffusion model? 它为什么好用&#xff1f; - 知乎 摘要 去噪扩散概率模型目前正成为许多重要数据模式生成建模的主要范式。扩散模型在计算机视觉社区中最为流行&#xff0c;最近也在其他领域引起了一些关注&#xff0c;包括语音、NLP…
阅读更多...
首次曝光！我喂了半年主食冻干，喵状态真滴顶~

首次曝光！我喂了半年主食冻干，喵状态真滴顶~

科学养猫理念的推广&#xff0c;使得主食冻干喂养越来越受到养猫者的欢迎。主食冻干不仅符合猫咪的自然饮食习惯&#xff0c;还能提供丰富的营养&#xff0c;有助于保持猫咪的口腔和消化系统健康。我家喂了半年主食冻干&#xff0c;猫咪的状态是真的不一样了&#xff01; 然而…
阅读更多...
knife4j在线文档 测试框架

knife4j在线文档 测试框架

一、Knife4j介绍&#xff1a; 1.1.介绍&#xff1a; Knife4j是基于SpringBoot构建的一个文档生成工具&#xff0c;它可以让开发者为我们的应用生成在线API文档&#xff1b; 目的是可以更加方便的基于API文档进行测试。 生成的文档还可以导出&#xff0c;然后给到前端开发团队…
阅读更多...
Zookeeper and RPC dubbo

Zookeeper and RPC dubbo

javaguide zookeeper面试题 Zookeeper 啥是Zookeeper干啥的 ZooKeeper 可以被用作注册中心、分布式锁&#xff1b; ZooKeeper 是 Hadoop 生态系统的一员&#xff1b; 构建 ZooKeeper 集群的时候&#xff0c;使用的服务器最好是奇数台。 启动ZK 下载安装解压 不过多赘述 我的…
阅读更多...
图解堆排序【一眼看穿逻辑思路】

图解堆排序【一眼看穿逻辑思路】

P. S.&#xff1a;以下代码均在VS2019环境下测试&#xff0c;不代表所有编译器均可通过。 P. S.&#xff1a;测试代码均未展示头文件stdio.h的声明&#xff0c;使用时请自行添加。 目录 1、堆的概念2、实现堆排序前的准备工作3、堆排序的思路3.1 第一步3.2 第二步 4、结语 1、…
阅读更多...
C++容器：list（双向链表）

C++容器：list（双向链表）

一丶list介绍 C中的list容器底层确实是以双向链表的形式实现的。 list容器是C标准模板库&#xff08;STL&#xff09;中的一部分&#xff0c;它提供了对列表数据结构的实现。 双向链表结构&#xff1a;list容器的每个元素都是通过指针链接在一起的&#xff0c;每个元素都包含…
阅读更多...
2024年中国国际厨卫家居展览会（上海KIB厨卫展）

2024年中国国际厨卫家居展览会（上海KIB厨卫展）

中国国际厨卫家居博览会&#xff08;KIB&#xff09;由中国五金制品协会、中国国际贸易促进委员会轻工行业分会、北京奥维云网大数据科技股份有限公司主办。从最初的“中国国际橱柜、厨房卫浴产品与技术博览会(CIKB&#xff09;”&#xff0c;到2001年与中国国际五金展&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023