CentOS7 Hadoop3.3.0 安装与配置

一、安装JDK

1、创建文件夹tools和training用于存放压缩包和解压使用，tools存放压缩包，training用于解压后安装jdk和hadoop的路径。

1）回到路径为 / 的位置
cd /

在这里插入图片描述

2) 创建 tools 和 training
mkdir tools

mkdir training
3) 进入tools文件夹
cd tools

在这里插入图片描述

4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的压缩包直接鼠标拖入进去，拖的是tar.gz压缩包，不要在电脑里面解压过了！，拖的时候有进度条，上传完后如图所示

在这里插入图片描述

2、JDK解压

1) 在控制台输入以下命令，将文件解压至training文件夹，如图所示，路径在tools里面，会有一堆进度条，等他运行停止以后进行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz  -C /training/

在这里插入图片描述

2) 查看mobaxterm左边，点击文件夹进到training里面查看解压情况,有这个文件夹了就说明解压成功了。

在这里插入图片描述

3、JDK安装

1）控制台输入此命令回车进行环境配置
 vi ~/.bash_profile

在这里插入图片描述

2) 进入文件后是不可编辑的阅读状态，使用键盘上下左右键将光标移动到蓝色的export PATH 的H上面，按一下电脑的 i 键盘，进入编辑模式，按右键挪到H的后面，然后回车两次，在进行下一步。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3) 在文件中添加此配置，直接复制粘贴，若java版本不是从我这下的，和我不同，请自行在配置里更改版本编号144，具体如图
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

在这里插入图片描述

4) 按一下esc退出编辑模式

在这里插入图片描述

5) 输入 冒号wq，然后回车, 不可复制，直接键盘自己输，此操作是保存文件并退出，w是保存，q是退出，后面不会讲这么细，忘记可以翻回来看，如果不下心改错了，不想保存退出，则使用 :wq! ,就是不保存退出。
:wq

在这里插入图片描述
在这里插入图片描述

6) 环境变量更改以后，需要让他生效，所以输入一下命令让环境变量生效。
source ~/.bash_profile

在这里插入图片描述

7) 输入此命令，检查java是否安装完毕，如果弹出对应版本信息则成功安装java。
 java -version

在这里插入图片描述

二、安装Hadoop

1、关闭centos的防火墙，不然影响后面hadoop远程连接

systemctl stop firewalld.service

在这里插入图片描述

systemctl disable firewalld.service

在这里插入图片描述

2、更改主机名为niit和我一样，方便后续文件直接复制粘贴不用更改，更改后不会马上显示，关掉mobaxterm重新连接一下就好了。

 hostnamectl --static set-hostname niit

3、配置映射关系

1）进入centos的hosts映射文件
 vi /etc/hosts
2）添加ip编号 空格 主机名

（每个人ip都不一样，自己用自己的）
具体怎么添加的参考上面的详细环境变量文件更改和保存操作，一样的。

192.168.163.137 niit

在这里插入图片描述

3）：wq保存退出
:wq

4、配置另一个映射文件

1）进入文件
vi /etc/sysconfig/network
2）添加主机名在这个文件里
niit

在这里插入图片描述

3) :wq 保存退出
:wq

5、进入/tools文件夹

cd /tools

6、解压hadoop压缩包到training文件夹

tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/

在这里插入图片描述
在这里插入图片描述

7、Hadoop环境配置

1）再次进入环境变量配置文件
vi ~/.bash_profile
2）添加如下配置,别动到之前的java,在后面换行添加就行
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

3）：wq保存退出
4）生效环境变量
source ~/.bash_profile

在这里插入图片描述

5）输入hdfs检查hadoop是否安装成功,如果有这些东西出来了，说明成功安装，接下来去进行hadoop配置文件的配置。
hdfs

在这里插入图片描述

三、Hadoop免密登录配置

1、创建免密登录数据存放文件

1）在hadoop安装路径下创建一个tmp文件夹用于存放配置数据
mkdir /training/hadoop-3.3.0/tmp

在这里插入图片描述

2、免密配置

1）进行hadoop ssh免密配置

a、输入以下代码，回车四次，什么都不要输入，快速回车4次，然后你会得到一个密码图形，每个人不一样，不用看我的图，有图形就好了

ssh-keygen -t rsa

在这里插入图片描述
在这里插入图片描述

b、输入以下命令

cd ~/.ssh/

在这里插入图片描述
c、输入以下命令（niit是主机名，和我不一样得换自己的）

具体如图所示

 ssh-copy-id -i id_rsa.pub root@niit

在这里插入图片描述

四、Hadoop5个配置文件设置

1、进入Hadoop配置文件地址

cd /training/hadoop-3.3.0/etc/hadoop/

2、第一个配置文件：hadoop-env.sh，用于设置jdk的

1）输入命令进入编辑
vi hadoop-env.sh

在这里插入图片描述

2）进去后长这样

在这里插入图片描述

3）往下滑动鼠标找到

在这里插入图片描述

4）进入编辑模式，在这一行下面一行添加此内容
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在这里插入图片描述

5）:wq保存退出

3、第二个配置文件：hdfs-site.xml，用于设置权限和数据块备份数量

1）进入文件
vi hdfs-site.xml

在这里插入图片描述

2）进去长这样，在两个configuration中间添加配置

在这里插入图片描述

3）进入编辑模式添加内容
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.permissions</name><value>false</value>
</property>

在这里插入图片描述

4）：wq保存退出

4、第三个配置文件：core-site.xml，用于设置主节点和临时文件夹

1）进入文件
vi core-site.xml

在这里插入图片描述

2）进去长这样，在configuration中间加

在这里插入图片描述

3）添加内容，niit是主机名，不一样记得改，8020不用动
<property><name>fs.defaultFS</name><value>hdfs://niit:8020</value>
</property>			
<property><name>hadoop.tmp.dir</name><value>/training/hadoop-3.3.0/tmp</value>
</property>

在这里插入图片描述

4）：wq保存退出

5、第四个配置文件：mapred-site.xml，用于设置mapreduce的运行环境

1）进入文件
vi mapred-site.xml

在这里插入图片描述

2）进去长这样，在configuration中间加

在这里插入图片描述

3）添加内容
<property>	<name>mapreduce.framework.name</name><value>yarn</value>
</property>

在这里插入图片描述

6、第五个配置文件：yarn-site.xml，用于设置yarn

1）进入文件
vi yarn-site.xml

在这里插入图片描述

2）进入长这样，在箭头处添加

在这里插入图片描述

3）添加内容
<property><name>yarn.resourcemanager.hostname</name><value>niit</value>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>

在这里插入图片描述

4）：wq保存退出

五、Hadoop格式化主节点

hdfs namenode -format

#注意: 如果格式化成功，你可以看到如下信息:
common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.

在这里插入图片描述

六、Hadoop启动与关闭

1、启动Hadoop

1）启动命令
start-all.sh

在这里插入图片描述

2）是否启动成功进程检查
jps

成功会有5个进程，1个jps进程
在这里插入图片描述
如果成功看到5个hadoop进程恭喜你成功了，只要少了任何一个进程说明上述所有步骤一点点小问题都会有影响，从头检查一遍。

2、关闭Hadoop

stop-all.sh

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/97712.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SpringCloud（35）：Nacos 服务发现快速入门

SpringCloud（35）：Nacos 服务发现快速入门

本小节，我们将演示如何使用Spring Cloud Alibaba Nacos Discovery为Spring cloud 应用程序与 Nacos 的无缝集成。 通过一些原生的spring cloud注解，我们可以快速来实现Spring cloud微服务的服务发现机制，并使用Nacos Server作为服务发现中心，统一管理所有微服务。 1 Spring…
阅读更多...
运维Shell脚本小试牛刀(六): Shell中的函数|本地变量

运维Shell脚本小试牛刀(六): Shell中的函数|本地变量

运维Shell脚本小试牛刀(一) 运维Shell脚本小试牛刀(二) 运维Shell脚本小试牛刀(三)::$(cd $(dirname $0)&#xff1b; pwd)命令详解 运维Shell脚本小试牛刀(四): 多层嵌套if...elif...elif....else fi_蜗牛杨哥的博客-CSDN博客 Cenos7安装小火车程序动画 运维Shell脚本小试…
阅读更多...
本地电脑搭建Web服务器建立一个属于自己的网页该如何操作呢？

本地电脑搭建Web服务器建立一个属于自己的网页该如何操作呢？

本地电脑搭建Web服务器并用cpolar发布至公网访问 文章目录 本地电脑搭建Web服务器并用cpolar发布至公网访问前言1. 首先在电脑安装PHPStudy、WordPress、cpolar2. 安装cpolar&#xff0c;进入Web-UI界面3. 安装wordpress4. 进入wordpress网页安装程序5. 利用cpolar建立的内网穿…
阅读更多...
python安装wind10

python安装wind10

一、下载&#xff1a; 官网:Python Releases for Windows | Python.org 二、安装 双击下载的安装程序文件。这将打开安装向导。安装界面图下方两个框的" Use admin privileges wheninstalling py. exe和” Add python. exe to PATH"都要勾选,一定要勾选!一定要勾选…
阅读更多...
docker save docker export 区别

docker save docker export 区别

docker save用于导出镜像到文件&#xff0c;包含镜像元数据和历史信息&#xff1b;docker export用于将当前容器状态导出至文件&#xff0c;类似快照&#xff0c;所以不包含元数据及历史信息&#xff0c;体积更小&#xff0c;此外从容器快照导入时也可以重新指定标签和元数据信…
阅读更多...
Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training

Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training

诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类 论文全名&#xff1a;Improving Language Understanding by Generative Pre-Training 论文下载地址&#xff1a;https://www.mikecaptain.com/resources/pdf/GPT-1.pdf 本文是2018年OpenAI的工作&#xff0c…
阅读更多...
软件设计师学习笔记8-操作系统+进程

软件设计师学习笔记8-操作系统+进程

目录 1.操作系统 1.1操作系统层次图 1.2操作系统的作用 1.3操作系统的任务 2.特殊的操作系统 3.进程 3.1进程的概念 3.2进程与程序 3.3进程与线程 3.4进程的状态 3.4.1三态模型 3.4.2基于三态模型的五态模型 1.操作系统 1.1操作系统层次图 该图片来自希赛软考 1.…
阅读更多...
【python】可视化

【python】可视化

柱状图 matplotlib之pyplot模块之柱状图&#xff08;bar()&#xff1a;基础参数、外观参数&#xff09;_plt.bar_mighty13的博客-CSDN博客 bar()的基础参数如下&#xff1a; x&#xff1a;柱子在x轴上的坐标。浮点数或类数组结构。注意x可以为字符串数组&#xff01; height&…
阅读更多...
无需公网IP，在家SSH远程连接公司内网服务器「cpolar内网穿透」

无需公网IP，在家SSH远程连接公司内网服务器「cpolar内网穿透」

文章目录 1. Linux CentOS安装cpolar2. 创建TCP隧道3. 随机地址公网远程连接4. 固定TCP地址5. 使用固定公网TCP地址SSH远程 本次教程我们来实现如何在外公网环境下&#xff0c;SSH远程连接家里/公司的Linux CentOS服务器&#xff0c;无需公网IP&#xff0c;也不需要设置路由器。…
阅读更多...
SD卡中了蠕虫病毒怎么办？清除病毒以及数据恢复方法

SD卡中了蠕虫病毒怎么办？清除病毒以及数据恢复方法

蠕虫病毒是近年来非常流行的病毒之一&#xff0c;它主要通过U盘、网络等途径进行传播。如果你的SD卡不幸感染了蠕虫病毒&#xff0c;可能会导致数据丢失。那么&#xff0c;如何进行数据恢复呢&#xff1f;同时&#xff0c;当SD卡中感染了蠕虫病毒时&#xff0c;我们应该采取什么…
阅读更多...
java八股文面试[多线程]——CompletableFuture

java八股文面试[多线程]——CompletableFuture

1 CompletableFuture介绍 平时多线程开发一般就是使用Runnable&#xff0c;Callable&#xff0c;Thread&#xff0c;FutureTask&#xff0c;ThreadPoolExecutor这些内容和并发编程息息相关。相对来对来说成本都不高&#xff0c;多多使用是可以熟悉这些内容。这些内容组合在一起…
阅读更多...
js获得相对路径文件，并上传到服务器

js获得相对路径文件，并上传到服务器

如何通过js获得相对路径文件 已知一个相对路径文件&#xff0c;如何使用js将该文件读取为File格式&#xff0c;最后上传到服务器中呢。 1.最简单的解决方案——fetch 代码 import ./index.scss// js通过相对路径获取文件 function FetchGetLocalFile() {const fetchLocalFile …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023