Hadoop（六）生产集群搭建（三）

news/2024/11/15 17:32:16/文章来源:https://www.cnblogs.com/shihongpin/p/18411645

完全分布式运行模式

一、群起集群

1、配置workers

[user@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在文件中添加如下内容：

hadoop102
hadoop103
hadoop104

2、启动集群
（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode

[user@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

（2）Web端查看HDFS的NameNode

  • 输入网址：http://hadoop102:9870
  • 查看HDFS上存储的数据信息

（3）在配置了ResourceManager的节点hadoop103启动YARN

[user@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看YARN的ResourceManager

  • 输入网址：http://hadoop103:8088
  • 查看YARN上运行的Job信息

3、集群基本测试
（1）创建一个目录，查看web端变化

[user@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /wcinput

（2）上传小文件

[user@hadoop102 hadoop-3.1.3]$ hadoop fs -put wcinput/word.txt /wcinput
  • 此时web端能看到上传的文件

  • 打开文件查看内容

  • 可以点击Download进行下载

（3）上传大文件到根目录

[user@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

  • 这个web端只是展示数据，实际数据存储在DataNode

（4）查看文件存储在什么位置

  • 查看HDFS在磁盘存储文件内容
[user@hadoop102 subdir0]$ cat blk_1073741828
SEVENTEEN
SEVENTEEN
HOME
HOT
HEADLINER
ROCK
WITH
YOU
SEVENTEEN
  • 查看HDFS文件存储路径
[user@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-2039324645-192.168.10.102-1726192446950/current/finalized/subdir0/subdir0

（5）执行一个wordcount程序，查看YARN情况

  • 上传数据不涉及到YARN，YARN与资源的调度有关，当涉及MapReduce这类计算任务时才会执行
  • 集群模式运行，路径也得是集群的路径
[user@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput

  • 此时也可以在HDFS web端查看运行结果文件

二、配置历史服务器

  • 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1、配置mapred-site.xml

[user@hadoop102 hadoop-3.1.3]$ cd etc/hadoop/
[user@hadoop102 hadoop]$ vim mapred-site.xml

在文件里添加：

<!-- 历史服务器端地址 -->
<property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value>
</property>

2、分发配置

[user@hadoop102 hadoop]$ xsync mapred-site.xml

3、在hadoop102启动历史服务器

[user@hadoop102 hadoop-3.1.3]$ bin/mapred  --daemon start historyserver
[user@hadoop102 hadoop-3.1.3]$ jps
16785 Jps
16710 JobHistoryServer
11386 NameNode
11515 DataNode
16252 NodeManager

4、查看JobHistory

http://hadoop102:19888/jobhistory

三、配置日志的聚集

1、日志聚集的概念
应用运行完成以后，将程序运行日志信息上传到HDFS系统上

  • 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试
  • 开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryServer。

2、实现过程
（1）配置yarn-site.xml

[user@hadoop102 hadoop]$ vim yarn-site.xml

添加如下内容：

<!-- 开启日志聚集功能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>

（2）分发配置

[user@hadoop102 hadoop]$ xsync yarn-site.xml

（3）关闭NodeManager、ResourceManager和HistoryServer

[user@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[user@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

（4）启动NodeManager、ResourceManage和HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

（5）重新执行一次程序就能看到运行日志详情

四、集群启动/停止方式总结

1、各个模块分开启动/停止（前提是配置SSH）

  • 整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh
  • 整体启动/停止YARN
start-yarn.sh/stop-yarn.sh

2、各个服务组件逐一启动/停止

  • 分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
  • 启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager

五、编写Hadoop集群常用脚本

1、Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[user@hadoop102 ~]$ cd /home/user/bin
[user@hadoop102 bin]$ vim myhadoop.sh
  • 输入如下内容:
#!/bin/bash
if [ $# -lt 1 ]
thenecho "No Args Input..."exit ;
fi
case $1 in
"start")echo " =================== 启动 hadoop 集群 ==================="echo " --------------- 启动 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"echo " --------------- 启动 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")echo " =================== 关闭 hadoop 集群==================="echo " --------------- 关闭 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"echo " --------------- 关闭 yarn ---------------"ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"echo " --------------- 关闭 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)echo "Input Args Error..."
;;
esac
  • 赋予脚本执行权限
[user@hadoop102 bin]$ chmod 777 myhadoop.sh

2、查看三台服务器Java进程脚本：jpsall

[user@hadoop102 ~]$ cd /home/user/bin
[user@hadoop102 bin]$ vim jpsall
  • 输入如下内容：
#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
doecho =============== $host ===============ssh $host jps 
done
  • 赋予脚本执行权限
[user@hadoop102 bin]$ chmod 777 jpsall

3、分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用

[user@hadoop102 ~]$ xsync /home/user/bin/

六、常用端口号说明

端口名称 Hadoop2.x Hadoop3.x
NameNode内部通信端口 8020 / 9000 8020 / 9000/9820
NameNode HTTP UI 50070 9870
MapReduce 查看执行任务端口 8088 8088
历史服务器通信端口 19888 1988

七、集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准
1、需求
找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

2、虚拟机联网，会定期更新时间，所以可以不用进行集群时间同步

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/796587.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

延迟退休！我们又可以愉快的打工了

延迟退休！我们又可以愉快的打工了

延迟退休！ 我们又可以愉快的打工了希望可以活到办理退休那天🐸本文来自博客园，作者：bigroc，转载请注明原文链接：https://www.cnblogs.com/bigroc/p/18412267blog：http://www.bigroc.cn博客园：https://www.cnblogs.com/bigroc
阅读更多...
面试官：线程池遇到未处理的异常会崩溃吗？

面试官：线程池遇到未处理的异常会崩溃吗？

首先，这个问题考察的是你对线程池 execute 方法和 submit 方法的理解，在 Java 线程池的使用中，我们可以通过 execute 方法或 submit 方法给线程池添加任务，但如果线程池中的程序在执行时，遇到了未处理的异常会怎么呢？接下来我们一起来看。 1.execute方法 execute 方法用于…
阅读更多...
保持使用全局 HttpClient，但确保不同请求的 HttpRequestMessage 独立

保持使用全局 HttpClient，但确保不同请求的 HttpRequestMessage 独立

保持使用全局 HttpClient，但确保不同请求的 HttpRequestMessage 独立这是推荐的最佳实践，因为 HttpClient 是设计为可重用的，你可以使用独立的 HttpRequestMessage 来确保每个请求有独立的请求头，而不影响其他请求。private static readonly HttpClient client = new HttpC…
阅读更多...
清理C盘缓存，超简单的清理C盘缓存清理方法

清理C盘缓存，超简单的清理C盘缓存清理方法

清理C盘缓存是优化Windows系统性能的重要步骤，以下是一些超简单的清理C盘缓存的方法：使用磁盘清理工具 步骤： 右键点击C盘（系统盘），选择“属性”。 在C盘属性窗口中，点击“磁盘清理”按钮。 系统会分析C盘上的文件，并列出可以删除的文件类型。 勾选你想要删除的文件类型…
阅读更多...
Pytorch安装(GPU_Windows，安装过CPU版的想再次安装GPU)

Pytorch安装(GPU_Windows，安装过CPU版的想再次安装GPU)

看过我之前那篇【Pytorch安装 CPU版本】的朋友应该知道，Pytorch安装步骤很复杂。但是其实弄清楚整个逻辑会简单很多，本篇为PytorchGPU安装。如果有朋友跟着我之前的帖子安装过的，想再安装一个GPU的，可以跟着我一起安装一下。我会把我遇到的坑以及经验都给大家分享一下。 Py…
阅读更多...
STM32F103C8T6软件安装

STM32F103C8T6软件安装

本教程参考b站视频教程（STM32入门教程-2023版 细致讲解 中文字幕，第三集P3软件安装），将从一下几个方面进行安装： 1.安装Keil5 MDK软件 2.安装器件支持包 3.软件注册 4.安装ST-LINK驱动 5.安装USB转串口驱动 一、安装Keil5 MDK软件 找到软件的下载链接：https://jiangxieke…
阅读更多...
基于pikachu靶场的水平越权详解

基于pikachu靶场的水平越权详解

1. pikachu靶场搭建 如果你在之前已经使用过phpstudy了，参考pikachu 靶场环境搭建 如果没有，参考pikachu 靶场搭建 如果在靶场搭建中遇到一些问题，参考皮卡丘靶场搭建遇到的问题大全 2. 水平越权简介 水平越权是指攻击者通过获取与自己拥有相同权限级别的其他用户的访问权限…
阅读更多...
如何实现两个机器时间同步-计算rtt+offset

如何实现两个机器时间同步-计算rtt+offset

背景： 之前的项目大致可以分为两层，逻辑层和设备层，运行在同一个主机上。最近在着手搭建一个仿真平台，在另外一台主机上部署机器人机器相关硬件设备，比如陀螺仪，轮机，雷达等。 由于两台主机的时间戳不同步问题，导致定位系统有问题，为此需要实现两个主机的时间同步。 具…
阅读更多...
C# 操作xml(转)

C# 操作xml(转)

四、xml 1、概念：XML可扩展的标记语言类似于HTML XML:存储数据 注意: XM工是严格区分大小写的。 XML标签也是成对出现的。 2、通过代码来创建xML文档 1、引用命名空间 using System.Xml; 2、创建XML文档对象 XmlDocument doc = new XmlDocument(); 3、创建第一行描述信息，并且…
阅读更多...
解决 Intellij IDEA docker 插件查看日志中文日志信息乱码问题

解决 Intellij IDEA docker 插件查看日志中文日志信息乱码问题

阅读更多...
时光流年(7)再会长江-竹内亮-仁青茨姆

时光流年(7)再会长江-竹内亮-仁青茨姆

阅读更多...
时光流年(7)再会长江-竹内亮

时光流年(7)再会长江-竹内亮

阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023