Hadoop集群模式的搭建之四:运行Hadoop集群

news/2024/11/15 12:53:55/文章来源:https://www.cnblogs.com/cs-js/p/18202824

格式化NameNode

当第一次启动HDFS时要进行格式化,将NameNode上的数据清零,否则会缺失DataNode。以后启动无需再格式化,只要运行过Hadoop集群,其工作目录(/usr/local/src/hadoop/tmp)中就会有数据。如果需要重新格式化,则在重新格式化之前一定要先删除工作目录下的数据,否则格式化时会出问题,并且缺失DataNode进程。
在master节点上进行格式化,执行以下命令

hdfs namenode -format

格式化的过程比较长,一般需要1Min,该过程会在屏幕上不断地刷新。等待格式化完成后,Hadoop3.1.4版本会提示格式化成功信息。

启动和关闭Hadoop集群

针对Hadoop集群的启动,需要启动HDFS集群YARN集群两个框架,启动方式可以逐个启动,也可以使用脚本一键启动。

1. 逐个启动

在master节点上启动HDFS NameNode进程、YARN ResourceManager进程和HistoryServer进程。启动后可以使用"jps"命令查看进程,执行以下命令

hadoop-daemon.sh start namenode
yarn-daemon.sh start resourcemanager
mr-jobhistory-daemon.sh start historyserver
jps

使用jps命令查看NameNode 和ResourceManager两个进程,如下图
image

在slave节点中启HDFS DataNode进程、YARN NodeManager进程,执行以下命令

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
jps

启动后可以使用jps命令查看进程,slave1和slave2情况以下,如下图
image

2.脚本一键启动

执行以下命令

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
jps

以上是启动进程的各种方法,Hadoop集群的关闭和启动的顺序是相反的,即倒序关闭。如果要关闭相应的进程,则执行以下命令,先关闭HistoryServer进程,然后关闭YARN进程,最后关闭HDFS。

mr-jobhistory-daemon.sh start historyserver
start-yarn.sh
start-dfs.sh

使用浏览器查看节点状态

Hadoop集群启动后,通过Web页面可以方便地进行集群的管理和查看,只需在本地操作系统的浏览器的地址栏中输入集群服务器的节点名称(或ip地址)和相应的端口号。在浏览器中输入http://master:9870,如图所示
image

在浏览器中输入http://master:8088, 进入页面,可以查看SecondaryNameNode信息,如下图
image

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/709452.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

3.13-主题讨论

答案: 作为创始人,将产品的远景转化为需求,并确保在用户行为改变的情况下保持产品的愿景,需要以下步骤:分析和定义需求:首先,对产品的远景进行详细分析,确定在10年后产品要实现的目标和愿景。然后,将这些目标和愿景转化为具体的功能和特性需求,以确保产品能够满足用户…

zookeeper控制台

最近在使用ElasticJob的时候遇到了 elasticjob conflict jobs 的问题,就想着能不能把这个job从zk中剔除。 ElasticJob的注册中心是zk,就想通过控制台把那个定时任务给移除掉。 zk控制台下载(https://github.com/DeemOpen/zkui.git),用idea打开修改下config.cfg文件中zk服务的…

“现代汽车中国前瞻软件赛杯” 牛客周赛 Round 43 D、E

那时候吃了饭后,剩下25分钟,我就把A-D都过了一遍,E不够时间。D 对于x~y这个长度为k的序列:对于1~k每个数,它出现的数目。 从x~y,到x+1~y:如果一个数出现的数目从0 -> 1,出现元素数目+1;如果一个数出现的数目从1 -> 0,出现元素数目-1。 记录所有出现元素数目=k的…

常回家看看之off_by_one

❗off_by_one这个漏洞比较特殊,它不像上一期的堆溢出,可以溢出很多字节,它只能溢出一个字节,在栈里面也可以通过这个漏洞修改返回地址什么的,在堆里面我们主要利用它来修改堆块的大小,形成fake_chunk也就可以进行堆的重叠,在64位的时候如果申请0x18,0x28,0x38这样的堆…

LLM实战:当网页爬虫集成gpt3.5

本文主要是通过Scrapegraph-ai集成gpt3.5实现一个简单的网页爬取并解析的demo应用,其中涉及到gpt3.5免费申请,Scrapegraph-ai底层原理简介,demo应用源码等。1. 背景 最近本qiang~关注了一个开源项目Scrapegraph-ai,是关于网页爬虫结合LLM的项目,所以想一探究竟,毕竟当下及…

使用RAG-GPT集成智谱AI、DeepSeek快速搭建OpenAI Cookbook智能客服

本文介绍了如何通过RAG-GPT集成智谱AI和DeepSeek,快速搭建OpenAI Cookbook智能客服系统。包括下载源代码、配置环境变量、启动服务、体验聊天效果、将聊天机器人嵌入网站等步骤。RAG-GPT具备开源免费、易于部署、功能丰富的特点,为LLM在特定领域的应用提供企业级解决方案。使…

openpyxl Worksheet

worksheet 说明 Worksheet 代表一个 Excel 工作表。 worksheet 初始化 from openpyxl import Workbook# 创建一个新的Excel工作簿 wb = Workbook()# 获取第一个工作表 worksheet = wb.active# 保存工作簿到指定的文件名 wb.save("execl_test.xlsx")# 关闭工作簿 wb.c…

C#使用开源操作库MiniExcel操作Excel

简介 MiniExcel简单、高效避免OOM的.NET处理Excel查、写、填充数据工具。 目前主流框架大多需要将数据全载入到内存方便操作,但这会导致内存消耗问题,MiniExcel 尝试以 Stream 角度写底层算法逻辑,能让原本1000多MB占用降低到几MB,避免内存不够情况。特点 低内存耗用,避免…

Django性能优化:提升加载速度

title: Django性能优化:提升加载速度 date: 2024/5/20 20:16:28 updated: 2024/5/20 20:16:28 categories:后端开发tags:缓存策略 HTTP请求 DNS查询 CDN分发 前端优化 服务器响应 浏览器缓存第一章:Django性能优化概述 1.1 性能优化的意义 性能优化是Web开发中的关键环节,它…

crypto--rsa基础(1)

在ctf---crypto中rsa应该是最常见也是现在最容易考到的密码题型吧,这篇博客就简单的介绍一下rsa和rsa的一些基本的攻击手法. 对于我们这些萌新来说要做rsa的话也必须先掌握四大基本公式就是欧拉函数,费马小定理,中国剩余定理,威尔逊定理,现在就先基本了解一下就能够做题了…

Python/Go 面试题目整理

目录一、Python 基础知识1.1 可变与不可变数据类型1.8 深浅拷贝1.2 PEP8 编程规范1.3 匿名函数1.4 装饰器1.5 迭代器1.6 生成器1.7 面向对象编程思想1.7.1 Python 中的__new__和__init__的区别1.7.2 反射1.7.3 面向对象1.7.4 鸭子类型1.7.5 你对Python的继承怎么看?1.9 GC 机制…