start-all.sh脚本启动Hadoop的NameNode、DataNode、ResourceManager和NodeManager失败

news/2024/12/28 5:42:13/文章来源:https://www.cnblogs.com/yuanxinglan/p/18528306
今天在做大数据实验时,在终端,start-all.sh脚本启动Hadoop的NameNode、DataNode、ResourceManager和NodeManager失败,出现下面的错误信息:

[root@node1 hadoop]# ./sbin/start-all.sh
Starting namenodes on [node1]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [node1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.
ERROR: Attempting to operate on yarn proxyserver as root
ERROR: but there is no YARN_PROXYSERVER_USER defined. Aborting operation.

 

原因是Hadoop不允许以root用户身份启动Hadoop服务,因为Hadoop需要特定的环境变量来指定运行服务的用户。

我是这样解决的:

1、在终端输入以下命令来编辑 /etc/profile 文件:

sudo vi /etc/profile

2、按 i 键进入插入模式,在文件的末尾或您希望添加内容的位置,粘贴以下内容:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3、完成编辑后,按 Esc 键退出插入模式。输入 :wq 保存更改并退出 vi 编辑器。

4、终端运行以下命令,使修改生效

source /etc/profile

5、接下来在终端输入以下命令,就会解决部分问题

./sbin/start-all.sh  

 6、发现还有问题

ERROR: Attempting to operate on yarn proxyserver as root
ERROR: but there is no YARN_PROXYSERVER_USER defined. Aborting operation.

问题在于:Hadoop 启动脚本尝试以 root 用户身份运行 yarn proxyserver,但是没有定义 YARN_PROXYSERVER_USER 环境变量

所有你需要在 Hadoop 的环境配置文件中设置 YARN_PROXYSERVER_USER

7、终端输入命令,打开 hadoop-env.sh 文件:

sudo vi /export/server/hadoop/etc/hadoop/hadoop-env.sh(这里编辑方式同上)

8、我直接在文件末尾添加命令export YARN_PROXYSERVER_USER=root

 解决了第六的问题,然后我这还出现了一个问题,此外,这个东西是正确的,但是我用错账号了,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/827205.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Dash 2.18.2版本更新:模式匹配回调性能大提升

本文示例代码已上传至我的Github仓库:https://github.com/CNFeffery/dash-master Gitee同步仓库地址:https://gitee.com/cnfeffery/dash-master大家好我是费老师,今天Dash发布了2.18.2版本更新,虽然只是一次小版本更新,但其中涉及到的一些内容还是非常重要的,今天的文章中…

华为云:弹性负载均衡健康检查异常

动态负载均衡健康检查异常 健康检查基本配置如下: 其中内网IP和默认业务端口可以在负载均衡服务器→后端服务器组中查看即实际上的监听对象为192.168.0.170:8889。 健康检查异常说明健康检查curl这两个监听未返回200,去网络控制台→访问控制:安全组→default→入方向规则,查…

合规监管新趋势!智能合同审查免费体验,提升法律行业合同管理效率

思通数科 思通数据 思通数科推出的智能合同审查系统为这些痛点提供了解决方案。借助大模型、OCR和信息抽取等先进技术,系统具备高效要素抽取、自动分类、合同比对和合同审查等功能。以下是该系统的主要功能及用户体验案例,展示了在法律行业中的实际应用效果。应用案例:法律行…

UE Slate渲染流程

【USparkle专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!一、前言本文将深入探讨Slate的渲染流程及其相关细节。将详细讲解Slate如何将UI元素渲染到屏幕上,以及它是如何处理各种渲染细节以实现…

【HT-030-Div.1】核桃NOIP组周赛 赛后总结

总结T2爆零了,核桃oj不能缩放 别人题目(100%)我的题目(125%)

PCIe系列专题之二:2.5 Flow Control缓存架构及信用积分

一、故事前传 之前我们讲了对PCIe的一些基础概念作了一个宏观的介绍,了解了PCIe是一种封装分层协议(packet-based layered protocol),主要包括事务层(Transaction layer), 数据链路层(Data link layer)和物理层(Physical layer)。较为详细解释请见之前的文章: 1. PCIe技…

PCIe系列专题之二:2.7 Flow Control的实现过程

一、故事前传 之前我们讲了对PCIe的一些基础概念作了一个宏观的介绍,了解了PCIe是一种封装分层协议(packet-based layered protocol),主要包括事务层(Transaction layer), 数据链路层(Data link layer)和物理层(Physical layer)。较为详细解释请见之前的文章: 1. PCIe技…

cron定时任务报错PAM unable to dlopen(pam_tally2.so): /lib/security/pam_tally2.so

在Ubuntu 22.04中,pam_tally2模块可能已经不再被支持或包含在系统默认的PAM模块中。因此,当系统尝试加载该模块时,无法找到对应的.so文件,需要使用pam_faillock.so来代替 先查找下是否存在pam_faillock.so模块 find /usr -name "pam_*.so"没有 pam_tally2.so ,复…

vue3 如何使用router路由表 创建 Menu 导航菜单

vue3 如何使用router路由表 创建 Menu 导航菜单1. vue3 如何使用router路由表 创建 Menu 导航菜单1.1. 安装 Vue Router1.2. 设置路由1.3. 在主应用中使用路由1.4. 创建导航菜单组件1.5. 在布局中使用导航菜单 1. vue3 如何使用router路由表 创建 Menu 导航菜单 在 Vue 3 中集…

PCIe系列专题之二:2.0 Transaction layer事务层概述

一、故事前传 上回我们对PCIe的一些基础概念作了一个宏观的介绍,了解了PCIe是一种封装分层协议(packet-based layered protocol),主要包括事务层(Transaction layer), 数据链路层(Data link layer)和物理层(Physical layer)。较为详细解释请见之前的文章:PCIe技术概述;…

Linux 中sed命令删除文本中第一个指定符号及其之前的内容

001、[root@PC1 test1]# ls a.txt [root@PC1 test1]# cat a.txt ## 测试数据 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR131/072/SRR13178372/SRR13178372.fastq.gz;fasp.sra.ebi.ac.uk:/vol1/fastq/SRR131/072/SRR13178372/SRR13178372_1.fastq.gz;fasp.sra.ebi.ac.uk:/vol1/fa…

SATA系列专题之六:浅析NCQ原生指令序列

一、故事前传 在之前的文章中, 我们已经针对SATA相关内容进行了较为详细的解析,如果感兴趣的话,请见之前文章:1,浅析SATA Physical Layer物理层OOB信号; 2,SATA Link Layer链路层解析2.0-2.3; 3,SATA Transport Layer传输层解析3.0-3.4; 4,SATA Command Layer命令层解…