ubuntu-server部署hive-part2-安装hadoop

参照

https://blog.csdn.net/qq_41946216/article/details/134345137

操作系统版本:ubuntu-server-22.04.3

虚拟机:virtualbox7.0

安装hadoop

​​​​​​下载上传

下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/

以root用户,上传

解压 tar zxvf hadoop-3.3.4.tar.gz

重命名 mv hadoop-3.3.4 hadoop

配置环境变量

以root用户,配置环境变量

vi .profile

/opt/hadoop

以root用户,执行source .profile变量生效,并检验

配置文件设置

除启停命令外,其余配置文件均位于$HADOOP_HOME/etc/hadoop

hadoop-env.sh

core-site.xml

vi core-site.xml

将 hadoop001改为 virtualbox_u22034server

hdfs-site.xml

vi hdfs-site.xml

将 hadoop001改为 virtualbox_u22034server

yarn-site.xml

vi yarn-site.xml

mapred-site.xml

workers

非集群可以不配置

sbin下启停命令

$HADOOP_HOME/sbin

在 sbin下的start-dfs.sh和stop-dfs.sh中顶部配置

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

复制hadoop至其他节点

伪分布式不执行此步

hdfs格式化

hdfs namenode -format

过程中会提示,输入y,回车

启动hdfs

cd /opt/hadoop

./sbin/start-dfs.sh

以上截图说明启动异常,具体内容见问题处理

解决后

在浏览器中输入http://192.168.12.66:9870,访问页面如下

启动yarn

start-yarn.sh

在浏览器中输入http://192.168.12.66:8088,访问页面如下

问题处理

hdfs启动服务时报错

报错截图如下

执行以下命令,然后连续点三下回车生成SSH密匙对

把密匙对分发给本机,让本机可以免密登录

ssh-keygen -t rsa

ssh-copy-id $(hostname)

无报错没正常启动hdfs

进入$HADOOP_HOME/logs,查看datanode日志

该报错是因为linux计算名不能出现下划线。将virtualbox_u22034server

改为virtualbox-u22034server

vi /etc/hostname

hadoop配置文件中的virtualbox_u22034server改为virtualbox-u22034server

重启:reboot

启动hadoop:start-dfs.sh

查看java虚拟机进程:jps,如下所示说明已经正常启动了。

如果以上处理完还不没有成功启动,尝试以下操作

检查core-site.xml 和 hdfs-site.xml;

删除两个配置文件中配置的目录

删除/opt/hadoopdata/dfs中的文件

删除/opt/hadoop/logs中的文件

重启服务器

重新执行格式化NameNode

再次启动hdfs

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/587962.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

nodeJs 实现视频的转换(超详细教程)

前段时间拿到一个视频是4k的,没法播放,于是通过 node.js 和 ffmpeg 实现了视频的转换。在win10 系统下实现。 所需工具 node 16.19 直接安装 ffmpeg-5.1.1-essentials_build 解压后重名 ffmpeg 放到C盘 然后配置下环境变量 Git-2.42.0.2-64-bit 直接…

list使用与模拟实现

目录 list使用 reverse sort unique splice list模拟实现 类与成员函数声明 节点类型的定义 非const迭代器的实现 list成员函数 构造函数 尾插 头插 头删 尾删 任意位置插入 任意位置删除 清空数据 析构函数 拷贝构造函数 赋值重载函数 const迭代器的设计 …

Canal1.1.5整Springboot在MQ模式和TCP模式监听mysql

canal本实验使用的是1.1.5,自行决定版本:[https://github.com/alibaba/canal/releases] canal 涉及的几个角色 canal-admin:canal 后台管理系统,管理 canal 服务canal-deployer:即canal-server(客户端&…

vue结合Elempent-Plus/UI穿梭框更改宽度以及悬浮文本显示

由于分辨率不同会导致文本内容显示不全,如下所示: 因此需要 1、悬浮到对应行上出现悬浮信息 实现代码如下所示: 这里只演示Vue3版本代码,Vue2版本不再演示 区别就在插槽使用上Vue3使用:#default“”;Vu…

计算机网络-HTTP相关知识-RSA和ECDHE及优化

HTTPS建立基本流程 客户端向服务器索要并验证服务器的公钥。通过密钥交换算法(如RSA或ECDHE)协商会话秘钥,这个过程被称为“握手”。双方采用会话秘钥进行加密通信。 RSA流程 RSA流程包括四次握手: 第一次握手:客户…

【论文阅读】DETR 论文逐段精读

【论文阅读】DETR 论文逐段精读 文章目录 【论文阅读】DETR 论文逐段精读📖DETR 论文精读【论文精读】🌐前言📋摘要📚引言🧬相关工作🔍方法💡目标函数📜模型结构⚙️代码 &#x1f4…

idea端口占用

报错:Verify the connector‘s configuration, identify and stop any process that‘s listening on port XXXX 翻译: 原因: 解决: 一、重启大法 二、手动关闭 启动spring项目是控制台报错,详细信息如下&#xff…

InterliJ IDEA基本设置

安装好idea后,将软件打开,可以进行基础设置 1.打开软件,先安装插件-汉化包(不推荐,最好使用英文版),本次我们使用汉化版本完成基本设置,后期希望大家适应英文版的开发环境。&#x…

BetterZip for Mac2024最新mac解压缩软件

作为一名软件专家,对于市面上各类软件都有较为深入的了解,下面介绍的是一款适用于Mac系统的解压缩软件——BetterZip,将从其功能特点、使用方法、用户体验及适用人群等方面进行详细介绍。 BetterZip5-安装包绿色版下载如下: htt…

使用vite创建一个react18项目

一、vite是什么? vite 是一种新型前端构建工具,能够显著提升前端开发体验。它主要由两部分组成: 一个开发服务器,它基于原生 ES 模块提供了丰富的内建功能,如速度快到惊人的模块热更新(HMR)。 …

Python网络爬虫(一):HTML/CSS/JavaScript介绍

1 HTML语言 1.1 HTML简介 HTML指的是超文本标记语言:HyperText Markup Language,它不是一门编程语言,而是一种标记语言,即一套标记标签。HTML是纯文本类型的语言,使用HTML编写的网页文件也是标准的文本文件&#xff0c…

使用Java流API构建树形结构数据

简介: 在实际开发中,构建树状层次结构是常见需求,如组织架构、目录结构或菜单系统。本教案通过解析给定的Java代码,展示如何使用Java 8 Stream API将扁平化的菜单数据转换为具有层级关系的树形结构。 1. 核心类定义 - Menu Data…