0201hdfs集群部署-hadoop-大数据学习

文章目录

    • 1 前言
    • 2 集群规划
    • 3 hadoop安装包上传与安装
      • 3.1 上传解压
    • 4 hadoop配置
    • 5 从节点同步和环境变量配置
    • 6 创建用户
    • 7 集群启动
    • 8 问题集
      • 8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.
    • 结语

1 前言

下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟机的配置，在下面链接2有，或者自行查阅文档。hadoop安装包可到官网下载，当前相关软件环境如下：

软件版本说明
hadoop3.3.4jar包
vmware15.5虚拟机
centos7.6服务器操作系统
xshell6远程连接
jdk1.8java运行环境

2 集群规划

在前面的准备章节，我们准备了基于vmware的三台虚拟机，现服务规划如下：

节点服务
node1NameNode、DataNode、SecondaryNameNode
node2DataNode
node3DataNode

Hadoop HDFS的角色包含：

  • NameNode：主节点管理者
  • DataNode：从节点工作者
  • SecondaryNameNode：主节点辅助

3 hadoop安装包上传与安装

3.1 上传解压

  1. 上传hadoop安装包到node节点中，如下图3.1-1所示

在这里插入图片描述

  1. 解压缩安装包到/export/server中

    tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

  2. 构建软连接

    cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoop

4 hadoop配置

配置HDFS集群，主要涉及以下文件的修改：

  • workers：配置从节点（DataNode）有哪些
  • hadoop-env.sh：配置hadoop的相关变量
  • core-site.xml：hadoop的核心配置文件
  • hadfs-site.xml：HDFS核心配置文件

这些文件在$HADOOP_HOME/etc/hadoop文件夹中

ps：$HADOOP_HOME是后续我们要设置的环境变量，其指代Hadoop安装文件夹即/export/server/hadoop

  • 配置workers

    # 进入配置文件目录
cd etc/hadoop
# 编辑workers文件
vim workers
# 填入如下内容
node1
node2
node3
    • 记录node1，node2，node3三个从节点

  • 配置hadoop-en.sh

    # 填入如下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
    • JAVA_HOME：jdk安装目录
    • HADOOP_HOME：hadoop安装目录
    • HADOOP_CONF_DIR：hadoop配置文件目录
    • HADOOP_LOG_DIR：hadoop日志存放目录

  • 配置core-site.xml,此处配置NameNode会报错，后面问题集我们在分析

    在文件内部填入如下内容
<configuration><property><name>fs.defaultFS</name><value>hdfs://node1:8020</value></property><property><name>io.file.buffer.size</name><value>131072</value></property>
</configuration>
    • key：fs.defaultFS;含义：HDFS文件系统的网络通讯路径;值：hdfs://node1:8020
      • 协议为hdfs://
      • namenode为node1
      • namenode通讯端口为8020
    • key：io.file.buffer.size含义：io操作文件缓冲区大小值：131072 bit
    • hdfs://node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）表明DataNode将和node1的8020端口通讯，node1是NameNode所在机器此配置固定了node1必须启动NameNode进程

  • 配置hdfs-site.xml

    # 在文件内部填入如下内容
<configuration><property><name>dfs.datanode.data.dir.perm</name><value>700</value></property><property><name>dfs.namenode.name.dir</name><value>/data/nn</value></property><property><name>dfs.namenode.hosts</name><value>node1,node2,node3</value></property><property><name>dfs.blocksize</name><value>268435456</value></property><property><name>dfs.namenode.handler.count</name><value>100</value></property><property><name>dfs.datanode.data.dir</name><value>/data/dn</value></property>
</configuration>
    • key：dfs.datanode.data.dir.perm;含义：hdfs文件系统，默认创建的文件权限设置值：700，即：rwx------
    • key：dfs.namenode.name.dir;含义：NameNode元数据的存储位置值：/data/nn，在node1节点的/data/nn目录下
    • key：dfs.namenode.hosts含义：NameNode允许哪几个节点的DataNode连接（即允许加入集群）值：node1、node2、node3，这三台服务器被授权
    • key：dfs.blocksize含义：hdfs默认块大小值：268435456（256MB）
    • key：dfs.namenode.handler.count;含义：namenode处理的并发线程数;值：100，以100个并行度处理文件系统的管理任务
    • key：dfs.datanode.data.dir;含义：从节点DataNode的数据存储目录;值：/data/dn，即数据存放在node1、node2、node3，三台机器的/data/dn内

根据上面配置的NameNode和DataNode数据存放位置

  • namenode数据存放node1的/data/nn

  • datanode数据存放node1、node2、node3的/data/dn

  • 在node1节点：

    mkdir -p /data/nn
mkdir /data/dn

  • 在node2和node3节点：

    mkdir -p /data/dn

5 从节点同步和环境变量配置

目前，已经基本完成Hadoop的配置操作，可以从node1将hadoop安装文件夹远程复制到node2、node3

  • 分发

    # 在node1执行如下命令
cd /export/server
scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

  • 在node2执行，为hadoop配置软链接

    # 在node2执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

  • 在node3执行，为hadoop配置软链接

    # 在node3执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

一步一步配置相对清晰，但是也繁琐，xshell有如下功能，可以在所有会话窗口执行相同的操作

在这里插入图片描述

在这里插入图片描述

配置环境变量：

在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量

  1. vim /etc/profile，node1,node2,node3执行相同操作

    # 在/etc/profile文件底部追加如下内容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6 创建用户

hadoop部署的准备工作基本完成为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务所以，现在需要对文件权限进行授权。

ps：请确保已经提前创建好了hadoop用户（前置准备章节中有讲述），并配置好了hadoop用户之间的免密登录以root身份，在node1、node2、node3三台服务器上均执行如下命令

# 以root身份，在三台服务器上均执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

7 集群启动

前期准备全部完成，现在对整个文件系统执行初始化，在node1节点上操作

# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format
# 一键启动hdfs集群
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

启动完成后，可以在浏览器打开：http://node1:9870，即可查看到hdfs文件系统的管理网页，如下图6-1所示

在这里插入图片描述

8 问题集

出了问题首先，查看日志，在配置文件$HADOOP_home/logs下面记录日志。

一些常见的报错，比如命令不存在，或者因为粗心单词写错，这里不再分析，可以去链接1视频P23-24查看原因或者自行查阅相关文档。下面主要分析一些本人遇到的非常见错误

8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.

  • 日志报错内容

    2023-08-27 11:40:09,808 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Failed to start secondary namenode
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:781)at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:810)at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:772)at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:534)at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:231)at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:194)at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:690)

    • 报错NameNode URI配置有问题，这个配置我们是按照视频做了，配置如下

      <configuration><property><name>fs.defaultFS</name><value>hdfs://node1:8020</value></property>

  • 解决方案：修改配置如下

      <property><name>fs.default.name</name><value>hdfs://node1:8020</value></property>

  • 具体原理可以查看官方文档解释或者下面链接3

结语

如果小伙伴什么问题或者指教，欢迎交流。

❓QQ:806797785

参考链接:

[1]大数据视频[CP/OL].2020-04-16.p14-p24.

[2]0101前期准备-大数据学习[CP/OL].

[3]Hadoop的core-site.xml配置文件里的fs.default.name和fs.defaultFS[CP/OL].

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/90913.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ssm+vue人力资源管理系统源码和论文

ssm+vue人力资源管理系统源码和论文

ssmvue人力资源管理系统源码和论文098 开发工具&#xff1a;idea 数据库mysql5.7 数据库链接工具&#xff1a;navcat,小海豚等 技术&#xff1a;ssm 系统目标 本系统主要目标是对大中型公司所设计&#xff0c;是对人力资源的科学化的管理&#xff0c;使信息存储达到精确…
阅读更多...
Spring Authorization Server入门 (十六) Spring Cloud Gateway对接认证服务

Spring Authorization Server入门 (十六) Spring Cloud Gateway对接认证服务

前言 之前虽然单独讲过Security Client和Resource Server的对接&#xff0c;但是都是基于Spring webmvc的&#xff0c;Gateway这种非阻塞式的网关是基于webflux的&#xff0c;对于集成Security相关内容略有不同&#xff0c;且涉及到代理其它微服务&#xff0c;所以会稍微比较麻…
阅读更多...
PlantUML文本绘制类图

PlantUML文本绘制类图

记录下文本绘制类图的语法 参考 https://juejin.cn/post/6844903731293585421 类的UML表示 使用UML表示一个类&#xff0c;主要由三部分组成。类名、属性、方法。其中属性和方法的访问修饰符用 - 、# 、 表示 private、protected、public。 如图所示&#xff0c;表示A类有一个…
阅读更多...
htmx-使HTML更强大

htmx-使HTML更强大

‍本文作者是360奇舞团开发工程师 htmx 让我们先来看一段俳句: javascript fatigue: longing for a hypertext already in hand 这个俳句很有意思&#xff0c;是开源项目htmx文档中写的&#xff0c;意思是说&#xff0c;我们已经有了超文本&#xff0c;为什么还要去使用javascr…
阅读更多...
基于JavaWeb和mysql实现网上书城前后端管理系统(源码+数据库+开题报告+论文+答辩技巧+项目功能文档说明+项目运行指导)

基于JavaWeb和mysql实现网上书城前后端管理系统(源码+数据库+开题报告+论文+答辩技巧+项目功能文档说明+项目运行指导)

一、项目简介 本项目是一套基于JavaWeb和mysql实现网上书城前后端管理系统&#xff0c;主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含&#xff1a;项目源码、项目文档、数据库脚本等&#xff0c;该项目附带全部源码可作为毕设使用。 项目都…
阅读更多...
vue左侧漏斗切换 echart图表动态更新

vue左侧漏斗切换 echart图表动态更新

这个需求是根据点击左侧的箭头部分&#xff0c;右侧图表切换&#xff0c;左侧选中数据高亮&#xff08;图片用的svg&#xff09; 一、效果图 二、vue组件 <template><div class"funnel_wrap"><div class"flex_between"><div class&q…
阅读更多...
Mac 安装php多版本,brew安装php8.0

Mac 安装php多版本,brew安装php8.0

因为需要我要在mac上装两个php版本&#xff0c;先前我已经装过php7.4,下面我们逐步安装php8.0 开始安装8.0&#xff1a; 直接运行安装 brew install php8.0 遇到问题怀疑是仓库太老了&#xff0c;更新一下homebrew ,重新安装 brew update 安装成功了,不过看了下版本好像不能正…
阅读更多...
Remmina在ubuntu22.04中无法连接Windows

Remmina在ubuntu22.04中无法连接Windows

Remmina在ubuntu22.04中无法连接Windows 问题 提示为&#xff1a; 无法通过TLS到RDP服务器… 分析 原因是Remmina需要使用openssl通过RDP加密与Windows计算机连接&#xff0c;而ubuntu22.04系统中OpenSSL版本为3.0&#xff0c;Openssl3 将 tls<1.2 和 sha1 的默认安全级别…
阅读更多...
2023年高教社杯数学建模思路 - 复盘：校园消费行为分析

2023年高教社杯数学建模思路 - 复盘：校园消费行为分析

文章目录 0 赛题思路1 赛题背景2 分析目标3 数据说明4 数据预处理5 数据分析5.1 食堂就餐行为分析5.2 学生消费行为分析 建模资料 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 1 赛题背景 校园一卡通是集…
阅读更多...
docker容器运行成功但无法访问，原因分析及对应解决方案（最新，以Tomcat为例，亲测有效）

docker容器运行成功但无法访问，原因分析及对应解决方案（最新，以Tomcat为例，亲测有效）

原因分析&#xff1a; 是否能访问当运行docker容器虚拟机&#xff08;主机&#xff09;地址 虚拟机对应的端口号是否开启或者防墙是否关闭 端口映射是否正确&#xff08;这个是我遇到的&#xff09; tomcat下载的是最新版&#xff0c;docker运行后里面是没有东西的&am…
阅读更多...
软件测试技术分享丨使用Postman搞定各种接口token实战

软件测试技术分享丨使用Postman搞定各种接口token实战

现在许多项目都使用jwt来实现用户登录和数据权限&#xff0c;校验过用户的用户名和密码后&#xff0c;会向用户响应一段经过加密的token&#xff0c;在这段token中可能储存了数据权限等&#xff0c;在后期的访问中&#xff0c;需要携带这段token&#xff0c;后台解析这段token才…
阅读更多...
[第七届蓝帽杯全国大学生网络安全技能大赛 蓝帽杯 2023]——Web方向部分题 详细Writeup

[第七届蓝帽杯全国大学生网络安全技能大赛 蓝帽杯 2023]——Web方向部分题 详细Writeup

Web LovePHP 你真的熟悉PHP吗&#xff1f; 源码如下 <?php class Saferman{public $check True;public function __destruct(){if($this->check True){file($_GET[secret]);}}public function __wakeup(){$this->checkFalse;} } if(isset($_GET[my_secret.flag]…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023