Hadoop集群三节点搭建(一)

一、第一台虚拟机准备

  1. 确认是可以上网,方便下载文件和工具,使用ping命令测试下
    在这里插入图片描述
  2. 安装工具
    net-tool:工具包集合,包含ifconfig等命令,大家可以根据自己需要按需下载
    在这里插入图片描述
  3. 创建普通用户attest,并修改attest用户的密码
    在这里插入图片描述
  4. 配置attest用户具有root权限,方便后期加sudo执行root权限的命令
    在这里插入图片描述
    在这里插入图片描述
  5. 在/opt目录下创建文件夹,并修改所属主和所属组
    在这里插入图片描述
    在这里插入图片描述

二、安装JDK

  1. 卸载虚拟机自带的JDK
    rpm -qa:查询所安装的所有rpm软件包
    grep -i:忽略大小写
    xargs -n1:表示每次只传递一个参数
    rpm -e –nodeps:强制卸载软件
    在这里插入图片描述
  2. 切换成attest用户,安装jDK,Hadoop
    上传jdk hadoop 安装包到指定的目录 (/opt/software)
    在这里插入图片描述
    解压JDK到/opt/module目录下
[attest@master software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
  1. 配置JDK环境变量
    新建/etc/profile.d/my_env.sh文件
sudo vim /etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
  1. source一下/etc/profile文件,让新的环境变量PATH生效
[attest@master software]$ source /etc/profile
  1. 测试JDK是否安装成功
[attest@master software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

能看到以上结果,则代表Java安装成功。
java version “1.8.0_212”

三、安装 Hadoop

Hadoop [下载地址](https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/)
  1. 解压安装文件到/opt/module
    在这里插入图片描述
  2. 将Hadoop添加到环境变量
[attest@master module]$ sudo vim  /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
  1. 让环境变量生效、检查是否安装成功
[attest@master module]$ source /etc/profile
[attest@master module]$ cd
[attest@master ~]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[attest@master ~]$

注意:如果Hadoop命令不能用启虚拟机

  1. hadoop目录解析
    在这里插入图片描述 bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
    etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
    lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
    sbin目录:存放启动或停止Hadoop相关服务的脚本
    share目录:存放Hadoop的依赖jar包、文档、和官方案例

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/321021.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ubuntu18.04查询实时内存、CPU占用率命令

gnome-system-monitor效果就是下面这样:

C语言快速入门——基础知识

C语言基础 C语言基础C程序基本格式基本数据类型原码、反码和补码原码反码补码 整数类型浮点类型字符类型 变量变量的使用无符号数类型转换 运算符基本运算符运算符优先级自增自减运算符位运算符逻辑运算符 流程控制分支语句 - if分支语句 - switch循环语句 - for循环语句 - whi…

【Linux】——基本指令(二)

💗个人主页💗 ⭐个人专栏——数据结构学习⭐ 💫点击关注🤩一起学习C语言💯💫 目录 导读:1. vim 指令2. head指令3. tail指令4. tree指令5. 输出重定向6. echo指令7. wc指令8. | 字符9. date指令…

计算机网络(10):下一代因特网

下一代网际协议 IPv6(IPng) 解决IP地址耗尽的措施 要解决IP地址耗尽的问题,可以采用以下三个措施: (1)采用无分类编址CIDR,使IP地址的分配更加合理。 (2)采用网络地址转换NAT方法,可节省许多全球IP地址。 (3)采用具有更大地址空…

7.14解数独(LC37-H)

算法: 二维递归(递归时需要两层for循环) 一个for循环放行 另一个for循环放列 画树: 因为这个树形结构太大了,我抽取一部分,如图所示: 回溯三部曲: 1.确定函数参数和返回值 返…

《MySQL系列-InnoDB引擎04》MySQL表相关介绍

文章目录 第四章 表1 索引组织表2 InnoDB逻辑存储结构2.1 表空间2.2 段2.3 区2.4 页2.5 行2.6 拓展:MySQL的varchar(n)能存储几个字符?占多少字节? 3 InnoDB行记录格式4 文件格式5 约束5.1 数据完整性5.2 约束的创建和查找5.3 约束和索引的区…

CSS 放大旋转动画

<template><div class"container" mouseenter"startAnimation" mouseleave"stopAnimation"><!-- 旋方块 --><div class"box" :class"{ rotate-scale-up: isAnimating }"><!-- 元素内容 -->&l…

设计模式:简单工厂模式

这里写目录标题 工厂模式简介核心角色&#xff1a;实现 工厂模式 工厂模式&#xff08;Factory Pattern&#xff09;是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式&#xff0c;它提供了一种创建对象的最佳方式。 工厂模式提供了一种将对象的实例化过程封…

《新课程研究》是什么级别的期刊?是正规期刊吗?能评职称吗?

《新课程研究》刊物以服务基础教育改革和发展为宗旨&#xff0c;突出新理论、新观点、新课程、新实践&#xff0c;促进教学教研、课程建设&#xff0c;推动教改&#xff0c;是教育教学科研工作者、各级教育 行政部门、各级各类学校教师及关心教育发展者了解、研究、助推课改的平…

用 Python 抓取 bilibili 弹幕并分析!

01 实现思路 首先&#xff0c;利用哔哩哔哩的弹幕接口&#xff0c;把数据保存到本地。接着&#xff0c;对数据进行分词。最后&#xff0c;做了评论的可视化。 02 弹幕数据 平常我们在看视频时&#xff0c;弹幕是出现在视频上的。实际上在网页中&#xff0c;弹幕是被隐藏在源代码…

13.Go 异常

1、宕机 Go语言的类型系统会在编译时捕获很多错误&#xff0c;但有些错误只能在运行时检查&#xff0c;如数组访问越界、空指针引用等&#xff0c;这些运行时错误会引起宕机。 一般而言&#xff0c;当宕机发生时&#xff0c;程序会中断运行&#xff0c;并立即执行在该gorouti…

【AI辅助创作】商场中令对手胆颤的神秘杀手

进入21世纪&#xff0c;我们生活在一个被数据包围的世界。每天&#xff0c;无数的信息在互联网上流动&#xff0c;构成了所谓的“大数据”。在这个大数据时代&#xff0c;谁是真正的杀手&#xff1f;企业如何利用大数据来成功地了解和应对其竞争对手&#xff1f;这是我们今天要…