centos7安装hadoop 单机版

1.解压

(1)将hadoop压缩包复制到/opt/software路径下

(2)解压hadoop到/opt/module目录下

[root@kb135 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)修改hadoop属主和属组

[root@kb135 module]# chown -R root:root ./hadoop-3.1.3/

2.配置环境变量

[root@kb135 module]# vim /etc/profile

# HADOOP_HOME

export HADOOP_HOME=/opt/soft/hadoop313

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

修改完之后[root@kb135 module]# source /etc/profile

3.在hadoop目录创建data目录

[root@kb135 module]# cd ./hadoop-3.1.3/

创建目录data

[root@kb135 hadoop-3.1.3]# mkdir ./data

4.修改配置文件

进入/opt/module/hadoop-3.1.3/etc/hadoop目录,查看目录下的文件,配置几个必要的文件

(1)配置core-site.xml

[root@kb135 hadoop]# vim ./core-site.xml

<configuration>

    <property>

      <name>fs.defaultFS</name>

      <value>hdfs://kb135:9000</value>

    </property>

    <property>

      <name>hadoop.tmp.dir</name>

      <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

    <property>

      <name>hadoop.http.staticuser.user</name>

      <value>root</value>

    </property>

    <property>

      <name>io.file.buffer.size</name>

      <value>131073</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.hosts</name>

      <value>*</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.groups</name>

      <value>*</value>

    </property>

 </configuration>

(2)配置hadoop-env.sh

[root@kb135 hadoop]# vim ./hadoop-env.sh

修改第54行

export JAVA_HOME=/opt/module/jdk1.8.0_381

(3)配置hdfs-site.xml

[root@kb135 hadoop]# vim ./hdfs-site.xml

<configuration>

   <property>

     <name>dfs.replication</name>

     <value>1</value>

   </property>

   <property>

     <name>dfs.namenode.name.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/name</value>

   </property>

   <property>

     <name>dfs.datanode.data.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/data</value>

   </property>

   <property>

     <name>dfs.permissions.enabled</name>

     <value>false</value>

   </property>

</configuration>

(4)配置mapred-site.xml

[root@kb135 hadoop]# vim ./mapred-site.xml

<configuration>

    <property>

      <name>mapreduce.framework.name</name>

      <value>yarn</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.address</name>

      <value>kb135:10020</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.webapp.address</name>

      <value>kb135:19888</value>

    </property>

    <property>

      <name>mapreduce.map.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.reduce.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.application.classpath</name>

      <value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*</value>

    </property>

</configuration>

(5)配置yarn-site.xml

[root@kb135 hadoop]# vim ./yarn-site.xml

<configuration>

   <property>

     <name>yarn.resourcemanager.connect.retry-interval.ms</name>

     <value>20000</value>

   </property>

   <property>

     <name>yarn.resourcemanager.scheduler.class</name>

     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

   </property>

   <property>

     <name>yarn.nodemanager.localizer.address</name>

     <value>kb135:8040</value>

   </property>

   <property>

     <name>yarn.nodemanager.address</name>

     <value>kb135:8050</value>

   </property>

   <property>

     <name>yarn.nodemanager.webapp.address</name>

     <value>kb135:8042</value>

   </property>

  <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

   </property>

   <property>

     <name>yarn.nodemanager.local-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/yarn</value>

   </property>

   <property>

     <name>yarn.nodemanager.log-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/log</value>

   </property>

   <property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

   </property>

</configuration>

(6)配置workers

[root@kb135 hadoop]# vim ./workers

修改为kb135

5.初始化hadoop

进入/opt/module/hadoop-3.1.3/bin路径

[root@kb135 bin]# hadoop namenode -format

6.设置免密登录

[root@kb135 ~]# ssh-keygen -t rsa -P ""

[root@kb135 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

[root@kb135 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb135

7.启动hadoop

[root@kb135 ~]# start-all.sh

查看进程

[root@kb135 ~]# jps

8.测试

网页中输入网址:http://192.168.142.135:9870/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/81573.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何五分钟设计制作自己的蛋糕店小程序

在现如今的互联网时代&#xff0c;小程序已成为企业推广和销售的重要利器。对于蛋糕店来说&#xff0c;搭建一个小程序可以为其带来更多的品牌曝光和销售渠道。下面&#xff0c;我们将以乔拓云平台为例&#xff0c;来教你如何从零开始搭建自己的蛋糕店小程序。 首先&#xff0c…

【方案】安防监控EasyCVR智慧工地视频监管风险预警平台的应用

智慧工地方案是一种结合现代化技术与工地管理实践的创新型解决方案。它通过实时监控、数据分析、人工智能等技术手段&#xff0c;使工地管理更加高效、智能化。在建设智慧工地的过程中&#xff0c;除了上述提到的利用物联网技术实现设备互联、数据采集及分析以外&#xff0c;还…

Spring 事务(事务、声明式事务@Transactional、事务隔离级别、事务传播机制)

目录 1.事务的定义 2.Spring中事务的实现 2.1 MySQL中的事务使用 2.2 Spring中编程事务的实现 2.3 Spring中声明式事务 2.3.1 声明式事务的实现 Transactional 2.3.2 Transactional 作用域 2.3.3 Transactional 参数说明 2.3.4 注意事项 &#xff08;1&#xff09;解…

前端行级元素和块级元素的基本区别

块级元素和行内元素的基本区别是&#xff0c; 行内元素可以与其他行内元素并排&#xff1b;块级元素独占一行&#xff0c;不能与其他任何元素并列&#xff1b; 下面看一下&#xff1b; <!DOCTYPE html> <html> <head> <meta charset"utf-8"&…

2023 CCPC 华为云计算挑战赛 D-塔

首先先来看第一轮的 假如有n个,每轮那k个 他们的高度的可能性分别为 n 1/C(n,k) n1 C(n-(k-11),1)/C(n,k) n2 C(n-(k-21),2)/C(n,k) ni C(n-(k-i1,i)/C(n,k) 通过概率和高度算出第一轮增加的期望 然后乘上m轮增加的高度加上初始高度&#xff0c;就是总共增加的高度 下面是…

Linux系统之iptables应用SNAT与DNAT

Linux系统之iptables应用SNAT与DNAT SNAT1、SNAT的原理介绍1.1SNAT的应用环境1.2SNAT的原理 1.3SNAT转化的前提条件 2、开启SNAT2.1临时打开2.2永久打开 3、SNAT的转换3.1固定的公网IP地址3.2非固定的公网IP地址(共享动态IP地址) DNAT1、DNAT的原理介绍1.1应用环境1.2DNAT原理1…

RISC-V(1)——RISC-V是什么,有什么用

目录 1. RISC-V是什么 2. RISC-V指令集 3. RISC-V特权架构 4. RiscV的寄存器描述 5. 指令 5.1 算数运算—add/sub/addi/mul/div/rem 5.2 逻辑运算—and/andi/or/ori/xor/xori 5.3 位移运算—sll/slli/srl/srli/sra/srai 5.4 数据传输—lb/lh/lw/lbu/lhu/lwu/sb/sh/sw …

Hadoop入门机安装hadoop

0目录 1.Hadoop入门 2.linux安装hadoop 1.Hadoop入门 定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下&#xff0c;开发分布式程序。充分利用集群的威力进行高速运算和存储。 优势 高可靠性&#xff1a;Hadoop底层维护多…

Docker搭建elasticsearch+kibana测试

最近需要做大数据画像&#xff0c;所以先简单搭建一个eskibana学习使用&#xff0c;记录一下搭建过程和遇到的问题以及解决办法 1.拉取es和kibana镜像 在拉取镜像之前先搜索一下 elasticsearch发现是存在elasticsearch镜像的&#xff0c;我一般习惯性拉取最新镜像&#xff0c…

验证码识别DLL ,滑块识别SDK,OCR图片转文字,机器视觉找物品

验证码识别DLL ,滑块识别SDK 你们用过哪些OCR提取文字&#xff0c;识图DLL&#xff0c;比如Opencv,Labview机器视觉找物品之类&#xff1f;

2023国赛数学建模思路 - 案例:随机森林

文章目录 1 什么是随机森林&#xff1f;2 随机深林构造流程3 随机森林的优缺点3.1 优点3.2 缺点 4 随机深林算法实现 建模资料 ## 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 1 什么是随机森林&#xff…

STM32CubeMX配置STM32G0 Standby模式停止IWDG(HAL库开发)

1.打开STM32CubeMX选择好对应的芯片&#xff0c;打开IWDG 2.打开串口1进行调试 3.配置好时钟 4.写好项目名称&#xff0c;选好开发环境&#xff0c;最后获取代码。 5.打开工程&#xff0c;点击魔术棒&#xff0c;勾选Use Micro LIB 6.修改main.c #include "main.h"…