Hadoop、Hive安装

一、 工具

Linux系统：Centos，版本7.0及以上
JDK：jdk1.8
Hadoop：3.1.3
Hive：3.1.2
虚拟机：VMware
mysql：5.7.11

工具下载地址: https://pan.baidu.com/s/1JYtUVf2aYl5–i7xO6LOAQ
提取码: xavd

提示：以下是本篇文章正文内容，下面案例可供参考

二、JDK安装

下载jdk-8u181-linux-x64.tar.gz包，将此包上传至/opt 目录下。

cd /opt
解压安装包 tar zxvf jdk-8u181-linux-x64.tar.gz
删除安装包 rm -f jdk-8u181-linux-x64.tar.gz

使用root权限编辑profile文件设置环境变量

vi/etc/profile
export JAVA_HOME= /usr/java/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

让修改的文件生效

source /etc/profile

三、安装mysql

下载mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz包，将此包上传至/opt目录下，并改名mysql。

cd /opttar -xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql

先查询是否存在用户组

groups mysql

创建用户组和用户名

groupadd mysql && useradd -r -g mysql mysql

授予文件数据目录权限

chown mysql:mysql -R /opt/mysql/data

修改/etc/my.cnf配置文件,没有得到话就创建

vi /etc/my.cnf

[mysqld]
port = 3306
user=mysql
basedir=/opt/mysql/
datadir=/opt/mysql/data
socket=/tmp/mysql.sock
symbolic-links=0[mysqld_safe]
log-error=/opt/mysql/data/mysql.log
pid-file=/opt/mysql/data/mysql.pid[client]
port=3306
default-character-set=utf8

初始化mysql服务

cd /opt/mysql/bin

执行命令，然后会有一个默认密码，有的人这里会报错是因为没有安装libaio，这里就先安装一遍

yum install libaio -y

./mysqld --defaults-file=/etc/my.cnf --user=mysql --initialize

在这里插入图片描述

启动mysql

cp /opt/mysql/support-files/mysql.server /etc/init.d/mysql

service mysql start

进入目录

cd /opt/mysql/bin

登录,输入刚才的临时密码就可以了（直接复制粘贴）

./mysql -u root -p

修改密码，我设置的密码是root，在最后面，根据自己需要进行设置

alter user 'root'@'localhost' identified with mysql_native_password BY 'root';

刷新，使操作生效

flush privileges;

更改数据库连接权限

use mysql;

update user set host='%' where user = 'root';

flush privileges;

在这里插入图片描述

退出

exit

测试

我虚拟机的ip为192.168.19.10
在这里插入图片描述
有的人会连接不成功，是因为发防火墙没有放开端口，这里有两种方法，关闭防火墙或者开放端口

关闭防火墙

systemctl stop firewalld

开放端口

firewall-cmd --zone=public --add-port=3306/tcp --permanent

开放完端口后需要重启防火墙才能生效

firewall-cmd --reload

在这里插入图片描述

设置开机自启

添加到服务列表

chkconfig --add mysql

查看列表

chkconfig --list

在这里插入图片描述

一般2345都是开或者on的，如果不是执行命令

chkconfig --level 2345 mysql on

添加系统路径

vi /etc/profile

export PATH=/opt/mysql/bin:$PATH

source /etc/profile

四、hadoop安装

安装步骤和jdk的完全一样，存在/opt ，然后把下载解压的hadoop放到该文件夹下面。最主要的也还是配置文件，如果配置文件里面的路径正确那就可以。配置代码如下：

vi/etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

安装完之后可以在终端输入hadoop version命令查看：

在这里插入图片描述

Hadoop分布式配置

终端输入mkdir /opt/hadoop-3.1.3/tmp创建tmp文件夹
终端输入mkdir /opt/hadoop-3.1.3/data/namenode创建namenode文件夹
终端输入mkdir /opt/hadoop-3.1.3/data/datanode创建datanode文件夹
在终端输入cd /opt/hadoop-3.1.3/etc/hadoop/ 注意自己的路径，后面需要修改的文件都在这个目录下面，这里先进入该目录

进入/opt/hadoop-3.1.3/etc/hadoop

cd /opt/hadoop-3.1.3/etc/hadoop

配置core-site.xml：输入vi core-site.xml 打开文件后添加
（全分布式中我使用三台虚拟机，KingSSM是我的主机名，还有两台分别是Slave1和Slave2）

<configuration><property><name>fs.defaultFS</name><value>hdfs://kingssm:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-3.1.3/tmp</value></property>
</configuration>

配置hdfs-site.xml：输入vi hdfs-site.xml 打开文件后添加

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-3.1.3/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-3.1.3/data/datanode</value></property><property><name>dfs.permissions</name><value>false</value></property>
</configuration>

配置mapred.site.xml：输入vi mapred-site.xml 打开文件后添加

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>kingssm:9001</value></property>
</configuration>

配置yarn-site.xml：输入yarn-site.xml打开文件后添加

<configuration>
<!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>kingssm</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>
</configuration>

配置hadoop-env.sh：输入vi hadoop-env.sh 打开文件后添加

export JAVA_HOME=/opt/jdk1.8.0_181
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$PATH:/opt/hadoop-3.1.3/bin
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export HADOOP_PID_DIR=/opt/hadoop-3.1.3/pids

配置yarn-env.sh：输入vi yarn-env.sh 打开文件后添加

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

配置workers：输入vi workers 打开文件后添加，这里换成你的主机名和IP地址（KingSSM是当前正在操作的虚拟机主机名，其他两个是等下要克隆的两台虚拟机的主机名，IP地址要在虚拟机中修改）

在这里插入图片描述

在终端输入cd /opt/hadoop-3.1.3/sbin/ 进入新的目录
配置start-dfs.sh：输入vi start-dfs.sh打开文件后添加

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

配置stop-dfs.sh：输入vi stop-dfs.sh打开文件后添加

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

修改主机名

# 查看主机名称
hostname# 修改主机名
hostnamectl --static set-hostname kingssm

设置静态IP
终端输入ip route查看网关
在这里插入图片描述
输入vi /etc/sysconfig/network-scripts/ifcfg-ens33修改文件：修改或添加下面的内容，IP地址自己选择，但是注意要和网关对应，如网关是192.168.12.128，那IP地址前面就得是192.168.12，后面那部分自己随意，NDS1和网关一样，子网掩码是255.255.255.0

在这里插入图片描述

添加虚拟机之间的映射
终端输入vi /etc/hosts，添加

在这里插入图片描述

SSH免密登录
首先运行

ssh localhost

正常情况下是免密登录的，如果你还要输入密码的话，那就是你ssh没有配置好。这里要说一下的是ssh7.0之后就关闭了dsa的密码验证方式，如果你的秘钥是通过dsa生成的话，需要改用rsa来生成秘钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再次运行

ssh localhost

如果不需要输入密码，说明ssh配置好了。接下来运行

ssh-keygen -t rsa 然后一直回车；
等可以再次输入时输入下面命令将公钥发布出去：
ssh-copy-id kingssm
ssh-copy-id slave1
ssh-copy-id slave2

五、克隆虚拟机，启动集群

把当前正在使用的kingssm虚拟机关闭，然后克隆两台虚拟机。

点击虚拟机------>右键------>管理------>克隆------>完全克隆

等克隆完之后，三台虚拟机都打开，然后对克隆出来的两台分别设置主机名slave1和slave2，并修改IP地址

启动集群
三台虚拟机都需要先格式化

打开终端，以root身份操作，三台都要输入hadoop namenode -format进行格式化

格式化完成后，在kingssm中启动集群，输入start-all.sh启动集群，（如果关闭，输入stop-all.sh）

启动完后输入jps查看启动状态，kingssm和slave应该有以下信息

在这里插入图片描述

在这里插入图片描述

访问网页查看结果：kingssm:9870

在这里插入图片描述

访问网页查看结果：kingssm:8088

在这里插入图片描述

六、hive安装

修改hadoop的 core-site.xml中, 添加以下内容:

修改hadoop 配置文件 /opt/hadoop-3.1.3/core-site.xml,加入如下配置项:

<property><name>hadoop.proxyuser.root.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>

软件包下载 apache-hive-3.1.2-bin.tar.gz，上传/usr目录下并解压重命名hive

cd /opt
tar -xzvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin

修改 hive的环境配置文件: hive-env.sh

cd /export/server/hive-3.1.2/conf
cp hive-env.sh.template  hive-env.sh
vim hive-env.sh

修改一下内容:

# 配置hadoop的家目录
HADOOP_HOME=/opt/hadoop-3.1.3/
# 配置hive的配置文件的路径
export HIVE_CONF_DIR=/opt/hive/conf/
# 配置hive的lib目录
export HIVE_AUX_JARS_PATH=/opt/hive/lib/

创建配置文件

cd /opt/conf/
vi hive-site.xml

将以下内容复制配置文件中

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://kingssm:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>hive.cli.print.current.db</name><value>true</value></property><!-- 远程模式部署metastore 服务地址 --><property><name>hive.metastore.uris</name><value>thrift://kingssm:9083</value></property><property><name>hive.cli.print.header</name><value>true</value></property><property><name>hive.server2.thrift.bind.host</name><value>kingssm</value></property><property><name>hive.server2.thrift.port</name><value>10000</value></property>
</configuration>
vi /etc/profile

export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

连接MySQL, 用户名root, 密码root

mysql -uroot -proot

创建hive元数据, 需要和hive-site.xml中配置的一致sql
创建数据库, 数据库名为: metastore

create database metastore;
show databases;

初始化元数据库

schematool -initSchema -dbType mysql -verbose

看到schemaTool completed 表示初始化成功

验证安装

hive

退出

quit;

如遇以下错误及解决方法：

在这里插入图片描述

hadoo的slf4j和hive两个slf4j冲突

删除 /opt/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar

在这里插入图片描述

hadoop和hive的两个guava.jar版本不一致

将高版本的替换到底版本的

在这里插入图片描述

创建HDFS的hive相关的目录

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

启动 hive的服务: metastore

先启动metastore服务项:
前台启动:

cd /opt/hive/bin
hive --service metastore

​ 注意: 前台启动后, 会一直占用前台界面, 无法进行操作
​ 好处: 一般先通过前台启动, 观察metastore服务是否启动良好
前台退出: ctrl + c

后台启动:
当前台启动没有任何问题的时候, 可以将其退出, 然后通过后台启动, 挂载后台服务即可

cd /opt/hive/bin
nohup hive --service metastore &

​ 启动后, 通过 jps查看, 是否出现一个runjar 如果出现 说明没有问题(建议搁一分钟左右, 进行二次校验)
​ 注意: 如果失败了, 通过前台启动, 观察启动日志, 看一下是什么问题, 尝试解决

后台如何退出:
通过 jps 查看进程id 然后采用 kill -9

启动hive的服务: hiveserver2服务

接着启动hiveserver2服务项:
前台启动:

cd /opt/hive/bin
hive --service hiveserver2

​ 注意: 前台启动后, 会一直占用前台界面, 无法进行操作
​ 好处: 一般先通过前台启动, 观察hiveserver2服务是否启动良好
前台退出: ctrl + c

后台启动:
当前台启动没有任何问题的时候, 可以将其退出, 然后通过后台启动, 挂载后台服务即可

cd /opt/hive/bin
nohup hive --service hiveserver2 &

​ 启动后, 通过 jps查看, 是否出现一个runjar 如果出现 说明没有问题(建议搁一分钟左右, 进行二次校验)
​ 注意: 如果失败了, 通过前台启动, 观察启动日志, 看一下是什么问题, 尝试解决

后台如何退出:
通过 jps 查看进程id 然后采用 kill -9

基于beeline的连接方式

cd /opt/hive/bin
beeline --进入beeline客户端
连接hive:
!connect jdbc:hive2://kingssm:10000
接着输入用户名: root
最后输入密码: 无所谓(一般写的都是虚拟机的登录密码)

可能出行问题

在这里插入图片描述

到我们hadoop下的/opt/hadoop-3.1.3/data/datanode/current下去修改VERSION文件，把datanodeUuid改成两个不同的id就可以了，随便改都可以~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/151264.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

TCP/IP(十七)实战抓包分析(一)ICMP

TCP/IP(十七)实战抓包分析(一)ICMP

一 TCP实战抓包分析 网络排查案例 ① 抓包分析涉及的内容 关于&#xff1a; TCP理论知识和tcpdump命令的知识,前面已经铺垫过了,这里不再赘述下面罗列了TCP的重点知识 客户端工具&#xff1a; curl、wget、postman、telnet、浏览器、ncwget --bind-addressADDRESS 指定…
阅读更多...
配置Super-VLAN下的DHCP服务器示例

配置Super-VLAN下的DHCP服务器示例

组网需求 如图1所示&#xff0c;某公司拥有两个部门&#xff0c;为了节省IP地址&#xff0c;部门A和部门B规划为同一网段&#xff1b;为了提升业务安全性&#xff0c;将不同部门的用户划分到不同VLAN中。企业管理员为了方便统一管理&#xff0c;希望部门内终端通过DHCP服务器动…
阅读更多...
UE4 使用材质后期 制作玻璃有雨效果

UE4 使用材质后期 制作玻璃有雨效果

效果展示&#xff0c;其实这是一个动画效果 以上为所有逻辑 拿到TexCoord给到Panner&#xff0c;Time和Speed都是通过下面计算而来&#xff0c;后面讲&#xff0c;再拿到时间和速度值过后&#xff0c;加上扰动值&#xff0c;最后取G值&#xff0c;因为雨事从上而下的动&#xf…
阅读更多...
STM32 定时器介绍

STM32 定时器介绍

STM32F103系列单片机定时器主要有&#xff1a;系统定时器SysTick&#xff0c;2个高级定时器TIM1和TIM8&#xff0c;4个通用定时器TIM2/3/4/5&#xff0c;2个基本定时器TIM6和TIM7。下面先简单介绍一下&#xff1a; 基本定时器&#xff1a;基本定时器只能计时&#xff0c;不能产…
阅读更多...
Postman的高级使用，傻瓜式学习【下】

Postman的高级使用，傻瓜式学习【下】

目录 前言 1、全局变量、环境变量 1.1、概念&#xff1a; 1.2、如何设置全局变量、环境变量 1.3、获取全局变量、环境变量 1.4、案例1&#xff1a;手动设置变量&#xff0c;请求参数获取 1.5、案例2&#xff1a;代码设置变量&#xff0c;代码获取变量 2、Postman读取外部…
阅读更多...
代码随想录算法训练营第三十五天丨 贪心算法part06

代码随想录算法训练营第三十五天丨 贪心算法part06

738.单调递增的数字 思路 暴力解法 题意很简单&#xff0c;那么首先想的就是暴力解法了【超时】。 贪心算法 题目要求小于等于N的最大单调递增的整数&#xff0c;那么拿一个两位的数字来举例。 例如&#xff1a;98&#xff0c;一旦出现strNum[i - 1] > strNum[i]的情况…
阅读更多...
在VMware Workstation Pro安装win7

在VMware Workstation Pro安装win7

1.下载 地址 2.创建虚拟机 3.选择需要安装的系统镜像 4.选择系统版本 通常情况下选择 Windows 7 Ultimate 旗舰版&#xff0c;点击下一步&#xff0c;若提示产品密钥&#xff0c;则忽略 5.虚拟机命名 虚拟机保存位置保持默认即可&#xff0c;如果有需求可以更换位置 6…
阅读更多...
C++之特殊类的设计

C++之特殊类的设计

目录 一、单例模式 1、设计模式 2、单例模式 1、饿汉模式 2、懒汉模式 3、单例对象的释放问题 二、设计一个不能被拷贝的类 三、设计一个只能在堆上创建对象的类 四、设计一个只能在栈上创建对象的类 五、设计一个不能被继承的类 一、单例模式 1、设计模式 概念&am…
阅读更多...
LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略

LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略

LLMs之ChatGLM3&#xff1a;ChatGLM3/ChatGLM3-6B的简介(多阶段增强多模态理解AgentTuning技术)、安装、使用方法之详细攻略 导读&#xff1a;2023年10月27日&#xff0c;智谱AI在2023中国计算机大会上推出了全自研的第三代基座大模型ChatGLM3及其相关系列产品&#xff0c;这是…
阅读更多...
科技联众，互利共赢 | 卡驰科技（深圳）有限公司CEO张倍铭博士到访拓世科技集团，共探跨境电商，海外拓展无限可能

科技联众，互利共赢 | 卡驰科技（深圳）有限公司CEO张倍铭博士到访拓世科技集团，共探跨境电商，海外拓展无限可能

在创新的浪潮中&#xff0c;人工智能以其强大的能量持续推动着各行各业的进步&#xff0c;拓世科技集团作为人工智能领域的引领者&#xff0c;通过不断合作和交流&#xff0c;与众多领域的佼佼者共同探讨数字时代的无限可能。卡驰科技&#xff08;深圳&#xff09;有限公司作为…
阅读更多...
代码随想录打卡第五十三天|309.最佳买卖股票时机含冷冻期 ● 714.买卖股票的最佳时机含手续费

代码随想录打卡第五十三天|309.最佳买卖股票时机含冷冻期 ● 714.买卖股票的最佳时机含手续费

309.最佳买卖股票时机含冷冻期 题目&#xff1a; 给定一个整数数组prices&#xff0c;其中第 prices[i] 表示第 i 天的股票价格 。​ 设计一个算法计算出最大利润。在满足以下约束条件下&#xff0c;你可以尽可能地完成更多的交易&#xff08;多次买卖一支股票&#xff09;: 卖…
阅读更多...
轻量封装WebGPU渲染系统示例＜2＞-彩色立方体(源码)

轻量封装WebGPU渲染系统示例＜2＞-彩色立方体(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/version-1.01/src/voxgpu/sample/VertColorCube.ts 此示例渲染系统实现的特性: 1. 用户态与系统态隔离。 2. 高频调用与低频调用隔离。 3. 面向用户的易用性封装。 4. 渲染数据和渲染机制分离。 5. …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023