探索数据湖中的巨兽:Apache Hive分布式SQL计算平台浅度剖析!

文章目录

  • ◆ Apache Hive 概述
    • 1.1 分布式SQL计算
    • 1.2 Hive的优势
  • ◆ 模拟实现Hive功能
    • 2.1 元数据管理
    • 2.2 解析器
    • 2.3 基础架构
    • 2.4 Hive架构
  • ◆ Hive基础架构
    • 3.1 Hive架构图
    • 3.2 Hive组件
      • 3.2.1 元数据存储
      • 3.2.2 Driver驱动程序
      • 3.2.3 用户接口
  • ◆ Hive部署
    • 4.1 VMware虚拟机部署
      • 步骤一:安装MySQL数据库
      • 步骤2:配置Hadoop
      • 步骤3:下载解压Hive
      • 步骤4:提供MySQL Driver包
      • 步骤5:配置Hive
      • 步骤6:初始化元数据库
      • 步骤7:启动Hive(使用Hadoop用户)
  • ◆ Hive初体验
    • 5.1 hiveShell初体验
    • 5.2 补充:JPS命令
  • ◆ Hive客户端
    • 6.1 HiveServer2服务
    • 6.2 HiveServer2服务 启动
    • 6.3 Beeline
    • 6.4 DataGrip链接Hive

◆ Apache Hive 概述

1.1 分布式SQL计算

在这里插入图片描述

  • 对数据进行统计分析,SQL是目前最为方便的编程工具
  • 大数据体系中充斥着非常多的统计分析场景,所以,使用SQL去处理数据,在大数据中也是有极大的需求的

  • MapReduce支持程序开发(Java、Python等),但不支持SQL开发
  • Apache Hive是一款分布式SQL计算的工具, 其主要功能是:将SQL语句 翻译成MapReduce程序运行
    在这里插入图片描述
  • 基于Hive为用户提供了分布式SQL计算的能力写的是SQL、执行的是MapReduce

1.2 Hive的优势

  • 操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)
  • 底层执行MapReduce,可以完成分布式海量数据的SQL处理

◆ 模拟实现Hive功能

在这里插入图片描述

2.1 元数据管理

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 总结
  • 构建数据库首先需要拥有元数据管理功能,即:数据位置、数据结构、对数据进行描述 进行记录
    在这里插入图片描述

2.2 解析器

  • 解决了元数据管理后,我们还有一个至关重要的步骤, 即完成SQL到MapReduce转换的功能。
    在这里插入图片描述
  • SQL解析器需要完成的功能:
    • SQL分析
    • SQL到MapReduce程序的转换
    • 提交MapReduce程序运行并收集执行结果

2.3 基础架构

在这里插入图片描述

  • 至此,一款基于MapReduce的,分布式SQL执行引擎的基础构建完成。
  • 核心组件需要有:
    • 元数据管理,帮助记录各类元数据
    • SQL解析器,完成SQL到MapReduce程序的转换

2.4 Hive架构

  • Apache Hive其2大主要组件就是:SQL解析器以及元数据存储。
    在这里插入图片描述

◆ Hive基础架构

3.1 Hive架构图

在这里插入图片描述

3.2 Hive组件

3.2.1 元数据存储

  • 元数据通常存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是
    否为外部表等),表的数据所在目录等。
  • Hive提供了 Metastore 服务进程提供元数据管理功能
    在这里插入图片描述

3.2.2 Driver驱动程序

  • Driver驱动程序,包括语法解析器、计划编译器、优化器、执行器
  • 功能:完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后有执行引擎调用执行。
  • 这部分内容不是具体的服务进程,而是封装在Hive所依赖的Jar文件即Java代码中。
    在这里插入图片描述

3.2.3 用户接口

  • 用户接口包括 CLI、JDBC/ODBC、WebGUI
    • CLI(command line interface)为shell命令行
    • Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互,类似于JDBC或ODBC协议。
    • WebGUI是通过浏览器访问Hive
  • Hive提供了 Hive Shell、 ThriftServer等服务进程向用户提供操作接口
    在这里插入图片描述

◆ Hive部署

  • Hive是分布式运行的框架还是单机运行的?
  • Hive是单机工具,只需要部署在一台服务器即可。Hive虽然是单机的,但是它可以提交分布式运行的MapReduce程序运行

4.1 VMware虚拟机部署

  • Hive是单机工具,需要准备一台服务器供Hive使用即可。同时Hive需要使用元数据服务,即需要提供一个关系型数据库,我们也选择一台服务器安装关系型数据库即可。
    在这里插入图片描述

步骤一:安装MySQL数据库

  • 这里展示课件中的MYSQL5.7安装方式和使用MySQL8.+版本的操作,请按照喜欢选择

  • 在node1节点使用yum在线安装MySQL5.7版本
# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm# yum安装Mysql
yum -y install mysql-community-server# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld# 检查Mysql服务状态
systemctl status mysqld# 第一次启动mysql,会在日志文件中生成root用户的一个随机密码,使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log
# 修改root用户密码
mysql -u root -p -h localhost
Enter password:mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';# 如果你想设置简单密码,需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;	 # 密码长度最低4位即可# 然后就可以用简单密码了(课程中使用简单密码,为了方便,生产中不要这样)
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';/usr/bin/mysqladmin -u root password 'root'grant all privileges on *.* to root@"%" identified by 'root' with grant option;  
flush privileges;

  • 在node1节点使用yum在线安装MySQL8.+版本
  1. 更新软件

    sudo yum update
    
  2. 安装 MySQL 官方的 Yum Repository:

    sudo rpm -ivh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
    
  3. 安装 MySQL 服务器:

    sudo yum install mysql-server --nogpgcheck
    
  4. 启动 MySQL 服务:

    sudo systemctl start mysqld
    
    • 设置MySQL 服务在系统启动时自动启动
    sudo systemctl enable mysqld
    
  5. 获取初始密码并进行安全设置:

    • 当次安装 MySQL 8 之后,它会为 root 用户生成一个随机的临时密码。通过查看日志来获得这个密码:
    sudo grep 'temporary password' /var/log/mysqld.log
    
  6. 登录到 MySQL,输入之前设置的 root 用户的密码:

    mysql -u root -p
    
  7. 然后,设置root用户密码:

    # 设置用户密码xxxxx
    ALTER USER 'root'@'localhost' IDENTIFIED BY 'xxxxx';
    

  • 以下操作时给与root用户的远程登录权限
  1. 创建或修改用户
    • 如果root@"%"用户不存在:
    CREATE USER 'root'@'%' IDENTIFIED BY 'xxx';
    
    • 如果root@"%"用户已存在,并且您只是想更新密码:
      ALTER USER 'root'@'%' IDENTIFIED BY 'xxx';
    
  2. 赋予权限
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
    
  3. 刷新权限
    FLUSH PRIVILEGES;
    
  4. 退出
    exit
    

步骤2:配置Hadoop

  • Hive的运行依赖于Hadoop(HDFS、MapReduce、YARN都依赖),同时涉及到HDFS文件系统的访问,所以需要配置Hadoop的代理用户,即设置hadoop用户允许代理(模拟)其它用户。
  • 配置如下内容在Hadoop的core-site.xml中,并分发到其它节点,且重启HDFS集群
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>

步骤3:下载解压Hive

  1. 切换到hadoop用户
    su - hadoop
    
  2. 下载Hive安装包,打开apache归档网址,点击公共软件版本档案,Ctrl+F查找hive打开目录,找到3.1.3版本进行下载
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

  1. 解压到node1服务器的:/export/server/内
    tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/
    
  2. 设置软连接
    ln -s /export/server/apache-hive-3.1.3-bin/ /export/server/hive
    

步骤4:提供MySQL Driver包

  • 下载MySQL驱动包
    在这里插入图片描述
  • ·将下载好的驱动jar包,放入: Hive安装文件夹的lib目录内
mv mysql-connector-java-8.0.30.jar /export/server/hive/lib/

步骤5:配置Hive

  • 在Hive的conf目录内,新建hive-env.sh文件,填入以下环境变量内容:
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib
  • 在Hive的conf目录内,新建hive-site.xml文件,填入以下内容【注意修改Mysql连接密码为自己的密码】
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>xxxx</value></property><property><name>hive.server2.thrift.bind.host</name><value>node1</value></property><property><name>hive.metastore.uris</name><value>thrift://node1:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property>
</configuration>

步骤6:初始化元数据库

  1. Hive的配置已经完成,现在在启动Hive前,需要先初始化Hive所需的元数据库
  2. 在MySQL中新建数据库:hive
CREATE DATABASE hive CHARSET UTF8;
  1. 执行元数据库初始化命令:
#进入hive的bin目录
cd /export/server/hive/bin/
#执行初始化命令
./schematool -initSchema -dbType mysql -verbos
  1. 初始化成功后,会在MySQL的hile库中新建74张元数据管理的表

步骤7:启动Hive(使用Hadoop用户)

  • 确保Hive文件夹所属为hadoop用户,创建一个hive的日志文件夹:
    mkdir /export/server/hive/logs
    
  • 启动元数据管理服务(必须启动,否则无法工作)
    • 前台启动:bin/hive --service metastore
    • 后台启动【推荐】:nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
      在这里插入图片描述
    • nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &含义:将元数据相关的日志存储到logs/文件夹下
  • 启动客户端,二选一(当前先选择Hive Shell方式)
    • Hive Shell方式(可以直接写SQL): /bin/hive
    • Hive ThriftServer方式(不可直接写SQL,需要外部客户端链接使用): bin/hive --service hiveserver2
      在这里插入图片描述

◆ Hive初体验

5.1 hiveShell初体验

  • 首先,确保启动Metastore服务。
    jps
    ps -ef|grep 端口号
    

在这里插入图片描述

  • 在hive目录下执行:bin/hive,进入到Hive Shell环境中,可以直接执行SQL语句

  • 创建表

    CREATE TABLE test(id INT, name STRING, gender STRING);
    
  • 插入数据

    INSERT INTO test VALUES(1,'王力红','男'),(2,'周杰轮','男'),(3, '林志灵','女');
    

在这里插入图片描述

  • 查询数据

    SELECT gender, COUNT(*) AS cnt FROM test GROUP BY gender;
    
  • 验证Hive的数据存储

    • Hive的数据存储在HDFS的:/user/hive/warehouse
      在这里插入图片描述
      在这里插入图片描述
  • 验证SQL语句启动的MapReduce程序

    • 打开YARN的WEB UI页面查看任务情况:http://node1:8088
      在这里插入图片描述

5.2 补充:JPS命令

  • 在Linux系统中,jps 命令并不是自带的命令,而是Java开发工具包(JDK)提供的工具。
  • 在Linux系统中安装了JDK,可以在JDK的安装路径下的bin目录中找到 jps 命令。通常,安装JDK后,你可以通过在终端中输入 jps 来执行该命令。但在某些Linux发行版中,jps 命令可能需要通过设置环境变量或使用完整的路径来执行。
  • jps 是 Java Virtual Machine Process Status Tool(Java虚拟机进程状态工具)的缩写。它是Java开发工具包中的一个命令行工具,用于列出当前系统中所有正在运行的Java进程的相关信息。jps 命令通常用于诊断和监控Java应用程序的运行状态。
  • 使用 jps 命令可以列出正在运行的Java进程的进程ID(PID)以及这些进程的主类名。它可以帮助开发人员确定系统中正在运行的Java进程及其状态,特别是在进行多进程调试或监控的情况下。
  • ps 命令常用的选项和用法:
  1. jps:列出并显示所有正在运行的Java进程的进程ID和主类名。
  2. jps -l 或 jps --list:显示进程ID、主类名以及传递给主类的参数。
  3. jps -v 或 jps --verbose:显示进程ID、主类名、传递给主类的参数以及JVM的启动参数。
  4. jps -m 或 jps --m:显示进程ID、主类名、传递给主类的参数以及传递给JVM的参数。
  5. jps -q 或 jps --quiet:只显示进程ID,不显示主类名。

◆ Hive客户端

6.1 HiveServer2服务

在启动Hive的时候,除了必备的Metastore服务外,还有2种方式使用Hive

  • 方式1: bin/hive 即Hive的Shell客户端,可以直接写SQL
  • 方式2: bin/hive --service hiveserver2
    • 后台执行脚本:nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &
      bin/hive --service metastore,启动的是元数据管理服务
      bin/hive --service hiveserver2,启动的是HiveServer2服务
  • HiveServer2是Hive内置的一个ThriftServer服务,提供Thrift端口供其它客户端链接.可以连接ThriftServer的客户端有:
  • Hive内置的 beeline客户端工具(命令行工具)
  • 第三方的图形化SQL工具,如DataGrip、DBeaver、Navicat等

  • Hive的客户端体系
    在这里插入图片描述

6.2 HiveServer2服务 启动

  • 在hive安装的服务器上,首先启动metastore服务,然后启动hiveserver2服务
#先启动metastore服务 然后启动hiveserver2服务
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

在这里插入图片描述

6.3 Beeline

  • 在node1上使用beeline客户端进行连接访问。需要注意hiveserver2服务启动之后需要稍等一会才可以对外提供服务。
    # 在hive目录下执行
    bin/beeline
    
  • Beeline是JDBC的客户端,通过JDBC协议和Hiveserver2服务进行通信,协议的地址是:jdbc:hive2://node1:10000
    在这里插入图片描述

6.4 DataGrip链接Hive

  • DataGrip、Dbeaver、SQuirrel SQL Client等可以在Windows、MAC平台中通过JDBC连接HiveServer2的图形界面工具;
  • 这类工具往往专门针对SQL类软件进行开发优化、页面美观大方,操作简洁,更重要的是SQL编辑环境优雅;
  • SQL语法智能提示补全、关键字高亮、查询结果智能显示、按钮操作大于命令操作;

  • DataGrip是由JetBrains公司推出的数据库管理软件,DataGrip支持几乎所有主流的关系数据库产品,如DB2、Derby、
    MySQL、Oracle、SQL Server等,也支持几乎所有主流的大数据生态圈SQL软件,并且提供了简单易用的界面。
  1. windows创建工程文件夹
    在这里插入图片描述

  2. DataGrip中创建新Project
    在这里插入图片描述

  3. DataGrip连接Hive
    在这里插入图片描述

  4. 配置配置Hiveserver2服务连接信息和Hive JDBC连接驱动
    在这里插入图片描述
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/87480.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【conda install】网络慢导致报错CondaHTTPError: HTTP 000 CONNECTION FAILED for url

⭐⭐问题&#xff1a; 部署安装环境经常会出现由于网络慢问题&#xff0c;导致conda安装不了库&#xff0c;报错如下&#xff1a; Solving environment: failedCondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/…

【UE5】虚幻5教程-如何解决场景远处植被没有阴影

没有阴影的远处植被 下面是解决的方法。 首先打开项目设置 项目设置 点击左侧的渲染 渲染 在框内输入“距离”&#xff0c;并选择生成距离场。 光源内添加“定向光源”&#xff0c;如果已有可以忽略。 点击“directional light"并在下方找到"距离场阴影&qu…

【ag-grid-vue】列定义(Updating Column Definitions)

列定义一节解释了如何配置列。可以在初始设置列之后更改列的配置。本节介绍如何更新列定义。 添加和删除列 可以通过更新提供给网格的列定义列表来添加和删除列。当设置新列时&#xff0c;网格将与当前列进行比较&#xff0c;并计算出哪些列是旧的(要删除)、哪些列是新的(创建…

6、css学习6(表格)

1、指定CSS表格边框&#xff0c;使用border属性。 2、表格双边框是因为th/td有各自独立的边框。 3、boder-collapse设置表格边框是否被折叠成一个单一的边框。 4、width和height属性定义表格的宽度和高度。 5、text-align属性设置水平对齐方式。 6、vertic-align属性设置垂…

网络服务第二次作业

[rootlocalhost ~]# vim /etc/httpd/conf.d/vhosts.conf <Virtualhost 192.168.101.200:80> #虚拟主机IP及端口 DocumentRoot /www/openlab #网页文件存放目录 ServerName www.openlab.com #服务器域名 </VirtualHost> …

Flutter 逆向安全

前言&#xff1a; 前几天在 "学习" 一个项目&#xff0c; 发现是用 Flutter 开发的。之前研究过 flutter 的逆向&#xff0c;早期 Flutter 有工具可以通过快照进行反编译&#xff1a;《对照表如下》 新的版本开发者没有维护了。 目前没有很好的工具 可以对 Flutter 进…

2023高教社杯数学建模思路 - 案例:FPTree-频繁模式树算法

文章目录 算法介绍FP树表示法构建FP树实现代码 建模资料 ## 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 算法介绍 FP-Tree算法全称是FrequentPattern Tree算法&#xff0c;就是频繁模式树算法&#xff0c…

JavaIO流

JavaIO流 一、概念二、File类三、File类的使用1、File文件/文件夹类的创建2、File类的获取操作3、File类判断操作 - boolean4、File类对文件/文件夹的增删改5、File类的获取子文件夹以及子文件的方法 四、Java中IO流多种维度的维度1、按照流向 - Java程序2、按照流的大小分类3、…

【UE5】用法简介-使用MAWI高精度树林资产的地形材质与添加风雪效果

首先我们新建一个basic工程 然后点击floor按del键&#xff0c;把floor给删除。 只留下空白场景 点击“地形” 在这个范例里&#xff0c;我只创建一个500X500大小的地形&#xff0c;只为了告诉大家用法&#xff0c;点击创建 创建好之后有一大片空白的地形出现 让我们点左上角…

Unity创建一个可移动的2D角色

文章目录 创建角色与场景创建地面 角色控制脚本检测地面 运行结果 创建角色与场景 我们首先创建一个角色&#xff0c;这里我新建了一个胶囊体用来当Player&#xff0c;一个Square用来当地面。 接下来&#xff0c;为角色增加碰撞体和刚体&#xff0c;为地面增加碰撞体。然后我…

Matlab图像处理-除法运算

除法运算 除法运算可用于去除数字化器灵敏度随空间变化造成的影响。图像的除法运算给出的是两幅图像相应像素值的变化比率&#xff0c;而不是每个像素的绝对差异&#xff0c;因而图像除法也称为比率变换&#xff0c;常用于校正成像设备的非线性影响。 在 MATLAB图像处理工具箱…

Nginx-报错no live upstreams while connecting to upstream

1、问题描述 生产环境Nginx间歇性502的事故分析过程 客户端请求后端服务时一直报错 502 bad gateway&#xff0c;查看后端的服务是正常启动的。后来又查看Nginx的错误日志&#xff0c;发现请求后端接口时Nginx报错no live upstreams while connecting to upstream&#xff0c…