【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

本文参考链接置顶： Presto使用Docker独立运行Hive Standalone Metastore管理MinIO（S3）_hive minio_BigDataToAI的博客-CSDN博客

一. 背景

团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark访问minio。在使用trino访问minio时，需要使用hive的metastore service，经过调查HMS(Hive Metastore Service)是可以独立于hive组件的，即不需要整体安装hive，只部署HMS就可以使用trino通过HMS来访问minio。

二. 环境和步骤

1. 一台centos7服务器，装有docker, IP地址10.38.199.202

2. 使用mysql5.7.35作为HMS的元数据存储，使用dockers部署mysql服务

3. 使用docker部署HMS，这里部署在另外一台server上，IP地址10.38.199.201

4. 部署minio对象存储服务（本篇略去，使用已提供的服务）

5. 部署trino，配置metasotre服务及访问minio，trino部署在IP地址10.38.199.203

三. 部署mysql服务

1.拉取mysql镜像，版本5.7.35

docker pull mysql:5.7.35

2.查看镜像

docker images|grep mysql

3.启动mysql服务

docker run -p 3306:3306 --name mysql --privileged=true \
-v /usr/local/mysql/log:/var/log/mysql \
-v /usr/local/mysql/data:/var/lib/mysql \
-v /usr/local/mysql/conf:/etc/mysql \
-v /etc/localtime:/etc/localtime:ro \
-e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.35

4.查看mysql容器

docker ps|grep mysql

5.查看mysql日志

docker logs -f mysql

启动成功

6.使用DBEVEA连接mysql服务，成功连接，并查看database

7.创建一个HMS的空数据库metastore，后面HMS会用这个数据库存储元数据

四. 部署HMS，mestasotre service

1.部署前需要几个安装包

  • jdk安装包，自行下载，版本1.8以上
  • HMS安装包hive-standalone-metastore-3.1.2-bin.tar.gz，地址Central Repository: org/apache/hive/hive-standalone-metastore/3.1.2
  • mysql connect jar包mysql-connector-java-5.1.49.jar，地址https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.49
  • hadoop环境包hadoop-3.2.2.tar.gz，HMS需要依赖于它，地址Index of /dist/hadoop/common/hadoop-3.2.2

2.编写metastore.xml

编写前注意几个参数

minio的参数必须给出

  • fs.s3a.endpoint
  • fs.s3a.access.key
  • fs.s3a.secret.key

mysql参数

  • javax.jdo.option.ConnectionURL
  • javax.jdo.option.ConnectionUserName
  • javax.jdo.option.ConnectionPassword

metastore参数

  • metastore.thrift.uris  准备发布的metastore service URL
  • metastore.warehouse.dir hive表数据存储位置
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>fs.s3a.access.key</name><value>bymOcmUZ6K8n5ApBu7Ee</value></property><property><name>fs.s3a.secret.key</name><value>lVtSARGXqypPpCRQ7LesGsfhRw3dE4imZoBs8ydS</value></property><property><name>fs.s3a.connection.ssl.enabled</name><value>false</value></property><property><name>fs.s3a.path.style.access</name><value>true</value></property><property><name>fs.s3a.endpoint</name><value>http://10.38.199.211:9000</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://10.38.199.202:3306/metastore?useSSL=false&amp;serverTimezone=UTC</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>metastore.thrift.uris</name><value>thrift://10.38.199.201:9083</value><description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description></property><property><name>metastore.task.threads.always</name><value>org.apache.hadoop.hive.metastore.events.EventCleanerTask</value></property><property><name>metastore.expression.proxy</name><value>org.apache.hadoop.hive.metastore.DefaultPartitionExpressionProxy</value></property><property><name>metastore.warehouse.dir</name><value>/tmp</value></property>
</configuration>

将这些包和metastore.xml文件放在同一目录

3.创建Dockerfile

编写Dockerfile

FROM centos:centos7WORKDIR /installADD jdk.tar.gz /installRUN pwd
ADD hive-standalone-metastore-3.1.2-bin.tar.gz /install
RUN mv /install/apache-hive-metastore-3.1.2-bin metastoreADD hadoop-3.2.2.tar.gz /install
#RUN mv /install/hadoop-3.2.2 hadoopRUN ls
ADD mysql-connector-java-5.1.49.jar ./metastore/libENV JAVA_HOME=/install/jdk
ENV HADOOP_HOME=/install/hadoop-3.2.2RUN rm -f /install/metastore/lib/guava-19.0.jar \&& cp ${HADOOP_HOME}/share/hadoop/common/lib/guava-27.0-jre.jar /install/metastore/lib \&& cp ${HADOOP_HOME}/share/hadoop/tools/lib/hadoop-aws-3.2.2.jar /install/metastore/lib \&& cp ${HADOOP_HOME}/share/hadoop/tools/lib/aws-java-sdk-bundle-*.jar /install/metastore/lib# copy Hive metastore configuration file
ADD metastore-site.xml /install/metastore/conf/# Hive metastore data folder
VOLUME ["/tmp"]WORKDIR /install/metastoreRUN bin/schematool -initSchema -dbType mysqlCMD ["/install/metastore/bin/start-metastore"]

创建镜像，创建的同时会在mysql的metastore数据库中创建基表

查看mysql中的metastore数据库中是否创建了基表，成功

4.启动metastore service容器并查看状态

--启动容器
docker run -d -p 9083:9083/tcp --name minio-hive-metastore minio-hive-standalone-metastore:v1.0--查看容器
docker ps|grep minio-hive-metastore

五. 部署并配置trino

trino单机部署不再介绍，catalog中参数配置如下，最新配置了hiveminio.properties这个catalog

启动trino

bin/launcher start

六.测试trino通过HMS访问minio

1.进入trino控制台

./trino --server http://10.38.199.203:8091 --catalog hiveminio --schema default
show schemas;show tables;

2.创建一个schemas “zytest”，指向mino的buket “zytest”，并创建一张表sample_table，插入一行数据，检查mimio界面是否插入成功

3.文件挂载，在minio的zytest下面，创建一个新的path external_path，然后放入一个parquet文件

在trino中创建表挂载这个目录，并查询表数据

至此，整个测试完成！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/210062.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

k8s部署的java服务查看连接nacos缓存的配置文件

k8s部署的java服务查看连接nacos缓存的配置文件

一、问题描述 k8s部署的java服务&#xff0c;使用nacos中的配置文件&#xff0c;需要在缓存中查看该服务具体是使用到了哪些配置文件 二、解决 参考文档: https://nacos.io/zh-cn/docs/system-configurations.html 文档描述如下: 进入java服务容器进入用户目录下的nacos&a…
阅读更多...
一体化大气环境监测设备实时守护我们的空气质量

一体化大气环境监测设备实时守护我们的空气质量

WX-CSQX12 随着空气污染问题的日益严重&#xff0c;大气环境监测设备成为了我们生活中不可或缺的一部分。而一体化的大气环境监测设备&#xff0c;更是为我们的环境保护工作带来了更多的便利和效益。 一体化大气环境监测设备是一种集成了多种功能于一体的环保设备&#xff0c;…
阅读更多...
使用JVS低代码表单引擎高效管理文件，实现个性化需求

使用JVS低代码表单引擎高效管理文件，实现个性化需求

在数字化、信息化的时代&#xff0c;文件上传与管理功能已经成为了各类应用系统的标配。无论是在办公自动化、项目管理还是内容管理系统中&#xff0c;我们都希望能轻松、高效地完成文件的上传、查看和管理。JVS低代码表单引擎提供了文件类组件。无论是文件类型、大小的限制&am…
阅读更多...
景区智慧旅游智能化系统方案：PPT全文58页，附下载

景区智慧旅游智能化系统方案：PPT全文58页，附下载

关键词&#xff1a;智慧景区解决方案&#xff0c;智慧文旅解决方案&#xff0c;智慧旅游解决方案&#xff0c;智慧文旅综合运营平台 一、景区智慧旅游智能化系统建设背景 近年来&#xff0c;随着信息技术的快速发展和普及&#xff0c;以及旅游市场的不断扩大和升级&#xff0…
阅读更多...
非遗数字保护的崭新篇章：十八数藏柏松的文化守护

非遗数字保护的崭新篇章：十八数藏柏松的文化守护

在数字时代&#xff0c;非遗数字保护崭新的篇章由十八数藏柏松书写。这个数字保护的使者不仅仅是文化的守护者&#xff0c;更是文化传承的崭新篇章的开创者。 首先&#xff0c;十八数藏柏松以数字技术作为媒介&#xff0c;将传统非物质文化遗产数字化&#xff0c;为其创造了一个…
阅读更多...
视频剪辑有妙招：批量置入封面，轻松提升视频效果

视频剪辑有妙招：批量置入封面，轻松提升视频效果

随着社交媒体的兴起&#xff0c;视频已经成为分享和交流的重要方式。无论是专业的内容创作者还是普通的社交媒体用户&#xff0c;都要在视频剪辑上下一番功夫&#xff0c;才能让视频更具吸引力。而一个吸引的封面往往能在一瞬间抓住眼球&#xff0c;提高点击率。还在因如何选择…
阅读更多...
外贸自建站服务器怎么选？网站搭建的工具？

外贸自建站服务器怎么选？网站搭建的工具？

外贸自建站服务器用哪个好&#xff1f;如何选海洋建站的服务器&#xff1f; 外贸自建站是企业拓展海外市场的重要手段之一。而在这个过程中&#xff0c;选择一个适合的服务器对于网站的稳定运行和优化至关重要。海洋建站将为您介绍如何选择适合的外贸自建站服务器。 外贸自建…
阅读更多...
RedHat NTP时间服务器配置Chrony（所有节点时间跟主节点时间同步）

RedHat NTP时间服务器配置Chrony（所有节点时间跟主节点时间同步）

NTP NTP&#xff08;Network Time Protocol&#xff09;是一种用于在计算机网络中同步时钟的协议。它的主要目的是确保网络中的各个设备具有准确的时间参考&#xff0c;以便协调事件顺序、安全通信和日志记录等应用。它通过分层体系结构、时间同步算法和准确的时间参考源来确保…
阅读更多...
最近整理一份steam搬砖的项目操作细节和详细要求

最近整理一份steam搬砖的项目操作细节和详细要求

csgo饰品搬砖Steam饰品搬砖全套操作流程之如何卖货 一、国外Steam游戏装备汇率差项目 这个项目的基本原理是 购买国外Steam游戏平台上的装备&#xff0c;再在国内网易Buff平台上或国际站csgo饰品平台进行售卖。从充值汇率和两个平台的装备价格差中获得利润。 二、需要准备的硬…
阅读更多...
chatGPT plugins 为什么看不到“Develop your own plugin” 没有解决

chatGPT plugins 为什么看不到“Develop your own plugin” 没有解决

在做plugins测试时&#xff0c;为什么没有“Develop your own plugin”&#xff1f; Can access plugin, but can’t find “develop your own plug-in option” 还是没有解决。 https://github.com/openai/plugins-quickstart/issues/12
阅读更多...
单片机调试技巧--修改bin文件实现断点

单片机调试技巧--修改bin文件实现断点

fromelf --text -a -c --outputall.dis F103_Moduel\F103_Moduel.axffromelf --bin --outputtest.bin F103_Moduel\F103_Moduel.axf 在启动文件中&#xff0c;修改UsageFault_Handler UsageFault_Handler\PROC; get current contextTST lr, #0x04 ; if(!EXC_RETURN[2])ITE…
阅读更多...
什么软件可以做报表？

什么软件可以做报表？

报表在现代企业和组织中扮演着重要角色。它们是数据汇总、分析和展示的重要工具&#xff0c;为管理层和决策者提供洞察和指导。但是&#xff0c;报表的制作并非易事。使用Excel或手写代码开发报表可能会带来一系列痛点&#xff0c;而现代化的解决方案——比如VeryReport报表软件…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023