开源元数据治理平台Datahub部署指南(小白版)

1.引言

datahub是做什么的,这里就不展开描述了, 如果想了解更多请自行阅读DataHub官网文档, 这里主要教大家如何一步一步安装然后100%部署完成。一般开源产品的文档都是被大家吐槽的最多的,部署步骤写的非常简单,重要关键的配置有时候基本都是不提的,很多人想入门, 但是安装部署就会把大多数人拒之门外,很多没耐心的同学一旦掉到坑里爬不出来, 立马就放弃了, 本篇文章的主要目的就在于帮助大家把这一步跨过去,文章对你有帮助,请点赞关注, 不喜勿喷~

2.软件版本要求

  • CentOS == 7.6.18-x86-64
  • datahub == 0.12.0
  • python == 3.8.18
  • docker == 24.0.7
  • docker-compose == 2.20.3

3. 安装过程详解

3.1 Docker安装

请参考我之前的文章进行安装,传送门戳这里 docker的3种常用的安装部署方式介绍演示

考虑docker离线安装的问题, 后续写一篇docker离线部署的文章给大家。

3.2 docker-compose安装

下载并安装, 如果下载不下来, 可以先下载到本地再上传到服务器

curl -SL https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

修改脚本操作权限

chmod 755 /usr/local/bin/docker-compose

检查docker-compose是否安装成功

在这里插入图片描述

3.3 python3安装

因为datahub0.12.0安装依赖python3, 但是CentOS默认的python版本是python2.7.5,这里需要安装python3,我这里安装的python版本是3.8.18, 下面演示编译安装的整个过程:

1)安装系统依赖

yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel epel-release gcc gcc-c++ xz-devel readline-devel gdbm-devel sqlite-devel tk-devel db4-devel libpcap-devel libffi-devel

2)首先创建python3的安装目录:

mkdir -p /usr/local/python3

3)下载Python3.8.18的安装包

mkdir -p /opt/packagescd /opt/packageswget https://registry.npmmirror.com/-/binary/python/3.8.18/Python-3.8.18.tgz

4)解压安装包

tar -zxf /opt/packages/Python-3.8.18.tgz

5)编译安装

cd /opt/packages/Python-3.8.18./configure --prefix=/usr/local/python3make && make install

执行完毕, /usr/local/python3目录如下图:

在这里插入图片描述
6)配置系统环境变量

ln -s /usr/local/python3/bin/python3.8 /usr/local/bin/python3ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

如下图:
在这里插入图片描述
在这里插入图片描述

检查系统环境变量是否生效, 如下图则成功。

在这里插入图片描述

python3 -m pip install --upgrade pip

在这里插入图片描述

3.4 datahub安装

执行安装命令, 如下

python3 -m pip install acryl-datahub==0.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

检查datahub是否安装成功

python3 -m pip datahub version

出现如下报错:

在这里插入图片描述

解决方法:urllib3库版本太高了, 降版本, 重新安装urllib3的1.25.11版本

python3 -m pip install urllib3==1.25.11 -i https://pypi.tuna.tsinghua.edu.cn/simple
在这里插入图片描述

再次检查datahub是否安装成功,

python3 -m pip datahub version

如下图, 说明安装成功

在这里插入图片描述

在这里插入图片描述

3.4 datahub镜像下载安装

首先我们从github的datahub仓库下载DataHubv0.12.0版本源代码,解压找到一下docker-compose的编排脚本文件
在这里插入图片描述
docker-compose-without-neo4j.quickstart.yml脚本上传到服务器的/usr/local/python3/datahub-docker-scripts目录下,如果没有这个路径请自行创建, 创建命令mkdir -p /usr/local/python3/datahub-docker-scripts

进入到/usr/local/python3/datahub-docker-scripts目录下, 执行以下命令:

python3 -m datahub docker quickstart --quickstart-compose-file ./docker-compose-without-neo4j.quickstart.yml

在这里插入图片描述
经过漫长的镜像下载拉取之后,容器运行成功之后, 整个安装流程完毕如下图:
在这里插入图片描述

访问http://10.10.3.14:9002,出现如下页面, 说明DataHub安装成功,默认的账号密码如下:

用户名:datahub  密码:  datahub

在这里插入图片描述

4.服务管理及使用的常见指令

1)一键启动Datahub

docker-compose -p datahub -f ./docker-compose.consumers-without-neo4j.quickstart.yml up -

2)一键停止Datahub

docker-compose -p datahub -f ./docker-compose.consumers-without-neo4j.quickstart.yml stop

3)查看Datahub插件列表

python3 -m datahub check plugins --verbose

4)安装Datahub插件

pip3 install 'acryl-datahub[数据源]'

举例, 现在需要管理MySQL数据源的元数据, 需要先集成mysql的数据源插件

pip3 install acryl-datahub[mysql]

5.使用演示

配置元数据源集成
在这里插入图片描述
创建新的元数据源
在这里插入图片描述
选择数据源类型,配置数据源连接参数,设置采集任务调度, 然后保存即可。
在这里插入图片描述
点击"RUN"运行采集任务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
好了,本篇文章到此结束,如果安装过程中遇到问题,欢迎留言讨论哈,最后点赞关注,送你一朵小红花,谢谢~~~。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/292051.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

每日一题——链表的回文结构

链表的回文结构 1. 题目描述 对于一个链表,请设计一个时间复杂度为O(n),额外空间复杂度为O(1)的算法,判断其是否为回文结构。 给定一个链表的头指针A,请返回一个bool值,代表其是否为回文结构。保证链表长度小于等于900。 测试…

mysql空间查询之搜索在不规则图形范围内点的数据

前言 这次的需求是在地图上画一个不规则图形,查询这个范围内的数据,类似下图: 前端会把每个折现点的经纬度传过来,比如:0 0, 0 10, 10 10, 10 0, 0 0,注意要首尾相连,这样才是一个完整的图形。 数据准备:有一个包含点的数据表,并且该表具有一个名为point的列来存…

【游戏篇】Scratch之安全上升的气球

【作品展示】安全上升的气球 操作:点击小绿旗,按下键盘方向键控制气球躲避障碍物同时还要拿到金币。

MySQL增删改查(增加)

White graces:个人主页 🙉专栏推荐:Java入门知识🙉 🙉 内容推荐:MySQL数据库和表操作🙉 🐹今日诗词:父兵诛卓起长沙,直取江东作帝家🐹 ⛳️点赞 ☀️收藏⭐️关注💬卑微小博主&…

VM Group

在复杂方案中模块过多可能造成查看或修改方案时存在视觉混乱,不够直观。此时可利用Group模块进行模块整合,同时Group模式也兼容循环的功能,如下图所示。 双击Group模块可进入Group内部,如下图所示。 在Group模块单击 可设置输入、…

ai学习笔记-入门

目录 一、人工智能是什么?可以做什么? 人工智能(Artificial Intelligence): 人工智能的技术发展路线: 产业发展驱动因素:数据、算力、算法 二、人工智能这个工具的使用原理入门 神经网络⭕数学基础 1.神经网络的生物表示 …

『Linux升级路』基础开发工具——gdb篇

🔥博客主页:小王又困了 📚系列专栏:Linux 🌟人之为学,不日近则日退 ❤️感谢大家点赞👍收藏⭐评论✍️ 目录 一、背景知识介绍 二、gdb指令介绍 一、背景知识介绍 在软件开发中&#xff0c…

cilium原理之ebpf尾调用与trace

背景 在深入剖析cilium原理之前,有两个关于epbf的基础内容需要先详细介绍一下: 1. ebpf尾调用 尾调用类似于程序之间的相互跳转,但它的功能更加强大。 2. trace 虽然之前使用trace_printk输出日志,但这个函数不能多用&#x…

Fl Studio 20.9 中文汉化破解版永久版下载(含Keygen)

FL Studio 20.9.0.2736破解版是最优秀、最繁荣的数字音频工作站 (DAW) 之一,日新月异。 它是一款录音机和编辑器,可让您不惜一切代价制作精美的音乐作品并保存精彩的活动画廊。 为方便用户,FL Studio Keygen提供三种不同的版本——Fruity 版…

css图片属性,图片自适应

CSS 图片属性指南:background-size 和 object-fit 在前端开发中,使用图片是非常常见的。为了让图片在网页中显示得更好,CSS 提供了多种属性来调整和控制图片的大小和布局。其中,background-size 和 object-fit 是两个常用的属性&a…

邮政物流快递查询,并筛选出其中的提前签收件

批量查询邮政快递单号的物流信息,并将其中的提前签收件筛选出来。 所需工具: 一个【快递批量查询高手】软件 邮政快递单号若干 操作步骤: 步骤1:运行【快递批量查询高手】软件,第一次使用的朋友记得先注册&#xff…

深⼊理解指针

1. 内存和地址 1.1 内存 在讲内存和地址之前,我们想有个⽣活中的案例: 假设有⼀栋宿舍楼,把你放在楼⾥,楼上有100个房间,但是房间没有编号,你的⼀个朋友来找你玩, 如果想找到你,就…