linux部署安装DataX和DataX-Web

1.基础环境

JDK(1.8 及其以上都可以,推荐 1.8),安装过程略

Python(2 或者 3 都可以),安装过程略

Apache Maven 3.6.1+(只有DataX源码编译安装时需要)

1.1下载maven安装包

访问https://maven.apache.org/download.cgi下载官方安装包

1.2安装maven
#创建maven目录
mkdir -p /usr/local/maven
cd /usr/local/maven/#上传安装包至/usr/local/maven/# 解压
tar -zxvf apache-maven-3.9.6-bin.tar.gz
1.3配置maven环境变量
vim /etc/profile
#在文件末尾增加
MAVEN_HOME=/usr/local/maven/apache-maven-3.9.6/
PATH=$MAVEN_HOME/bin:$PATH
#保存退出后,重载配置
source /etc/profile#验证,查看maven版本
mvn -version
1.4配置 Maven 本地仓库
#新建本地库文件夹
mkdir -p /usr/local/maven/repository#编辑配置文件/usr/local/maven/apache-maven-3.9.6/conf/settings.xml
vim /usr/local/maven/apache-maven-3.9.6/conf/settings.xml
#在注释的localRepository节点后,增加
<localRepository>/usr/local/maven/repository</localRepository>
1.5配置仓库镜像

在 settings.xml 配置文件中找到 mirrors 节点,添加以下内容:

<!-- 阿里云仓库 -->
<mirror><id>alimaven</id><mirrorOf>central</mirrorOf><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>

1.6验证

mvn help:system

执行mvn help:system后会从mven仓库下载一些必须的插件,大概一分多钟,下载完成后会显示系统变量和环境变量。

2.安装DataX

访问https://github.com/alibaba/DataX下载工具包

#将下载好的安装包上传至/usr/local/#解压
tar -zxvf datax.tar.gz -C /usr/local/#自检脚本
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json

3.安装DataX-Web

3.1环境要求
  • MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库

  • JDK (1.8.0_xxx) 必选

  • Maven (3.6.1+) 必选

  • DataX 必选

  • Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下,网址https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造

3.2下载安装包

访问https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md,下载官方安装包

上传至/usr/local/

3.3安装
#解压
tar -zxvf datax-web-2.1.2.tar.gz -C /usr/local/
#执行安装脚本
/usr/local/datax-web-2.1.2/bin/install.sh --force
3.4数据库配置

在mysql中创建datax_web数据库,执行数据库脚本/bin/db/datax-web.sql

修改DataX-web的配置文件/usr/local/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

3.5配置python 脚本路径

编辑/usr/local/datax-web-2.1.2/modules/datax-executor/bin/env.properties

PYTHON_PATH=/usr/local/datax/bin/datax.py

3.6启动服务

/usr/local/datax-web-2.1.2/bin/start-all.sh#查看服务,出现DataXAdminApplication和DataXExecutorApplication进程,表示项目运行成功
jps
3.7访问UI界面

访问地址http://服务器IP:9527/index.html#/login?redirect=%2Fdashboard,其中9527为默认端口,默认账户信息:用户名 admin 密码 123456

参考文章:

DataX官方指引

DataX-Web官方指引

https://blog.csdn.net/weixin_46560589/article/details/134592916

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/697622.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【MQTT】paho.mqtt.c 库的“介绍、下载、交叉编译” 详解,以及编写MQTT客户端例子源码

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; ⏰发布时间⏰&#xff1a;2024-05-13 1…

kubeflow文档-介绍与架构

1. kubeflow介绍 Kubeflow项目致力于使机器学习&#xff08;ML&#xff09;工作流在Kubernetes上的部署变得简单、可移植和可扩展。目标不是重新创建其他服务&#xff0c;而是提供一种直接的方法&#xff0c;将ML的开源系统部署到不同的基础设施中。无论在哪里运行Kubernetes&a…

【408真题】2009-10

“接”是针对题目进行必要的分析&#xff0c;比较简略&#xff1b; “化”是对题目中所涉及到的知识点进行详细解释&#xff1b; “发”是对此题型的解题套路总结&#xff0c;并结合历年真题或者典型例题进行运用。 涉及到的知识全部来源于王道各科教材&#xff08;2025版&…

【数据结构】-- 相交链表-环形链表

交叉链表 . - 力扣&#xff08;LeetCode&#xff09; 如果链表的两条链的长度一样&#xff0c;链表两端对齐&#xff0c;解决这个问题将会变得非常简单&#xff0c;直接分别遍历两个链表&#xff0c;想等时的节点即为所求。我们想办法让链表对齐--分别从a和b遍历链表&#xff…

群晖NAS本地搭建Bitwarden密码管理服务并实现远程同步密码托管

文章目录 1. 拉取Bitwarden镜像2. 运行Bitwarden镜像3. 本地访问4. 群晖安装Cpolar5. 配置公网地址6. 公网访问Bitwarden7. 固定公网地址8. 浏览器密码托管设置 Bitwarden是一个密码管理器应用程序&#xff0c;适用于在多个设备和浏览器之间同步密码。自建密码管理软件bitwarde…

数字人解决方案——AniTalker声音驱动肖像生成生动多样的头部说话视频算法解析

1.概述 AniTalker是一款先进的AI驱动的动画生成工具&#xff0c;它超越了简单的嘴唇同步技术&#xff0c;能够精准捕捉并再现人物的面部表情、头部动作以及其他非言语的微妙动态。这不仅意味着AniTalker能够生成嘴型精准同步的视频&#xff0c;更重要的是&#xff0c;它还能够…

增强型植被指数EVI、ndvi数据、NPP数据、GPP数据、土地利用数据、植被类型数据、降雨量数据

引言 多种卫星遥感数据反演增强型植被指数&#xff08;EVI&#xff09;产品是地理遥感生态网推出的生态环境类数据产品之一&#xff0c;产品包括1986-2021年度月度数据&#xff0c;数据类型tif栅格数据。该产品经过专家组验证&#xff0c;质量良好。 正文 栅格数据源 数据名…

CentOS使用Docker搭建Nacos结合内网穿透实现无公网IP远程登录本地管理平台

文章目录 1. Docker 运行Nacos2. 本地访问Nacos3. Linux安装Cpolar4. 配置Nacos UI界面公网地址5. 远程访问 Nacos UI界面6. 固定Nacos UI界面公网地址7. 固定地址访问Nacos Nacos是阿里开放的一款中间件,也是一款服务注册中心&#xff0c;它主要提供三种功能&#xff1a;持久化…

Windows 11 下 kafka 的安装踩坑

安装 windows系统kafka小白入门篇——下载安装&#xff0c;环境配置&#xff0c;入门代码书写&#xff08;推荐&#xff09; kafka在windows下安装和使用入门教程 问题1 参考链接 运行kafka集成的zookeeper时&#xff0c;命令&#xff1a;bin\windows\zookeeper-server-star…

计算机毕业设计Python+Spark知识图谱课程推荐系统 课程预测系统 课程大数据 课程数据分析 课程大屏 mooc慕课推荐系统 大数据毕业设计

1 绪 论 1.1 课题研究背景 在线教育学习平台是学生用来进行校内或校外拓展课程学习的平台&#xff0c;平台需要具备在线视频观看&#xff0c;作业提交&#xff0c;形成性考核等功能。在学生学习的过程中&#xff0c;学校的管理者或负责教师需要了解学生的学习情况和学习状态&…

Python | Leetcode Python题解之第87题扰乱字符串

题目&#xff1a; 题解&#xff1a; class Solution:def isScramble(self, s1: str, s2: str) -> bool:cachedef dfs(i1: int, i2: int, length: int) -> bool:"""第一个字符串从 i1 开始&#xff0c;第二个字符串从 i2 开始&#xff0c;子串的长度为 le…

百面算法工程师 | 正则优化函数——BN、LN、Dropout

本文给大家带来的百面算法工程师是正则优化函数&#xff0c;文章内总结了常见的提问问题&#xff0c;旨在为广大学子模拟出更贴合实际的面试问答场景。在这篇文章中&#xff0c;我们将总结一些BN、LN、Dropout的相关知识&#xff0c;并提供参考的回答及其理论基础&#xff0c;以…