Apache SeaTunnel 及 Web 功能部署指南(小白版)

在大数据处理领域，Apache SeaTunnel 已成为一款备受青睐的开源数据集成平台，它不仅可以基于Apache Spark和Flink，而且还有社区单独开发专属数据集成的Zeta引擎，提供了强大的数据处理能力。随着SeaTunnel Web的推出，用户界面(UI)操作变得更加友好，项目部署和管理更加便捷。

file

本指南旨在提供一个简明扼要的步骤，帮助用户成功部署SeaTunnel及其Web界面。小主已经把可能遇到的坑都填过了，希望大家都能安安稳稳上路，不掉坑，话不多说，走起~

1.预置环境

1.1.所需软件包及版本要求

  • CentOS 7.6.18_x86_64

  • JDK >= 1.8.151

  • Maven >= 3.6.3

  • Apache Seatunnel ==2.3.3

  • Apache Seatunnel Web == 1.0.0

  • MySQL >= 5.7.28

file

1.2.下载地址

官网下载入口: 下载入口

apache-seatunnel-2.3.3: apache-seatunnel-2.3.3-bin.tar.gz

file

apache-seatunnel-web-1.0.0: apache-seatunnel-web-1.0.0

file

1.3.准备工作

1.3.1.安装JDK

安装及配置系统环境变量略过，自行百度

1.3.2.安装Maven

安装及配置系统环境变量、配置阿里云仓库镜像, 略过，自行百度

1.3.3.创建安装软件目录

创建SeaTunnel后端服务安装目录

mkdir -p /opt/bigdata/seatunnel-2.3.3/backend

创建SeaTunnel前端服务安装目录

mkdir -p /opt/bigdata/seatunnel-2.3.3/web
file

1.3.4.下载或者本地上传安装包

下载apache-seatunnel-2.3.3-bin.tar.gz

#进入1.3.2中创建好的安装目录

cd /opt/bigdata/seatunnel-2.3.3/backend

#下载安装包

wget https://dlcdn.apache.org/seatunnel/2.3.3/apache-seatunnel-2.3.3-bin.tar.gz

下载[apache-seatunnel-web-1.0.0.tar.gz

#进入1.3.2中创建好的安装目录

cd /opt/bigdata/seatunnel-2.3.3/web

#下载安装包

wget https://dlcdn.apache.org/seatunnel/seatunnel-web/1.0.0/apache-seatunnel-web-1.0.0-bin.tar.gz

如果你已经将安装包下载到本地， 可通过FTP工具上传安装包到前后端各自的安装目录。

2.安装Apache Seatunnel

2.1.解压安装包

#解压后端安装包

tar -zxf /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3-bin.tar.gz

#重命名安装包

mv apache-seatunnel-2.3.3-bin apache-seatunnel-2.3.3
file

#解压前端安装包

tar -zxf /opt/bigdata/seatunnel-2.3.3/web/apache-seatunnel-web-1.0.0-bin.tar.gz

#重命名安装包

mv apache-seatunnel-web-1.0.0-bin apache-seatunnel-web-1.0.0
file

2.2.配置环境变量

在/etc/profile中配置环境变量
file 让修改配置立即生效

source /etc/profile

2.3.下载JAR包

2.3.1.创建目录

mkdir -p /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/connectors/flink

mkdir -p /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/connectors/flink-sql

mkdir -p /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/connectors/spark

mkdir -p /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/connectors/seatunnel

file

2.3.2.修改下载脚本

下载脚本的位置

/opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/bin
file

修改install-plugin.sh之前请先备份

mvn加速下载seatunnel相关jar包

安装seatunnel过程中，解压文件后官方默认提供的connector的jar包只有2个，要想连接mysql，oracle，SqlServer，hive，kafka，clickhouse，doris等时，还需下载对应的jar包。

file

使用本地Maven加速下载connector相关jar包

seatunnel下载connector的jar时，使用mvnw来下载jar包，默认是从https://repo.maven.apache.org 下载，速度及其缓慢。我们可以改成自己在linux系统上安装的mvn，配置阿里云远程仓库地址，从阿里云mvn源下载会快很多， 下面教大家如何进行修改。

修改其安装插件相关脚本，复制bin目录下install-plugin.sh重命名为install-plugin.sh.bak

file

替换脚本中的${SEATUNNEL_HOME}/mvnw为mvn，即可使用本地mvn，配合阿里云的mvn源，可加速下载。

file

2.3.3.执行下载
自动下载

执行命令即可，一般不推荐，因为从官网下载速度太慢，可以通过修改相关的代码进行手动加速下载。

系统默认自动下载时会下载所有的连接器JAR, 如果暂时不需要使用， 可以在执行下载脚本执行之前先在/opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/config/pulgun_config配置中注释掉不需要的连接器
file

shell
sh /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/bin/install-plugin.sh

file

自动下载完成之后， 将/opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/connectors/seatunnel下所有的jar包都拷贝到/opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/lib目录下

手动下载

修改代码，通过阿里云的mvn源快速下载，然后将相关jar包复制到对应目录即可。

seatunnel-connectors下载地址

注意：下载jar复制到两个文件夹，一个是lib文件夹，一个是connectors/seatunnel文件夹。

2.3.4.测试验证

#进入安装目录

cd /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3

#启动服务

./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

file

file file file

2.4.启动服务

#进入安装目录

cd /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3

#启动服务

nohup sh bin/seatunnel-cluster.sh 2>&1 &

在seatunnel的安装目录下查看日志

tail -f logs/seatunnel-engine-server.log 有以下类似信息打印出，说明启动成功。

file

必须保证Apache SeaTunnel的Server正常运行，Web端服务才能正常运行。

3.安装Apache Seatunnel Web

3.1.安装配置Seatunnel引擎集群

在SeaTunnel的Web端机器上需要安装SeaTunnel客户端，如果服务端与Web端在同一台机器，则可直接跳过这个步骤。

本文档的安装过程中，Seatunnel服务端和web是安装在同一台机器上， 所以直接跳过此步安装步骤。

这里所说的Seatunnel引擎客户端其实就是我们章2中安装的Seatunnel服务端， 下面讲解一下如何进行Seatunnel集群的安装配置

3.1.1.准备服务器节点

我们现在需要搭建Seatunnel引擎集群，需要准备n台服务器节点， 我这里使用了3台服务器。比如， 已知我们的3台服务器的IP分别是

192.168.1.110

192.168.1.111

192.168.1.112

我们直接在章2中已经安装部署好的Seatunnel单节点中进行集群的配置,主要的配置修改包含以下几项：

3.1.2.修改JVM参数

在seatunnel的安装目录，找到$SEATUNNEL_HOME/bin/seatunnel-cluster.sh

file

将 JVM 选项添加到$SEATUNNEL_HOME/bin/seatunnel-cluster.sh第一行

JAVA_OPTS=“-Xms2G -Xmx2G”

file

如果不想这样进行修改，也可以， 不过需要在进行集群启动时，自行增加JVM参数进行启动， 启动命令如下：

nohup sh $SEATUNNEL_HOME/bin/seatunnel-cluster.sh -DJvmOption="-Xms2G -Xmx2G" 2>&1 &

file

3.1.3.SeaTunnel Engine配置

SeaTunnel Engine Server配置是在sh $SEATUNNEL_HOME/config/seatunnel.yaml .

详细配置想可参考官方文档4. Config SeaTunnel Engine，这里不赘述

3.1.4.SeaTunnel Engine Server配置

SeaTunnel Engine Server配置是在sh $SEATUNNEL_HOME/config/hazelcast.yaml .

集群名称配置

SeaTunnel Engine 节点使用集群名称来确定对方是否与自己是一个集群。 如果两个节点之间的集群名称不同，SeaTunnel 引擎将拒绝服务请求。

网络配置

SeaTunnel Engine 集群基于 Hazelcast，是运行 SeaTunnel Engine Server 的集群成员的网络。 集群成员自动连接在一起形成集群。 这种自动加入是通过集群成员用来查找彼此的各种发现机制来实现的。

请注意，集群形成后，集群成员之间的通信始终通过 TCP/IP 进行，无论使用何种发现机制。

SeaTunnel 引擎使用以下发现机制。

TCP

您可以将 SeaTunnel Engine 配置为完整的 TCP/IP 集群。 有关配置详细信息，请参阅通过 TCP 发现成员部分。

hazelcast.yaml配置示例如下：

hazelcast:cluster-name: seatunnelnetwork:join:tcp-ip:enabled: truemember-list:- hostname1port:auto-increment: falseport: 5801properties:hazelcast.logging.type: log4j2

在独立 SeaTunnel 引擎集群中我们建议使用TCP方式。

另一方面，Hazelcast 提供了一些其他的服务发现方法。 详情请参考hazelcast网

3.1.4.3 Map配置
  • type

imap持久化类型，目前仅支持hdfs。

  • namespace

命令空间用于区分不同业务的数据存储位置，例如OSS的桶名。

  • clusterName

这个参数主要用于集群隔离，我们可以通过这个来区分不同的集群，比如cluster1、cluster2，这个也可以用来区分不同的业务

  • fs.defaultFS

We used hdfs api read/write file, so used this storage need provide hdfs configuration

if you used HDFS, you can config like this:

map:engine*:map-store:enabled: trueinitial-mode: EAGERfactory-class-name: org.apache.seatunnel.engine.server.persistence.FileMapStoreFactoryproperties:type: hdfsnamespace: /tmp/seatunnel/imapclusterName: seatunnel-clusterstorage.type: hdfsfs.defaultFS: hdfs://localhost:9000

如果没有 HDFS 并且您的集群只有一个节点，您可以配置为使用本地文件，如下所示：

map:engine*:map-store:enabled: trueinitial-mode: EAGERfactory-class-name: org.apache.seatunnel.engine.server.persistence.FileMapStoreFactoryproperties:type: hdfsnamespace: /tmp/seatunnel/imapclusterName: seatunnel-clusterstorage.type: hdfsfs.defaultFS: file:///

如果你使用OSS，你可以这样配置：

map:engine*:map-store:enabled: trueinitial-mode: EAGERfactory-class-name: org.apache.seatunnel.engine.server.persistence.FileMapStoreFactoryproperties:type: hdfsnamespace: /tmp/seatunnel/imapclusterName: seatunnel-clusterstorage.type: ossblock.size: block size(bytes)oss.bucket: oss://bucket name/fs.oss.accessKeyId: OSS access key idfs.oss.accessKeySecret: OSS access key secretfs.oss.endpoint: OSS endpointfs.oss.credentials.provider: org.apache.hadoop.fs.aliyun.oss.AliyunCredentialsProvider

3.1.5.SeaTunnel Engine Client配置

SeaTunnel Engine Client配置是在sh $SEATUNNEL_HOME/config/hazelcast-client.yaml .

集群名称配置

客户端必须与 SeaTunnel 引擎具有相同的集群名称。 否则，SeaTunnel 引擎将拒绝客户端请求。

网络配置

cluster-members

所有 SeaTunnel 引擎服务器节点地址都需要添加到此处。

hazelcast-client:cluster-name: seatunnelproperties:hazelcast.logging.type: log4j2network:cluster-members:- hostname1:5801
3.1.6.启动Seatunnel引擎服务端节点
mkdir -p $SEATUNNEL_HOME/logscd $SEATUNNEL_HOME./bin/seatunnel-cluster.sh -d

如果集群存在多台节点， 需要启动所有节点上的Seatunnel引擎服务。

3.1.7.安装Seatunnel引擎客户端并启动

您只需将SeaTunnel引擎节点上的安装目录目录复制到客户端节点主机的相同安装目录下，并像SeaTunnel引擎服务器节点一样配置SEATUNNEL_HOME，之后启动服务即可。

3.2.配置Seatunnel Web服务

3.2.1.数据库初始化
修改数据库连接配置

将script/seatunnel_server_env.sh相关配置改为你的对应的数据库信息

file file

以上截图中原始文件中配置的是HOSTNAME,PORT,USERNAME,PASSWORD等,但是因为的机器上有全局配置文件也用了这几个变量名，但是链接的数据库信息和seatunnel连接的数据库不是一个数据库, 因为名称冲突导致在启动web服务时连接数据哭失败，

所以我这里修改了seatunnel_server_env.sh和init_sql.sh脚本中的HOSTNAME,PORT,USERNAME,PASSWORD可以加上前缀SEATUNNEL_，变成了

SEATUNNEL_HOSTNAME,SEATUNNEL_PORT,SEATUNNEL_USERNAME,SEATUNNEL_PASSWORD

一定要记住， 如果你按照文档修改了seatunnel_server_env.sh脚本的变量名， 一定要将init_sql.sh脚本中对应的变量名称进行同步修改，如下图：
file

执行初始化数据库命令

进入seatunnel-web的安装目录，然后执行命令sh init_sql.sh，无异常则执行成功。

file

3.2.2.配置WEB后端服务
修改后端基础配置

web后端服务的配置文件都在${web安装目录}/conf下

file

vim conf/application.yml修改端口号和数据源连接信息

file

配置client信息

将seatunnel引擎服务节点的安装目录下的config目录下的关于引擎客户端的配置文件拷贝到seatunnel-web安装目录下的conf目录下

同一台机器下部署直接使用以下拷贝命令(注意修改服务的安装目录为你自己的安装目录)

sudo cp /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/config/hazelcast-client.yaml /opt/bigdata/seatunnel-2.3.3/web/apache-seatunnel-web-1.0.0/conf

如果不在同一台机器上， 可以使用scp命令或者下载下来然后上传到web服务的安装主机的安装目录下的conf目录下即可。

配置支持的插件信息

将seatunnel引擎服务节点的安装目录下的connectors目录下的plugin-mapping.properties配置文件拷贝到seatunnel-web安装目录下的conf目录下

sudo cp /opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties /opt/bigdata/seatunnel-2.3.3/web/apache-seatunnel-web-1.0.0/conf

同一台机器下部署直接使用以下拷贝命令(注意修改服务的安装目录为你自己的安装目录)如果不在同一台机器上， 可以使用scp命令或者下载下来然后上传到web服务的安装主机的安装目录下的conf目录下即可。

3.2.3.下载配置数据源JAR包

这一步非常关键， 这一步如果没有配置好， 即使你正常启动了web应用，可能也会遇到下列问题：

  • 数据源类型选择页面为空， 我这里因为正常配置， 所以正常显示

file

  • 没有Source或者Sink进行选择

file

  • 任务无法正常执行
获取下载脚本

数据源JAR包的下载脚本在seatunnel-web的源码包中存在，它的目录在：

file

修改配置文件如下：

file

执行脚本，下载数据源JAR包

file

正在下载

file

成功下载下所有的datasourceJAR包

file

上传到Seatunnel-Web项目的libs目录

将以上所有jar包复制到/opt/bigdata/seatunnel-2.3.3/web/apache-seatunnel-web-1.0.0/libs目录下

file

上传到Seatunnel引擎服务的lib目录

将以上所有jar包复制到/opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/lib目录下

file

3.2.4.配置元数据MySQL的驱动JAR包

MySQL的驱动包mysql-connector-java-8.0.20.jar自行下载

file

上传到SeaTunnel引擎服务的lib目录

将mysql-connector-java-8.0.20.jar包复制到/opt/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/lib下

file

3.2.5.启动WEB服务

这一步也很容易出错，很多人都配置对了，但是最后启动起来，发现无法通过浏览访问， 查看日志打印如下：

file

造成这样的问题就是你执行启动命令的位置不对， 注意web服务安装之后的目录结构如下图：

file

所以启动服务必须要保证服务可以访问到ui目录下的index.html文件才可以，因为项目启动前端的项目路径默认添加了/ui的前缀，所以后端项目的启动路径必须在ui目录的父级目录才可以，所以这里需要再web服务的安装目录下执行启动脚本，举例：

我这里的安装目录是/opt/bigdata/seatunnel-2.3.3/web/apache-seatunnel-web-1.0.0, 所以我这里直接切换到该目录下，执行以下启动命令：

#进入web服务的安装目录
cd /opt/bigdata/seatunnel-2.3.3/web/apache-seatunnel-web-1.0.0
#执行启动脚本
sudo sh bin/seatunnel-backend-daemon.sh start

访问http://主机IP:12306 (此端口为conf/application.yml中配置的端口), 页面自动跳转到http://主机IP:12306/ui，

默认登录的用户名和密码：

username：admin

password：admin

file

file

OK, 至此所有的搭建流程就结束了。

4.资源链接

这里面有些资源的下载特别慢， 这里将整个配置好的前后端的项目资源打包存放到百度网盘，地址如下：

Seatunnel引擎及Web服务一键安装包

提取码：rryz

下载下来之后，修改所有涉及数据库连接的配置文件为你自己的连接配置信息， 然后执行3.2.1小节的初始化数据库命令， 然后依次启动SeaTunnel引擎服务、Web服务即可。

通过遵循上述步骤，你应该能够成功部署SeaTunnel及其Web界面。这将为你的大数据处理任务提供一个强大的工具，同时享受到基于Web的界面带来的便利。如果在部署过程中遇到任何问题，不要犹豫，查阅SeaTunnel官方文档或加入社区寻求帮助。

创作不易，对您有帮助，点个赞呗，感谢~

本文由 白鲸开源科技 提供发布支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/497951.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何开发一个mybatis扩展框架

如何开发一个mybatis扩展框架

如何开发一个mybatis扩展框架 都说官网是最好的入门。当你参考mybatis官网执行查询发现这样： // try 执行完后会关闭 session try (SqlSession session sqlSessionFactory.openSession()) {BlogMapper mapper session.getMapper(BlogMapper.class);Blog blog …
阅读更多...
刷题第2天（中等题）：LeetCode59--螺旋矩阵--考察模拟能力（边界条件处理）

刷题第2天（中等题）：LeetCode59--螺旋矩阵--考察模拟能力（边界条件处理）

LeetCode59: 给你一个正整数 n ，生成一个包含 1 到 n2 所有元素，且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 示例 1： 输入：n 3 输出：[[1,2,3],[8,9,4],[7,6,5]]示例 2： 输入&#xff1a…
阅读更多...
新产品推广先定位分析再选择推广渠道

新产品推广先定位分析再选择推广渠道

营销是创业者最容易犯错的地方之一，一份完美的新品牌产品推广方案能够达到精准营销，减少不必要的资金浪费，提升产品的销量，那么如何做新品牌产品推广的方案？小马识途营销顾问建议对产品进行推广的时候，要在…
阅读更多...
unity使用Registry类将指定内容写入注册表

unity使用Registry类将指定内容写入注册表

遇到一个新需求，在exe执行初期把指定内容写入注册表，Playerprefs固然可以写入，但是小白不知道怎么利用Playerprefs写入DWORD类型的数据，因此使用了Registry类 一. 对注册表中键的访问 注册表中共可分为五类 一般在操作时&#…
阅读更多...
CSS3详解

CSS3详解

1.什么是CSS css的优势 1、内容和表现分离 2、网页结构表现统一&#xff0c;可以实现复用 3、样式十分的丰富 4、建议使用独立于html的css文件 5、利用SE0,容易被搜索引擎收录&#xff01; CSS的几种导入方法 内部式 <style>h1{color: red;}</style> 外部式 嵌…
阅读更多...
Phoncent博客：探索AI写作与编程的无限可能

Phoncent博客：探索AI写作与编程的无限可能

Phoncent博客&#xff0c;一个名为Phoncent的创新AIGC博客网站&#xff0c;于2023年诞生。它的创始人是庄泽峰&#xff0c;一个自媒体人和个人站长&#xff0c;他在网络营销推广领域有着丰富的经验。庄泽峰深知人工智能技术在内容创作和编程领域的潜力和创造力&#xff0c;因此…
阅读更多...
javaWeb个人学习02

javaWeb个人学习02

会话技术 会话: 用户打开浏览器,访问web服务器的资源,会话建立,直到有一方断开连接,会话结束.在一次会话中包含多次请求和响应 会话跟踪: 一种维护浏览器状态的方法,服务器需要识别多次请求是否来自于同一个浏览器,以便在同一次会话的多次请求之间共享数据 会话跟踪方案: …
阅读更多...
【Ansys 2024 R1 】助力扩展AI支持的多物理场优势，重构用户体验

【Ansys 2024 R1 】助力扩展AI支持的多物理场优势，重构用户体验

全新的用户体验将增强协作式工程环境&#xff0c;这不仅让强大的多物理场解决方案更便于访问&#xff0c;同时还可扩大由AI驱动的数字工程解决方案的优势。 主要亮点 ✔ Ansys现代化的设计语言不仅可提升用户体验&#xff08;UX&#xff09;&#xff0c;在整个Ansys多物理场产…
阅读更多...
Mallox勒索病毒的最新威胁：如何恢复您的数据？

Mallox勒索病毒的最新威胁：如何恢复您的数据？

引言&#xff1a; 在当今数字化时代&#xff0c;网络安全威胁层出不穷&#xff0c;而勒索软件&#xff08;Ransomware&#xff09;是其中最为恶劣的一种形式之一。而.Mallox勒索病毒则是近期备受关注的一种勒索软件&#xff0c;其深受全球各地用户的困扰。那么&#xff0c;让我…
阅读更多...
【C语言】linux内核ipoib模块 - ipoib_ib_handle_rx_wc

【C语言】linux内核ipoib模块 - ipoib_ib_handle_rx_wc

一、中文注释 // 定义一个处理InfiniBand接收完成工作请求的函数 static void ipoib_ib_handle_rx_wc(struct net_device *dev, struct ib_wc *wc) {// 通过网络设备获取私有数据结构struct ipoib_dev_priv *priv ipoib_priv(dev);// 获取工作请求ID&#xff0c;并屏蔽掉接收…
阅读更多...
Python实现时间序列分析进行平稳性检验(ADF和KPSS)和差分去趋势(adfuller和kpss算法)项目实战

Python实现时间序列分析进行平稳性检验(ADF和KPSS)和差分去趋势(adfuller和kpss算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 时间序列分析中的平稳性检验是评估一个时间序列是否具有稳定的均值和方差。在经济学、金融学以及其他诸…
阅读更多...
使用Git从其他分支merge个别文件

使用Git从其他分支merge个别文件

项目背景 产品经理&#xff1a;我们本次开发三个功能&#xff0c;列表页功能、详情页功能、系统消息功能&#xff0c;分两次上线&#xff0c;先上列表功能&#xff0c;再上详情页和系统消息。 小明&#xff1a;好的吧。 紧接着&#xff0c;小明就将本次需求分为2个分支&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023