SeaTunnel集群安装

环境准备

服务器节点

节点名称

IP

bigdata1

192.168.1.250

bigdata4

192.168.1.251

bigdata5

192.168.1.252

Java环境(三个节点都需要)

  • java1.8+

注意:在安装SeaTunnel集群时,最好是现在一个节点上将所有配置都修改完,之后通过SCP命令传到其它的节点上,更为方便些。使用scp命令要保证服务器之间SSH是可以通讯的。

scp命令示例

# 如下:将192.168.1.250服务器上/opt/seatunnel目录下的seatunnel安装包拷贝到192.168.1.251上
# 在192.168.1.250节点上执行,
scp /opt/seatunnel/apache-seatunnel-2.3.3-bin.tar.gz root@192.168.1.113:/opt/seatunnel/

安装(三个节点都要执行)

# 创建用于安装SeaTunnel的目录(三个节点都要执行)
mkdir -p /opt/seatunnel
# 将下载好的安装包拷贝到服务器上(三个节点都要执行)
apache-seatunnel-2.3.3-bin.tar.gz
# 安装SeaTunnel (三个节点都要执行)
tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
# 进入到SeaTunnel安装目录下(三个节点都要执行)
cd /opt/seatunnel/apache-seatunnel-2.3.3

下载连接器(三个节点都要执行)

# 进入到SeaTunnel安装目录下(三个节点都要执行)
cd /opt/seatunnel/apache-seatunnel-2.3.3
# 下载SeaTunnel 连接器(三个节点都要执行)
sh bin/install-plugin.sh

配置环境变量(三个节点都要执行)

# 配置环境变量,打开环境变量文件
vim /etc/profile# 在环境变量文件最后添加如下配置
export SEATUNNEL_HOME=/opt/seatunnel/apache-seatunnel-2.3.3
export PATH=$PATH:$SEATUNNEL_HOME/bin# 重新加载环境变量文件
source /etc/profile

配置SeaTunnel Engine JVM(三个节点都要执行)

# 进入到SeaTunnel安装目录下(三个节点都要执行)
cd /opt/seatunnel/apache-seatunnel-2.3.3
# 打开SeaTunnel 集群模式启动脚本文件
vim bin/seatunnel-cluster.sh
# 在文件首行添加JAVA虚拟机配置信息,如下图
JAVA_OPTS="-Xms2G -Xmx2G"

配置结果

创建连接器对应的目录和下载数据库连接驱动

创建jdbc连接器对应的目录

# 创建连接器对应的目录,用于存放数据库连接驱动
[root@localhost apache-seatunnel-2.3.3]# mkdir -p plugins/jdbc/lib/
# 将下载的数据库连接包上传到该目录下
[root@localhost lib]# pwd
/data/apache-seatunnel-2.3.3/plugins/jdbc/lib
[root@localhost lib]# ls
mysql-connector-java-8.0.28.jar  ojdbc8.jar  postgresql-42.6.0.jar

数据库连接包下载地址:

数据库

下载地址

mysql

Maven Repository: mysql » mysql-connector-java

oracle

Maven Repository: com.oracle.database.jdbc » ojdbc8

postgresql

Maven Repository: org.postgresql » postgresql

doris

Maven Repository: mysql » mysql-connector-java

配置SeaTunnel(三个节点都要配置)

配置$SEATUNNEL_HOME/config/seatunnel.yaml文件

seatunnel:engine:backup-count: 1print-execution-info-interval: 10slot-service:dynamic-slot: truecheckpoint:interval: 300000timeout: 10000max-concurrent: 1tolerable-failure: 2

配置$SEATUNNEL_HOME/config/hazelcast.yaml文件

hazelcast:cluster-name: seatunnelnetwork:rest-api:enabled: trueendpoint-groups:CLUSTER_WRITE:enabled: trueDATA:enabled: truejoin:tcp-ip:enabled: truemember-list:- 192.168.1.205- 192.168.1.208- 192.168.1.209port:auto-increment: falseport: 5801properties:hazelcast.invocation.max.retry.count: 20hazelcast.tcp.join.port.try.count: 30hazelcast.logging.type: log4j2hazelcast.operation.generic.thread.count: 50

配置$SEATUNNEL_HOME/config/hazelcast-client.yaml文件

hazelcast-client:cluster-name: seatunnelproperties:hazelcast.logging.type: log4j2network:cluster-members:- 192.168.1.250:5801- 192.168.1.251:5801- 192.168.1.252:5801

创建日志存放目录

# 创建logs目录,如果存在忽略此步骤
mkdir -p $SEATUNNEL_HOME/logs

启动服务

# 在每一个节点上执行启动命令
nohup $SEATUNNEL_HOME/bin/seatunnel-cluster.sh 2>&1 &# 常用命令:停止集群
$SEATUNNEL_HOME/bin/stop-seatunnel-cluster.sh

配置开放端口号(两种方式)

#-------------iptables-----------------
#开打端口号开放配置文件
vim /etc/sysconfig/iptables
# 添加一行
-A INPUT -p tcp -m state --state NEW -m tcp --dport 5801 -j ACCEPT
# 重启启动防火墙
systemctl restart iptables.service#------------firewall-------------------
# 依次执行下面命令
firewall-cmd --zone=public --add-port=5801/tcp --permanent
firewall-cmd --reload
firewall-cmd --list-all

查看日志文件

tail -100f $SEATUNNEL_HOME/logs/seatunnel-engine-server.log

测试集群执行任务命令

sh $SEATUNNEL_HOME/bin/seatunnel.sh --config $SEATUNNEL_HOME/config/v2.batch.config.template

执行结果如下:

安装完毕。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/439093.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jenkins pipeline配置maven可选参数

1、在Manage Jenkins下的Global Tool Configuration下对应的maven项添加我们要用得到的不同版本的maven安装项 2、pipeline文件内容具体如下 我们maven是单一的,所以我们都是配置单选参数 pipeline {agent anyparameters {gitParameter(name: BRANCH_TAG, type: …

(五)MySQL的备份及恢复

1、MySQL日志管理 在数据库保存数据时,有时候不可避免会出现数据丢失或者被破坏,这样情况下,我们必须保证数据的安全性和完整性,就需要使用日志来查看或者恢复数据了 数据库中数据丢失或被破坏可能原因: 误删除数据…

jQuery 下载 使用

1. jQuery 网址&#xff1a;jQuery CDN 2. 下载, 右击在新的tab打开 3.ctrls另存为jquery-1.12.4.min.js&#xff0c;并放到自己项目的js目录下 4.请参考目录 5.编写第一个使用jQuery的代码 <script src"js/jquery-1.12.4.min.js"></script> <!DOCT…

数学知识第五期 扩展欧几里得算法

前言 扩展欧几里得算法也是重要的数论&#xff0c;数论固然就是数学知识的理论&#xff0c;希望大家能够熟练掌握&#xff01;&#xff01;&#xff01; 一、扩展欧几里得算法的基本内容 扩展欧几里得算法&#xff08;英语&#xff1a;Extended Euclidean algorithm&#xf…

非阿里云注册域名如何在云解析DNS设置解析?

概述 非阿里云注册域名使用云解析DNS&#xff0c;按照如下步骤&#xff1a; 添加域名。 添加解析记录。 修改DNS服务器。 DNS服务器变更全球同步&#xff0c;等待48小时。 添加解析记录 登录云解析DNS产品控制台。 在 域名解析 页面中&#xff0c;单击 添加域名 。 在 …

为什么要用云手机养tiktok账号

在拓展海外电商市场的过程中&#xff0c;许多用户选择采用tiktok短视频平台引流的策略&#xff0c;以提升在电商平台上的流量&#xff0c;吸引更多消费者。而要进行tiktok引流&#xff0c;养号是必不可少的一个环节。tiktok云手机成为实现国内跨境养号的一种有效方式&#xff0…

C语言——O / 动态内存管理

一、为什么要有动态内存分配 我们已经掌握的内存开辟⽅式有&#xff1a; int val 20;//在栈空间上开辟四个字节 char arr[10] {0};//在栈空间上开辟10个字节的连续空间 但是上述的开辟空间的⽅式有两个特点&#xff1a; • 空间开辟⼤⼩是固定的。 • 数组在申明的时候&am…

Linux安装Jdk8

本文以centos7为例&#xff0c;一步一步进行jdk1.8的安装。 1. 下载安装 笑小枫网站下载&#xff1a;https://xiaoxiaofeng.com/resource/16 官网下载链接&#xff1a; https://www.oracle.com/cn/java/technologies/downloads/#java8 上传jdk的压缩包到服务器的/usr/local目…

spark window源码探索

核心类&#xff1a; 1. WindowExec 物理执行逻辑入口&#xff0c;主要doExecute()和父类WindowExecBase 2. WindowFunctionFrame 窗框执行抽象&#xff0c;其子类对应sql语句的不同窗框 其中又抽象出BoundOrdering类, 用于判断一行是否在界限内(Bound), 分为RowBoundOrdering…

网络防御保护——课程笔记

一.防火墙 防火墙的主要职责&#xff1a;控制和防护 --- 安全策略 --- 防火墙可以根据安全策略来抓取流量之后做出对应的动作。 防火墙的分类 防火墙的发展进程 防火墙的控制 带内管理 --- 通过网络环境对设备进行控制 --- telnet&#xff0c;ssh&#xff0c;web --- 登录设备…

详解OpenHarmony各部分文件在XR806上的编译顺序

大家好&#xff0c;今天我们来谈一谈编程时一个很有趣的话题——编译顺序。我知道&#xff0c;一提到编译可能大家会感到有点儿头疼&#xff0c;但请放心&#xff0c;我不会让大家头疼的。我们要明白&#xff0c;在开始写代码之前&#xff0c;了解整个程序的编译路径是十分有必…

海外云手机三大优势

在全球化潮流下&#xff0c;企业因业务需求对海外手机卡等设备的需求不断攀升&#xff0c;推动了海外云手机业务的蓬勃发展。相较于自行置备手机设备&#xff0c;海外云手机不仅能够降低成本&#xff0c;还具备诸多优势&#xff0c;让我们深入探讨其中的三大黄金优势。 经济实惠…