02、Kafka ------ 配置 Kafka 集群

目录

  • 配置 Kafka 集群
    • 配置步骤
    • 启动各Kafka节点

配置 Kafka 集群

启动命令:

1、启动 zookeeper 服务器端
小黑窗输入命令: zkServer

2、启动 zookeeper 的命令行客户端工具
(这个只是用来看连接的节点信息,不启动也没关系)

小黑窗输入命令:zkCli -server 127.0.0.1:2181

3、启动 Kafka 服务器:

第1个kafka服务器,也就是第1个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server.properties

第2个kafka服务器,也就是第2个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-1.properties

第3个kafka服务器,也就是第3个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-2.properties

配置步骤

Kafka 在集群模式下才能体现它的一些优势。因为是演示,所以不可能弄很多台服务器来搭建 Kafka 集群环境,所以只能在一台电脑里面,运行多个kafka进程,就是通过监听不同的端口来实现。

1、如果要配置Kafka集群,也就是启动多个Kafka节点。以再启动两个Kafka节点为例, 那应将config子目录下的server.properties再复制两份,重命名为server-1.properties和server-2.properties

并将它们分别修改为:
【config/server-1.properties】:
指定该节点的唯一标识
broker.id=1
指定该节点监听端口
listeners=PLAINTEXT://:9093 和 9094
advertised.listeners=PLAINTEXT://localhost:9093 和 9094

复制两份,然后修改配置内容:
在这里插入图片描述

在这里插入图片描述

2、指定该节点的数据存储目录
log.dirs=E:/install/kafka_2.13-3.6.1/kafka-data-1

拷贝的这两份,修改存储数据的文件夹的名字
在这里插入图片描述

就是拷贝的配置文件改了这几处地方:
【config/server-2.properties】:
broker.id=2
listeners=PLAINTEXT://:9094
advertised.listeners=PLAINTEXT://localhost:9094
log.dir=log.dirs=E:/install/kafka_2.13-3.6.1/kafka-data-2

配置文件修改到的地方:
一个broker就是一个kafka节点,也就是一个kafka。
在这里插入图片描述

启动各Kafka节点

此时加上拷贝的两个,就有三个kafka节点了。来启动它们:

依次运行如下命令,先启动第2个节点,监听9093端口:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-1.properties

启动第3个节点,监听9094端口:

 kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-2.properties

由于本例是在同一台主机上运行多个Kafka节点,因此将3个节点的监听端口分别设为9092(默认端口)、9093(第2个节点)和9094(第3个节点)。

如果在不同主机上分别启动不同的Kafka节点,则可以让它们都使用9092的默认端口。

如果Kafka节点与ZooKeeper不在同一台主机上,则需要修改Kafka config目录下的server.properties文件中的如下一行:

# 设置ZooKeeper的主机和端口
zookeeper.connect=localhost:2181

因为现在都是在同一台主机上面操作,就不用弄其他的了。

可以看到,kafka集群,三个节点都已经启动成功了。
在这里插入图片描述

启动 zookeeper 的命令行客户端工具,小黑窗输入命令:zkCli -server 127.0.0.1:2181 和 ls /
可以看到很多东西都注册到 zookeeper 里面了,因为zookeeper就是用来管理这些分布式节点数据的。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/322985.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python的课后练习总结4(for循环)

1,for循环 for 临时变量 in 序列: 重复执行的代码1 重复执行的代码2 ........... 遍历序列 字符串 我是中国人 列表 [‘星期一,星期二,星期三,星期四] 元组 (‘星期一,星期二,星期三,星期四) 一,break 终止循环 二,con…

Keil5----生成hex文件和bin文件

Keil5编译环境搭建----教程目录 keil5----生成hex文件 具体步骤如下: 步骤1: 点击 魔法棒 “Options for Target” 。步骤2: 单击 Output。步骤3: 选择输出生成文件的路径。步骤4: 自定义生成的hex文件名。步骤5&am…

pytorch08:学习率调整策略

目录 一、为什么要调整学习率?1.1 class _LRScheduler 二、pytorch的六种学习率调整策略2.1 StepLR2.2 MultiStepLR2.3 ExponentialLR2.4 CosineAnnealingLR2.5 ReduceLRonPlateau2.6 LambdaLR 三、学习率调整小结四、学习率初始化 一、为什么要调整学习率&#xff…

【基础篇】十四、GC算法

文章目录 1、实现思路2、SWT3、GC算法4、标记清除算法Mark Sweep GC5、复制算法Copying GC5、标记整理算法6、分代算法Generational GC7、分代的整体流程 1、实现思路 Java实现垃圾回收的步骤: 根据GC Root对象可达性分析,将内存中对象标记为存活的、可…

【python入门】day18:文件、os相关操作

编码格式 1、ASCLL–ISO8859-1–GBK–UTF-8– ISO8859-1–GBK等文件在格式上会显示为ASCLL 2、python文件默认格式 utf-8,看格式流程 选择python文件–用记事本打开–另存为… 这时可看到该文件的格式 3、修改python文件默认编码格式,在文件开头添加上: …

Docker容器相关操作

文章目录 容器相关操作1 新建并启动容器2 容器日志3 删除容器4 列出容器5 创建容器6 启动、重启、终止容器7 进入容器8 查看容器9 更新容器10 杀掉容器11 docker常用命令汇总 容器相关操作 ​ 容器是镜像的运行时实例。正如从虚拟机模板上启动 VM 一样,用户也同样可…

分布式【Zookeeper三大核心之数据节点ZNode】

ZooKeeper在分布式领域,能够帮助解决很多很多的分布式难题,但是底层却只是依赖于两个主要的组件:ZNode文件/数据存储系统和watch监听系统,另外还有一大模块,就是ACL系统。本节我们介绍下znode文件/数据存储系统。 一、…

uniapp微信小程序投票系统实战 (SpringBoot2+vue3.2+element plus ) -后端架构搭建

锋哥原创的uniapp微信小程序投票系统实战: uniapp微信小程序投票系统实战课程 (SpringBoot2vue3.2element plus ) ( 火爆连载更新中... )_哔哩哔哩_bilibiliuniapp微信小程序投票系统实战课程 (SpringBoot2vue3.2element plus ) ( 火爆连载更新中... )共计21条视频…

VuePress部署到GitHub Pages

一、git push自动部署 1、创建用于工作流的文件 在项目根目录下创建一个用于 GitHub Actions 的工作流 .yml 文件 name: docson:# 每当 push 到 main 分支时触发部署push:branches: [main]# 手动触发部署workflow_dispatch:jobs:docs:runs-on: ubuntu-lateststeps:- uses: a…

Python-CSV文件的存储

CSV文件存储 CSV其文件以纯文本形式存储表格数据。CSV文件是一个字符序列,可以由任意数目的记录组成,各种记录由某种换行符分隔开。它比Excel文件更加简洁,XLS文本是电子表格,包含文本、数值、公式和格式等内容,CSV中则…

安装extiverse/mercury时报错

问题描述 作者在安装 Flarum 的插件 extiverse/mercury 时报错,内容如下图所示 解决方案 ⚠警告:请备份所有数据再进行接下来的操作,此操作可能会导致网站不可用! 报错原因:主要问题是在安装过程中解决依赖关系。具…

vue项目使用vue-pdf插件预览pdf文件

1、安装vue-pdf&#xff1a;npm install --save vue-pdf 2、使用 具体实现代码&#xff1a;pdfPreview.vue <template><div class"container"><pdfref"pdf":src"pdfUrl":page"currentPage":rotate"pageRotate&qu…