kafka学习笔记--安装部署、简单操作

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。
如有侵权、联系速删
视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）

文章目录

  • 1 安装部署
    • 1.1 集群规划
    • 1.2 集群部署
  • 2 命令行操作
    • 2.1 主题
    • 2.2 生产者
    • 2.3 消费者
    • 2.4 消费者组

1 安装部署

1.1 集群规划

这里采用的是三节点的kafka集群，名称为hadoop102、hadoop103、hadoop104

1.2 集群部署

官方下载地址：http://kafka.apache.org/downloads.html

  1. 解压安装包
    tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
  2. 修改解压后的文件名称
     mv kafka_2.12-3.0.0/ kafka
  3. 进入到/opt/module/kafka 目录，修改配置文件
     cd config/vim server.properties
    按需修改以下内容：
    #broker 的全局唯一编号，不能重复，只能是数字(一般修改这个)。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔。(一般修改这个)
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数，默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）(一般修改这个)
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
  4. 另外两个节点也装安装包
  5. 分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties中的 broker.id=1、broker.id=2
    注：broker.id 不得重复，整个集群中唯一。
  6. 配置环境变量
    • 在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置
      sudo vim /etc/profile.d/my_env.sh
      增加如下内容：
      #KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
    • 刷新一下环境变量。
      source /etc/profile
    • 其他节点一样的操作。
      在另外两个节点 source刷新
      source /etc/profile
  7. 启动集群
    先启动 Zookeeper 集群，然后启动 Kafka。
    zk.sh start
kafka-server-start.sh -daemon config/server.properties
  8. 关闭集群
    bin/kafka-server-stop.sh
    注意：停止 Kafka 集群时，一定要等 Kafka 所有节点进程全部停止后再停止 Zookeeper集群。因为 Zookeeper 集群当中记录着 Kafka 集群相关信息，Zookeeper 集群一旦先停止，Kafka 集群就没有办法再获取停止进程的信息，只能手动杀死 Kafka 进程了。

2 命令行操作

2.1 主题

1 查看操作主题命令参数

bin/kafka-topics.sh + 参数
参数描述
–bootstrap-server <String: server toconnect to>连接的 Kafka Broker 主机名称和端口号。
–topic <String: topic>操作的 topic 名称。
–create创建主题。
–delete删除主题。
–alter修改主题。
–list查看所有主题。
–describe查看主题详细描述。
–partitions <Integer: # of partitions>设置分区数。
–replication-factor<Integer: replication factor>设置分区副本。
–config <String: name=value>更新系统默认的配置。

操作时要先连接，所以后面的命令行都有--bootstrap-server hadoop102:9092
2 查看当前服务器中的所有 topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

3 创建一个topic，这里我起名为first

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

选项说明：
--topic定义topic名
--replication-factor定义副本数
--partitions 定义分区数
4 查看 first 主题的详情

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

5 修改分区数（注意：分区数只能增加，不能减少）

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

6 再次查看 first 主题修改后的详情

 bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

7 删除 topic

 bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

2.2 生产者

1 查看生产者

bin/kafka-console-producer.sh
参数描述
–bootstrap-server <String: server toconnect to>连接的 Kafka Broker 主机名称和端口号。
–topic <String: topic>操作的 topic 名称。

2 发送消息

bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first
hello world
atguigu atguigu

2.3 消费者

1 查看消费者

bin/kafka-console-consumer.sh
参数描述
–bootstrap-server <String: server toconnect to>连接的 Kafka Broker 主机名称和端口号。
–topic <String: topic>操作的 topic 名称。
–from-beginning从头开始消费。
–group <String: consumer group id>指定消费者组名称。

2 消费消息

  • 消费指定主题的数据
    bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
  • 把主题中所有的数据都读取出来（包括历史数据）。
    bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

2.4 消费者组

1 查看消费者组

bin/kafka-consumer-groups.sh
参数描述
–bootstrap-server <String: server toconnect to>连接的 Kafka Broker 主机名称和端口号。
–describe列出消费者组详情信息。
–list列出所有消费者。
–group <String: consumer group id>指定消费者组名称。

如果我们要查询testGroup消费者组的详细信息，执行如下命令

bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092 --describe --group testGroup

在这里插入图片描述
其中列出的参数含义为：

参数描述
GROUP消费者组名
TOPIC主题名称
PARTITION该主题消息的分区ID列表
CURRENT-OFFSET最后被消费的消息的偏移量
LOG-END-OFFSET该主题最后一条消息的偏移量
LAG消息积压量
CONSUMER-ID该组消费者ID
HOST该组消费者主机IP/brokerID
CLIENT-ID该组消费者客户端ID

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/259680.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【MySQL】MySQL的varchar字段最大长度是65535？

【MySQL】MySQL的varchar字段最大长度是65535？

在MySQL建表sql里，我们经常会有定义字符串类型的需求。 CREATE TABLE `user` ( `name` varchar(100) NOT NULL DEFAULT COMMENT 名字) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ; 比方说user表里的名字，就是个字符串。MySQL里有两个类型比较适合这个场景。 char和varchar。…
阅读更多...
CentOS 7.9安装宝塔面板，安装gitlab服务器

CentOS 7.9安装宝塔面板，安装gitlab服务器

docker安装方式比较慢&#xff0c;安装包1.3GB 安装后启动很慢 docker logs q18qgztxdvozdv_gitlab-ce-gitlab-1 docker ps docker exec -it q18qgztxdvozdv_gitlab-ce-gitlab-1 sh cd /etc/gitlab cat initial_root_password 软件商店安装方式&#xff0c;失败了2023.12…
阅读更多...
【HTML】解析垂直滚动轮播效果的HTML、CSS和JavaScript实现

【HTML】解析垂直滚动轮播效果的HTML、CSS和JavaScript实现

解析垂直滚动轮播效果的HTML、CSS和JavaScript实现 在现代Web开发中&#xff0c;滚动轮播效果是网页设计中常见的交互元素之一。在本文中&#xff0c;我们将深入解析一段HTML、CSS和JavaScript的代码&#xff0c;实现了一个简单而高效的垂直滚动轮播效果。通过该代码&#xff…
阅读更多...
电子眼+无人机构建平安城市视频防控监控方案

电子眼+无人机构建平安城市视频防控监控方案

电子眼&#xff08;也称为监控摄像机&#xff09;可以通过安装在城市的不同角落&#xff0c;实时监控城市的各个地方。它们可以用于监测交通违法行为、监控公共场所的安全以及实时监测特定区域的活动情况。通过电子眼的应用&#xff0c;可以帮助警方及时发现并响应各类安全事件…
阅读更多...
电子学会C/C++编程等级考试2021年09月（五级）真题解析

电子学会C/C++编程等级考试2021年09月（五级）真题解析

C/C++等级考试（1~8级）全部真题・点这里 第1题：抓牛 农夫知道一头牛的位置，想要抓住它。农夫和牛都位于数轴上，农夫起始位于点N(0<=N<=100000)，牛位于点K(0<=K<=100000)。农夫有两种移动方式： 1、从X移动到X-1或X+1，每次移动花费一分钟 2、从X移动到2*X，每…
阅读更多...
IntelliJ IDEA使用Eval Reset

IntelliJ IDEA使用Eval Reset

文章目录 IntelliJ IDEA使用Eval Reset说明具体操作 IntelliJ IDEA使用Eval Reset 说明 操作系统&#xff1a;windows10 版本&#xff1a;2020.1 IntelliJ IDEA安装可查看&#xff1a;安装教程 具体操作 添加&#xff0c;输入网址 https://plugins.zhile.io然后搜索“IDE E…
阅读更多...
浏览器提示不安全

浏览器提示不安全

当我们使用浏览器访问一个网站时&#xff0c;如果该网站使用的是HTTPS连接&#xff0c;那么浏览器会对其进行安全性的检查。其中一项重要的检查就是确认该网站是否拥有有效的SSL证书。然而&#xff0c;有时我们会在浏览器中看到“不安全”的警告&#xff0c;这通常是由于SSL证书…
阅读更多...
docker学习（八、mysql8.2主从复制遇到的问题）

docker学习（八、mysql8.2主从复制遇到的问题）

在我配置主从复制的时候&#xff0c;遇到了一直connecting的问题。 起初可能是我ip配置的不对&#xff0c;slave_io_running一直connecting。&#xff08;我的环境&#xff1a;windows中安装了wsl&#xff0c;是ubuntu环境的&#xff0c;在wsl中装了miniconda&#xff0c;mini…
阅读更多...
IDEA 社区版 add GitLab Account

IDEA 社区版 add GitLab Account

问题 IntelliJ IDEA Community Edition 2023.3&#xff08;社区版&#xff09;在使用GitLab连接时&#xff0c;使用个人访问令牌出现报错&#xff0c;代码&#xff1a; GraphQL error:[No such type ProjectMember,so it cant be a fraggment condition,Field id doesnt exis…
阅读更多...
Python django-xadmin：构建强大的 Django 后台管理系统

Python django-xadmin：构建强大的 Django 后台管理系统

概要 Django作为一款强大的Web框架&#xff0c;其后台管理系统提供了便捷的数据管理和操作方式。而 django-xadmin 则为Django的后台管理系统提供了更加强大的功能和灵活的定制选项。在本文中&#xff0c;我们将深入研究如何使用django-xadmin&#xff0c;并通过详细的示例代码…
阅读更多...
Nodejs安装使用，nvm对Nodejs和npm版本控制

Nodejs安装使用，nvm对Nodejs和npm版本控制

Nodejs 安装 使用: npm 是Nodejs的内置 包管理工具 下载长期支持版本Node.js 中文网Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型&#xff0c;使其轻量又高效。Node.js 的包管理器 npm&#xff0c;是全…
阅读更多...
docker容器_自定义上传jenkins镜像(Dockerfile实现)

docker容器_自定义上传jenkins镜像(Dockerfile实现)

1.创建jenkins目录&#xff0c;并上传相应的包 mkdir /jenkins/ 2.创建一个Dockerfile文件 FROM daocloud.io/library/centos:7#把当前目录下的jenkins.war包传到内部容器的/ 下 ADD ./jenkins.war /#把当前目录下的jdk传到内部容器的/opt/,并解压 ADD ./jdk-11.0.19_linu…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023