Centos安装Kafka（KRaft模式）-编程知识

Centos安装Kafka（KRaft模式）

1. KRaft引入

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。
由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，提供KRaft模式，来取消Kafka对Zookeeper的依赖。
在Kafka引入KRaft新内部功能后，对Zookeeper的依赖将会被取消。在 KRaft 中，一部分 broker 被指定为控制器，这些控制器提供过去由 ZooKeeper 提供的共识服务。所有集群元数据都将存储在 Kafka 的topic中并在内部进行管理。

2. KRaft模式优势

更简单的部署和管理。通过只安装和管理一个应用程序，Kafka 现在的运营足迹要小得多，这也使得在边缘的小型设备中更容易利用 Kafka；
提高可扩展性。KRaft 的恢复时间比 ZooKeeper 快一个数量级，这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万；
更有效的元数据传播。基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。

3. Kafka部署（单机版）

jdk安装，略
scala安装，略
kafka安装，注意和scala版本对应。
1. 下载安装包：wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz --no-check-certificate。
  注意：kafka_2.12-3.5.2.tgz ，2.12对应scala版本；3.5.2对应kafka版本。
2. 解压：tar -zxvf kafka_2.12-3.5.2.tgz -C /export/server/
3. 创建数据存储目录：mkdir /data/kafka_kraft-combined-log
4. 修改配置文件：vim kafka_2.12-3.5.2/config/kraft/server.properties
```
# Kafka broker对外公布的监听地址和端口
advertised.listeners=PLAINTEXT://192.168.1.6:9092
# Kafka存储数据的目录
log.dirs=/data/kafka_kraft-combined-log
```
5. 格式化存储目录
  执行命令：kafka_2.12-3.5.2/bin/kafka-storage.sh random-uuid，得到一个uuid：xxxxx…
  执行命令：kafka_2.12-3.5.2/bin/kafka-storage.sh format -t xxxxx -c config/kraft/server.properties，格式化存储目录。
  
  格式化之后的存储目录多了以下两个文件：
6. 安装完成，开始使用吧。

4. Kafka使用

单机启动：kafka_2.12-3.5.2/bin/kafka-server-start.sh -daemon config/kraft/server.properties
单机停止：kafka_2.12-3.5.2/bin/kafka-server-stop.sh
查看进程
创建topic：kafka_2.12-3.5.2/bin/kafka-topics.sh --create --topic predict_task_log --bootstrap-server 192.168.1.6:9092

创建完topic之后，会在数据存储目录自动新增目录用来存放该topic数据。