kafka客户端生产者消费者kafka可视化工具（可生产和消费消息）-编程知识

点击下载《kafka客户端生产者消费者kafka可视化工具（可生产和消费消息）》

1. 前言

因在工作中经常有用到kafka做消息的收发，每次调试过程中，经常需要查看接收的消息内容以及人为发送消息，从网上搜寻了一下，找到的工具大部分都是Kafka Tool，此工具功能还比较全面，但是操作起来个人认为并不是那么方便，于是，就萌生了自己写一个简单又好用的kafka客户端的想法。

以下为官方提供的Kafka tool：

在这里插入图片描述

可以看出传统的Kafka客户端工具与消费者相关的功能很完善，但是缺乏生产者相关功能，只能被动的查看已接收消息，且不能消费消息，这对于开发人员来讲有点难以接受。

Kafka生产者是负责向Kafka发送消息的应用程序组件。在Kafka中，生产者负责创建消息并将其发送到Kafka集群中的特定主题（topic）中。生产者将消息封装为ProducerRecord对象，该对象包含消息的主题、分区、键和值等信息。

在这里插入图片描述

生产者客户端开发包括以下步骤：

Kafka生产者支持异步发送消息，允许应用程序继续执行其他任务而无需等待消息发送完成。如果发送消息失败，生产者会尝试重新发送消息几次，或者可以选择将错误传递给应用程序进行进一步处理。

在这里插入图片描述

在这里插入图片描述

连接成功后，即可生产消息，其中Topic、Message为必填项，Key可为空，Type指定消息内容的格式，可为文本或JSON格式数据。

以下为示例消息：

在这里插入图片描述

Kafka消费者是负责从Kafka主题（topic）中读取消息的应用程序组件。消费者订阅感兴趣的主题，并从该主题中拉取消息进行处理。

在Kafka中，消费者通过消费者组（Consumer Group）进行管理，消费者组是一组共享相同消费者组名的消费者实例。消费者组负责将主题中的消息分配给组内的各个消费者实例进行消费。当主题中的消息量较大时，通过消费者组的扩展，可以实现消息的分布式消费，提高系统的吞吐量和可用性。

在这里插入图片描述

消费者客户端开发包括以下步骤：

配置消费者客户端参数：指定broker的地址清单（bootstrap.servers），用于与Kafka集群建立连接。此外，还需要指定消费者的组名、自动提交偏移量（auto.commit.enable）等参数。
创建消费者实例：根据配置参数，创建消费者实例。
订阅主题：使用subscribe（）方法订阅感兴趣的主题。消费者可以订阅一个或多个主题，也可以使用正则表达式订阅特定模式的主题。
处理消息：在消息拉取时，消费者从broker中读取消息，并进行处理。消费者可以使用pull模式或push模式来接收消息，其中pull模式允许消费者根据自身消费能力以适当速率消费消息，而push模式则由broker主动将消息推送给消费者。
提交偏移量：在处理完每条消息后，消费者需要提交偏移量（offset），以便在下次消费时从正确的位置继续读取。提交偏移量可以保证消息被可靠地处理且只被处理一次。
关闭消费者实例：在完成消息处理后，关闭消费者实例以释放资源。