14、Kafka ------ kafka 核心API 之 流API（就是把一个主题的消息 导流 到另一个主题里面去）

目录

  • kafka 核心API 之 流API
    • Kafka流API的作用：
    • 流API的核心API：
    • 使用流API编程的大致步骤如下：
    • 代码演示 流API 用法
      • MessageStream 流API 代码
      • 演示消息从 test1主题 导流到 test2主题
      • 演示使用匿名内部类对消息进行处理
      • Topology 拓扑结构 讲解
    • 代码：
      • MessageProducer 消息生产者
      • Consumer01 消费者01
      • Consumer02 消费者02
      • MessageStream 流API 功能演示类
      • pom 依赖

kafka 核心API 之 流API


Kafka流API的作用：

流API 的作用 是创建多个主题之间的消息流，从而允许将消息从一个主题“导流”到另一个主题，在消息“导流”的过程中，客户端程序可对消息进行任意自定义的转换（转换也就是对消息进行业务操作）。

这个 sink主题并不是指具体的一个叫sink的主题，只是类似于 源和目标 中的目标一样。
我把某个主题的方法导流到另一个主题上面去而已。这个sink主题也可以是a主题，也可以是b主题。

在这里插入图片描述



流API的核心API：


流API 的核心API包括如下几个：

StreamsBuilder： 从名称就知道，它的作用是创建Stream。但它不是直接创建KafkaStream，而是创建KStream。

KStream： KStream 代表key-value数据流，它的主要功能就是定义流的拓扑（Topology）结构。通俗来说，就是设置source主题，设置sink主题等。

Topology： 代表流的拓扑（Topology）结构，它也提供了大量重载的 addSource()、addSink()方法来添加 source主题 和 sink主题。

KafkaStreams： 代表程序要用到的数据流，调用它的 start()方法开始导流，调用它的 close()方法可关闭导流。



使用流API编程的大致步骤如下：

1、使用StreamsBuilder创建KStream，创建KStream时已经指定了source主题。

2、通过KStream设置sink主题、要流所做到转换处理。

KStream提供了大量重载的flatMap()、map()、filter()……等方法对流进行转换， 调用这些处理方法时，通常都需要传入自定义的处理器，常使用Lambda表达式来定义这些处理器。

3、调用StreamsBuilder的build()方法创建代表流关系的Topology对，该对象已经封装了通过KSteam所设置的source主题、sink主题等信息。

如果还需要对流关系进行修改，也可调用Topology对象的addSource()、addSink()方法来添加source主题和sink主题。

4、以Topology为参数，创建KafkaStreams对象，创建该对象时，还需要传入一个Properties对象对该流进行配置。

5、调用KafkaStreams对象的start()方法开始导流；导流结束后调用 close()方式关闭流。

流API要使用自己的依赖库：

	<!-- 导入Kafka流API的JAR包 --><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-streams</artifactId><version>3.6.1</version></dependency>

依赖
在这里插入图片描述



代码演示 流API 用法


KafkaStreams 官方API 示例

在这里插入图片描述



MessageStream 流API 代码


这个导流的类，功能就是把test1主题的消息自动导流到test2主题里面，导流的时候还对消息做了业务处理，就是在消息前面加上 "【 ljh: " 这个字符串操作

在这里插入图片描述
在这里插入图片描述

启动 流API 这个类，开始导流

在这里插入图片描述



演示消息从 test1主题 导流到 test2主题


前景提要，消费者01和消费者02都是在监听test2这个主题的消息的。

在这里插入图片描述

两个消费者在不同的消费者组，所以都可以监听到test2主题的所有消息。类似发布/订阅模式。

在这里插入图片描述

打开一个小黑窗，往test1主题发送消息

C:\Users\JH> kafka-console-producer --bootstrap-server localhost:9092 ^
More? --topic test1

在这里插入图片描述

导流成功：

如图：我往 test1主题 发送的消息，因为成功导流到 test2 主题，所以也被消费者01 和 消费者02 监听到了。
而且消息也做了处理，在消息前面加了–> 【 ljh:

在这里插入图片描述

5分钟后，导流结束，关闭这个导流功能的线程。

在这里插入图片描述



演示使用匿名内部类对消息进行处理


通过代码处理，以空格为分割点，将带有空格的消息分割成多个消息
此处是一条消息，转换后变成多条消息

在这里插入图片描述


如图：发送的这一条消息，带有多个空格

在这里插入图片描述

通过业务处理后，一条消息通过空格，分割成6条消息

在这里插入图片描述



Topology 拓扑结构 讲解

调用StreamsBuilder的build()方法创建代表流关系的Topology对像，该对象已经封装了通过KSteam所设置的 source主题、sink主题等信息。如果还需要对流关系进行修改，也可调用Topology对象的addSource()、addSink()方法来添加source主题和sink主题。

通过打印这个拓扑结构，看下我们设置的 source主题、sink主题等信息。

如图：我们设置的 source主题 就是 test1 主题，设置的 sink主题 就是test2 主题

在这里插入图片描述

代码：

MessageProducer 消息生产者

这个在演示中用不到，不过为了方便后期研究，也贴上来

package cn.ljh;import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;//生产者
import java.util.Properties;/*** Properties： Kafka 设计了 Properties 来封装所有的配置属性* <p>* KafkaProducer：用来创建消息生产者，是 生产者API 的核心类，* 它提供了一个 send()方法 来发送消息，该方法需要传入一个 ProducerRecord<K,V>对象* <p>* ProducerRecord：代表了一条消息，Kafka 的消息是包含了key、value、timestamp*/
public class MessageProducer
{//主题常量public static final String TEST_TOPIC = "test2";public static void main(String[] args){//Properties 中所设置的key，有效的value，可以通过Kafka官方文档来查询生产者API支持哪些配置属性Properties props = new Properties();//指定连接Kafka的地址，多个地址之间用逗号隔开props.put("bootstrap.servers", "localhost:9092,localhost:9093,localhost:9094");//指定Kafka的消息确认机制//0：不等待消息确认；1：只等待领导者分区的消息写入之后确认；all：等待所有分区的消息都写入之后才确认props.put("acks", "all");//指定消息发送失败的重试多少次props.put("retries", 0);//控制生产者在发送消息之前等待的时间//props.put("linger.ms", 3);//设置序列化器props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");//1、创建 KafkaProducer 时，需要传入 Properties 对象来配置消息生产者Producer<String, String> producer = new KafkaProducer<>(props);//2、发送消息for (int i = 0; i < 20; i++){var msg = "这是第【 " + (i + 1) + " 】条消息！";if (i < 10){//发送带 key 的消息producer.send(new ProducerRecord<String, String>(TEST_TOPIC, "ljh", msg));} else{//发送不带 key 的消息producer.send(new ProducerRecord<String, String>(TEST_TOPIC, msg));}}System.out.println("消息发送成功！");//3、关闭资源producer.close();}
}

Consumer01 消费者01

package cn.ljh;import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;
import java.util.Scanner;
//消费者01
public class Consumer01
{//组id：设置这个消费者实例是属于 ConsumerGroupTest_01 这个消费者组的public static final String GROUP_ID = "ConsumerGroupTest_01";//1、创建 KafkaConsumer 消费者对象 ,把这个消费者定义成成员变量public static KafkaConsumer<String, String> consumer = null;public static void main(String[] args){//Properties 中所设置的key，有效的value，可以通过Kafka官方文档来查询生产者API支持哪些配置属性Properties props = new Properties();//指定连接Kafka的地址，多个地址之间用逗号隔开props.put("bootstrap.servers", "localhost:9092,localhost:9093,localhost:9094");//设置这个消费者实例属于哪个消费者组props.setProperty("group.id", GROUP_ID);//自动提交offset，就是类似之前的自动消息确认props.setProperty("enable.auto.commit", "true");//多个消息之间，自动提交消息的时间间隔props.setProperty("auto.commit.interval.ms", "1000");//设置session的超时时长，默认是10秒,这里设置15秒props.setProperty("session.timeout.ms", "15000");//设置每次都从最新的消息开始读取props.setProperty("auto.offset.reset","latest");//设置序列化器props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");//1、创建 KafkaConsumer 消费者对象consumer = new KafkaConsumer<>(props);//2、订阅主题，订阅kafka集群中的test2主题consumer.subscribe(Arrays.asList(MessageProducer.TEST_TOPIC));//因为获取消息的循环是一个死循环，没法退出，所以我在这里再加一个线程来关闭这个消费者//启动一个线程来关闭这个 KafkaConsumernew Thread(() ->{//创建一个Scanner 类来读取控制台数据Scanner sc = new Scanner(System.in);//如果有下一行，就读取下一行while (sc.hasNextLine()){//获取控制台下一行的内容var str = sc.nextLine();//就是这个线程一直监听控制台，如果我们在控制台输出” :exit “，则关闭这个这个 KafkaConsumerif (str.equals(":exit")){//取消订阅consumer.unsubscribe();//关闭消费者对象consumer.close();}}}).start();//这是一个死循环，一直在获取主题中的消息while (true){ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));for (ConsumerRecord<String, String> record : records)System.out.printf("收到消息： offset = %d, key = %s, value = %s%n",record.offset(), record.key(), record.value());}}
}

Consumer02 消费者02

package cn.ljh;import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;
import java.util.Scanner;
//消费者02
public class Consumer02
{//组id：设置这个消费者实例是属于 ConsumerGroupTest_02 这个消费者组的public static final String GROUP_ID = "ConsumerGroupTest_02";//1、创建 KafkaConsumer 消费者对象 ,把这个消费者定义成成员变量public static KafkaConsumer<String, String> consumer = null;public static void main(String[] args){//Properties 中所设置的key，有效的value，可以通过Kafka官方文档来查询生产者API支持哪些配置属性Properties props = new Properties();//指定连接Kafka的地址，多个地址之间用逗号隔开props.put("bootstrap.servers", "localhost:9092,localhost:9093,localhost:9094");//设置这个消费者实例属于哪个消费者组props.setProperty("group.id", GROUP_ID);//自动提交offset，就是类似之前的自动消息确认props.setProperty("enable.auto.commit", "true");//多个消息之间，自动提交消息的时间间隔props.setProperty("auto.commit.interval.ms", "1000");//设置session的超时时长，默认是10秒,这里设置15秒props.setProperty("session.timeout.ms", "15000");//设置每次都从最新的消息开始读取props.setProperty("auto.offset.reset","latest");//设置序列化器props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");//1、创建 KafkaConsumer 消费者对象consumer = new KafkaConsumer<>(props);//2、订阅主题，订阅kafka集群中的test2主题consumer.subscribe(Arrays.asList(MessageProducer.TEST_TOPIC));//因为获取消息的循环是一个死循环，没法退出，所以我在这里再加一个线程来关闭这个消费者//启动一个线程来关闭这个 KafkaConsumernew Thread(() ->{//创建一个Scanner 类来读取控制台数据Scanner sc = new Scanner(System.in);//如果有下一行，就读取下一行while (sc.hasNextLine()){//获取控制台下一行的内容var str = sc.nextLine();//就是这个线程一直监听控制台，如果我们在控制台输出” :exit “，则关闭这个这个 KafkaConsumerif (str.equals(":exit")){//取消订阅consumer.unsubscribe();//关闭消费者对象consumer.close();}}}).start();//这是一个死循环，一直在获取主题中的消息while (true){ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));for (ConsumerRecord<String, String> record : records)System.out.printf("收到消息： offset = %d, key = %s, value = %s%n",record.offset(), record.key(), record.value());}}
}

MessageStream 流API 功能演示类

package cn.ljh;import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.Topology;
import org.apache.kafka.streams.kstream.ValueMapper;import java.util.Arrays;
import java.util.Properties;//流API
public class MessageStream
{//定义常量，这个是主题的常量public static final String SOURCE_TOPIC = "test1";public static final String TO_TOPIC = "test2";public static void main(String[] args) throws InterruptedException{//1、使用StreamsBuilder创建KStreamStreamsBuilder builder = new StreamsBuilder();//2、通过KStream设置sink主题、要流所做到转换处理。// KStream提供了大量重载的flatMap()、map()、filter()……等方法对流进行转换，// 调用这些处理方法时，通常都需要传入自定义的处理器，常使用Lambda表达式来定义这些处理器。builder//设置 source 主题，类似的源的主题.<String, String>stream(SOURCE_TOPIC)//这里的 mapValues 就是对消息（数据项、记录）进行转换处理（也可以理解为业务处理），这里我在消息前面加上 "【 ljh:  " 这个字符串操作//使用lambda表达式来构建转换器//此处是一条消息，转换后也还是一条消息，只是在消息内容的前后添加特定的字符串//.mapValues(value -> "【 ljh:  " + value + "  】")//此处使用匿名内部类构建转换器.flatMapValues(new ValueMapper<String, Iterable<String>>(){@Override//该方法的参数就代表传入的一个数据项（消息）public Iterable<String> apply(String value){//Arrays.asList : 把一个数组转换成list//value.split("\\w+") ：（ 一条带有空格的消息）通过空格将消息分解成多个消息//此处是一条消息，转换后变成多条消息return Arrays.asList(value.split("\\W+"));}})//设置sink主题：就是把test01主题的消息导流到这个test02主题.to(TO_TOPIC);//Properties： Kafka 设计了 Properties 来封装所有的配置属性Properties props = new Properties();props.put(StreamsConfig.APPLICATION_ID_CONFIG, "my-stream-processing-application");//指定连接Kafka的地址，多个地址之间用逗号隔开props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092,localhost:9093,localhost:9094");//设置 key 的序列化器props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());//设置 value 的序列化器props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());//3、调用StreamsBuilder的build()方法创建代表流关系的Topology对像，该对象已经封装了通过KSteam所设置的source主题、sink主题等信息。//如果还需要对流关系进行修改，也可调用Topology对象的addSource()、addSink()方法来添加source主题和sink主题。Topology topology = builder.build();System.err.println(topology.describe());//4、以Topology为参数，创建KafkaStreams对象，创建该对象时，还需要传入一个Properties对象对该流进行配置。KafkaStreams streams = new KafkaStreams(builder.build(), props);//5、调用KafkaStreams对象的start()方法开始导流；导流结束后调用 close()方式关闭流。//调用 KafkaStreams 对象的 start() 方法开始导流streams.start();System.err.println("---------开始导流----------");//程序暂停300秒后停止导流Thread.sleep(300 * 1000);streams.close();System.err.println("---------导流结束----------");}
}

pom 依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>cn.ljh</groupId><artifactId>kafkaproducertest</artifactId><version>1.0.0</version><!-- 项目名，和 artifactId 保持一致 --><name>kafkaproducertest</name><properties><!-- 在这里指定编译器的版本 --><maven.compiler.source>11</maven.compiler.source><maven.compiler.target>11</maven.compiler.target><java.version>11</java.version><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding></properties><dependencies><!-- 导入 Kafka 客户端API的JAR包 --><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>3.6.1</version></dependency><!-- 导入Kafka 流API 的JAR包 --><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-streams</artifactId><version>3.6.1</version></dependency></dependencies></project>

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/424576.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

文心一言 VS 讯飞星火 VS chatgpt （185）-- 算法导论14.1 2题

文心一言 VS 讯飞星火 VS chatgpt （185）-- 算法导论14.1 2题

二、用go语言&#xff0c;对于图 14-1中的红黑树 T 和关键字 x.key 为35的结点x&#xff0c;说明执行 OS-RANK(T&#xff0c;x) 的过程。 文心一言&#xff1a; 在红黑树中&#xff0c;OS-RANK(T, x) 是一个操作&#xff0c;用于计算节点 x 在红黑树 T 中的秩。秩是一个节点的…
阅读更多...
vscode连不上虚拟机，一直密码错误

vscode连不上虚拟机，一直密码错误

最近在做毕设&#xff0c;但是vscode使用连接不上虚拟机&#xff0c;我以为是网络配置的问题&#xff0c;一顿查阅没找到原因。 后来查了一下ssh的日志&#xff0c;发现ssh有消息&#xff0c;但是也提示密码错误。 没找到密码配置格式什么的&#xff0c;经查看sshd配置文件发现…
阅读更多...
搭建互联网医疗平台：构建智慧医院APP的开发指南

搭建互联网医疗平台：构建智慧医院APP的开发指南

本文将从技术层面出发&#xff0c;为大家提供构建互联网医疗平台、打造智慧医院APP的详细开发指南。 一、确定需求与功能 在开始开发之前&#xff0c;首先需要明确智慧医院APP的需求与功能。这包括患者预约挂号、在线咨询、病历查看、医疗报告查询等功能。 二、选择合适的开发…
阅读更多...
C++ STL之list的使用及模拟实现

C++ STL之list的使用及模拟实现

文章目录 1. 介绍2. list类的使用2.1 list类对象的构造函数2.2 list类对象的容量操作2.3 list类对象的修改操作2.4 list类对象的访问及遍历操作 3. list类的模拟实现 1. 介绍 list是可以在常数范围内在任意位置进行插入和删除的序列式容器&#xff0c;并且该容器可以前后双向迭…
阅读更多...
ubuntu22.04安装filebeat报错解决

ubuntu22.04安装filebeat报错解决

1、查看报错 journalctl -u filebeat 或者 filebeat -c /etc/filebeat/filebeat.yml找到报错信息 runtime/cgo: pthread_create failed: Operation not permitted 2、解决报错 在filebeat.yml配置文件添加如下配置&#xff0c;重启filebeat seccomp:default_action: allow…
阅读更多...
五邑大学餐厅网络点餐系统设计与实现（包含完整源码详细开发过程）

五邑大学餐厅网络点餐系统设计与实现（包含完整源码详细开发过程）

博主介绍&#xff1a;✌专研于前后端领域优质创作者、本质互联网精神开源贡献答疑解惑、坚持优质作品共享、掘金/腾讯云/阿里云等平台优质作者、擅长前后端项目开发和毕业项目实战&#xff0c;深受全网粉丝喜爱与支持✌有需要可以联系作者我哦&#xff01; &#x1f345;文末获…
阅读更多...
React Router v6 改变页面Title

React Router v6 改变页面Title

先说正事再闲聊 1、在路由表加个title字段 2、在index包裹路由 3、在App设置title 闲聊&#xff1a; 看到小黄波浪线了没 就是说默认不支持title字段了 出来的提示&#xff0c; 所以我本来是像下面这样搞的&#xff0c;就是感觉有点难维护&#xff0c;就还是用上面的方法了 …
阅读更多...
数据的存储

数据的存储

目录 1 -> 数据类型的介绍 1.1 -> 类型的基本归类 2 -> 整型在内存中的存储 2.1 -> 原码、反码、补码 2.2 -> 大小端介绍 3 -> 浮点型在内存中的存储 3.1 -> 浮点数存储规则 1 -> 数据类型的介绍 基本内置类型有&#xff1a; char /…
阅读更多...
京东获得JD商品评论 API 返回值说明

京东获得JD商品评论 API 返回值说明

item_review-获得JD商品评论 公共参数 请求地址:jd.item_review 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;secretString是调用密钥api_nameString是API接口名称&#xff08;包括在请求地址中&#xff09;[item_search,item_get,i…
阅读更多...
正信晟锦：亲戚借了钱怎么要回来

正信晟锦：亲戚借了钱怎么要回来

亲戚间的金钱借贷&#xff0c;往往是情感与金钱交织的微妙话题。在中国传统文化中&#xff0c;家族关系至关重要&#xff0c;因此处理此类事宜时需要格外细致和谨慎。要回借出的钱&#xff0c;不仅要考虑到资金的回流&#xff0c;更要维护和谐的家庭关系。 沟通是解决问题的关键…
阅读更多...
Shell脚本①编程规范与脚本基础

Shell脚本①编程规范与脚本基础

目录 一.Shell脚本概述 1.基本概念 &#xff08;1&#xff09;将要执行的命令按顺序保存到一个文本文件&#xff1b; &#xff08;2&#xff09;给该文件可执行权限&#xff1b; &#xff08;3&#xff09;可结合各种Shell控制语句以完成更复杂的操作。 2.基本构成 &…
阅读更多...
Asp.net core 框架入门

Asp.net core 框架入门

概述 appsettings.json&#xff1a;配置文件&#xff0c;数据库连接字符串配置信息 Program.cs&#xff1a;程序入口文件&#xff08;里面有个Main方法&#xff09; Startup.cs&#xff1a;启动配置文件 依赖项&#xff1a;管理项目所依赖的第三方组件的安装&#xff0c;配…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023