centos 7 kafka2.6单机安装及动态认证SASL SCRAM配置

目录

1.kfaka安装篇

1.1 安装jdk

1.2安装kafka

2.安全篇

2.1 kafka安全涉及3部份：

2.2 Kafka权限控制认证方式

2.3 SASL/SCRAM-SHA-256 配置实例

2.3.1 创建用户

2.3.2 创建 JAAS 文件及配置

3.测试

3.1 创建测试用户

3.2 配置JAAS 文件

3.2.1 生产者配置

3.2.2 消费者配置

3.3 消息收发测试

1.kfaka安装篇

  • 依赖环境：jdk 1.8+
  • 系统：centos 7.6
  • 安装版本：v2.6.2
  • 下载：Apache Kafka

1.1 安装jdk

# 安装jdk 1.8
yum install java-1.8.0-openjdk.x86_64 -y

1.2安装kafka

# 下载2.6.2 kafka
wget https://archive.apache.org/dist/kafka/2.6.2/kafka_2.13-2.6.2.tgz# 解压tar -xzf kafka_2.13-2.6.2.tgz && mv kafka_2.13-2.6.2 /usr/local/kafkacd /usr/local/kafka# 启动zk
bin/zookeeper-server-start.sh config/zookeeper.properties
# 启动kafka
bin/kafka-server-start.sh config/server.properties# 启动后查看端口
# 查看监听zk端口2181、kafka端口 9092
# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    tcp6       0      0 :::9092      :::*                    LISTEN      2164/java           
tcp6       0      0 :::2181                 :::*                    LISTEN      1008/java

2.安全篇

2.1 kafka安全涉及3部份：

  • 传输加密
  • 用户认证与授权
  • ZK开启ACL（默认不开启acl，所有用户可更改，按需开启）

这里只开启传输加密和用户认证部分，acl不在这里配置

2.2 Kafka权限控制认证方式

Kafka支持的认证类别有

具体使用哪种按需选择，这里以sasl scram认证配置为例

2.3 SASL/SCRAM-SHA-256 配置实例

步骤：

  • 创建用户
  • 配置认证
2.3.1 创建用户

配置 SASL/SCRAM 的第一步，是创建能连接 Kafka 集群的用户，创建用户admin ，用于实现 Broker 间通信。

创建用户：

# 注意将密码替换
# 创建用户admin
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin],SCRAM-SHA-512=[password=admin]' --entity-type users --entity-name admin

附：管理用户命令

# 查看用户信息
bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name admin# 删除用户
bin/kafka-configs.sh --zookeeper localhost:2181 --alter  --delete-config 'SCRAM-SHA-512' --entity-type users --entity-name admin
2.3.2 创建 JAAS 文件及配置

2.3.2.1 broker配置

创建用户之后，需要为每个 Broker 创建一个对应的 JAAS 文件。因为本例为单机部署，所以只创建了一份 JAAS 文件即可。如果是集群，需要为每个 Broker 机器都创建一份 JAAS 文件

JAAS 的文件内容如下

# 在kafka工作目录下创建jaas.conf文件，用于broker通信
vim config/kafka_server_jaas.confKafkaServer {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="admin"password="admin";
};

开启broker认证配置

vim config/server.properties
# 添加如下配置
# 开启认证配置
advertised.listeners=SASL_PLAINTEXT://:9092
listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
# Broker 间通信也开启 SCRAM 认证，使用 SHA-256 算法
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
# 开启 SCRAM 认证机制，并启用 SHA-256 算法
sasl.enabled.mechanisms=SCRAM-SHA-256

broker启动命令添加 jaas conf配置，用于通信认证

vim /usr/local/kafka/bin/kafka-server-start.sh 
# 将最下面的命令注释
# exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"
# 增加jvm参数：-Djava.security.auth.login.config
# 修改如下
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/usr/local/kafka/config/kafka_server_jaas.conf kafka.Kafka "$@"

重启kafka

3.测试

3.1 创建测试用户

在这里创建 2个用户，分别是producer和 consumer 。producer 用于生产消息，consumer 用于消费消息，producer和consumer用于测试使用，生产中使用可根据业务需要创建对应用户，这里仅用于演示。

# 创建用户producer
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=producer],SCRAM-SHA-512=[password=producer]' --entity-type users --entity-name producer
# 创建用户consumer
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=consumer],SCRAM-SHA-512=[password=consumer]' --entity-type users --entity-name consumer

3.2 配置JAAS 文件

3.2.1 生产者配置
vim /usr/local/kafka/config/producer_jaas.confKafkaClient {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="producer"password="producer";
};

配置生产者启动脚本添加JAAS文件

vim bin/kafka-console-producer.sh
# 将下面的命令注释
#exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
# 修改如下
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/usr/local/kafka/config/producer_jaas.conf kafka.tools.ConsoleProducer "$@"

配置producer.properties

vim config/producer.properties
# 添加如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
3.2.2 消费者配置

配置JAAS文件

vim /usr/local/kafka/config/consumer_jaas.confKafkaClient {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="consumer"password="consumer";
};

配置消费者启动脚本添加JAAS文件配置

vim bin/kafka-console-consumer.sh
# 将下面的命令注释
#exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleConsumer "$@"
# 修改如下
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/usr/local/kafka/config/consumer_jaas.conf kafka.tools.ConsoleConsumer "$@"

配置consumer.properties

vim config/consumer.properties
# 添加如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

3.3 消息收发测试

 # 发送消息到topic testbin/kafka-console-producer.sh --broker-list  localhost:9092 --topic test --producer.config config/producer.properties# 读取test消息
bin/kafka-console-consumer.sh --bootstrap-server  localhost:9092 --topic test --from-beginning --consumer.config config/consumer.properties

效果如下

至此kafka SASL SCRAM认证配置完毕

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/157477.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

打造教育新高地 | 拓世法宝AI智能直播一体机，教育界的不二之选

打造教育新高地 | 拓世法宝AI智能直播一体机，教育界的不二之选

教育是社会进步和个人成长的基石，它不仅是知识传授的载体，更是塑造未来社会精英的摇篮。近年来，数字化、智能化以及个性化教育模式成为当下教育改革的关键词，它不断引领着人类文明的发展，开启着每个人成长的无限可能。…
阅读更多...
洗衣洗鞋柜洗衣洗鞋小程序

洗衣洗鞋柜洗衣洗鞋小程序

支持：一键投递、上门取衣、自主送店、多种支付方式 TEL: 17638103951(同V) -----------------用户下单-------------- -------------------------多种支付和投递方式------------------------- -----------------商家取鞋--------------
阅读更多...
uniapp 微信小程ios端键盘弹起后导致页面无法滚动

uniapp 微信小程ios端键盘弹起后导致页面无法滚动

项目业务逻辑和出现的问题整理 新增页面 用户可以主动添加输入文本框 添加多了就会导致当前页面出现滚动条,这就导致ios端滚动页面的时候去点击输入框键盘抬起再关闭的时候去滚动页面发现页面滚动不了(偶尔出现),经过多次测试发现是键盘抬起的时候 主动向上滑动 100%出现这种问…
阅读更多...
IntelliJ IDEA快捷键sout不生效

IntelliJ IDEA快捷键sout不生效

1.刚下载完idea编辑器时，可能idea里的快捷键打印不生效。这时你打开settings 2.点击settings–>Live Templates–>找到Java这个选项，点击展开 3.找到sout 4.点击全选，保存退出就可以了 5.最后大功告成！
阅读更多...
京东平台数据分析（京东销量）：2023年9月京东吸尘器行业品牌销售排行榜

京东平台数据分析（京东销量）：2023年9月京东吸尘器行业品牌销售排行榜

鲸参谋监测的京东平台9月份吸尘器市场销售数据已出炉！ 根据鲸参谋电商数据分析平台的相关数据显示，今年9月，京东吸尘器的销量为19万，环比下滑约12%，同比下滑约25%；销售额为1.2亿，环比下滑约11%&…
阅读更多...
【基于HTML5的网页设计及应用】——实现个人简历表格和伪类选择器应用

【基于HTML5的网页设计及应用】——实现个人简历表格和伪类选择器应用

🎃个人专栏： 🐬 算法设计与分析：算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础：Java基础_IT闫的博客-CSDN博客 🐋c语言：c语言_IT闫的博客-CSDN博客 🐟MySQL&#xff1a…
阅读更多...
Java 设计模式——命令模式

Java 设计模式——命令模式

目录 1.概述2.结构3.案例实现3.1.命令接口3.2.具体命令3.3.接受者3.4.调用者3.5.测试 4.优缺点5.使用场景6.JDK 源码解析——Runnable 1.概述 （1）日常生活中，我们出去吃饭都会遇到下面的场景： （2）命令模…
阅读更多...
云安全—K8s APi Server 6443 攻击面

云安全—K8s APi Server 6443 攻击面

0x00 前言 在未授权的一文中，详细描述了k8s api中的8080端口未授权的问题，那么本篇主要来说6443端口的利用。 0x01 API连接攻击面 1.匿名用户访问 匿名开放方式：kubectl create clusterrolebinding cluster-system-anonymous --clusterro…
阅读更多...
Problem I. Magic Potion--2018ICPC南京

Problem I. Magic Potion--2018ICPC南京

解析&#xff1a; 对于英雄跑一边二分图匹配&#xff0c;记录res1 再跑一边二分图匹配&#xff0c;记录res2 答案即为res1min&#xff08;k&#xff0c;res2&#xff09; #include<bits/stdc.h> using namespace std; int n,m,k; int g[510][510],match[510],st[510]; b…
阅读更多...
佳能R6 m2没有样本文件时的设置方法

佳能R6 m2没有样本文件时的设置方法

佳能R6 m2使用了新的DEC标识和小块长度&#xff0c;一般情况下建议使用加载样本的方式进行处理&#xff0c;如果没有样本也可以使用以下方法。 适用程序:CHS零壹视频恢复程序标准版/专业版/高级版/佳能版 解决问题: 底层原始文件会识别出错&#xff0c;导致很多个小碎片。 …
阅读更多...
Hikari源码分析

Hikari源码分析

总结 连接池关系 1、HikariDataSource构建函数->生成HikariPool对象->调用HikariPool的getConection得到连接 2、HikariPool包含ConcurrentBag 3、ConcurrentBag保存连接&#xff1a;三个集合threadList、sharedList、handoffQueue 4、ConcurrentBag管理连接&#xff1…
阅读更多...
Web前端自动化测试Cypress实践总结

Web前端自动化测试Cypress实践总结

本文主要首先主要介绍了什么是自动化测试&#xff0c;接着对常用的自动化测试框架进行了对比分析&#xff0c;最后&#xff0c;介绍了如果将自动化测试框架Cypress运用在项目中。 一、自动化测试概述 为了保障软件质量&#xff0c;并减少重复性的测试工作&#xff0c;自动化测…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023