Linux之Kafka保姆式详细安装教程

下载Kafka

《Kafka官网下载》
注意:下载的是二进制文件,不要下载源码!这里可以采用第三方下载工具加速下载,如:迅雷等
在这里插入图片描述

上传到Linux服务器的/data/目录下进行解压

tar -zxvf是解压文件命令,-C表示把解压文件放到哪个目录下

tar -zxvf /data/kafka_2.12-3.5.0.tgz -C /data/

启动Kafka

修改环境变量

vim /etc/profile

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下追加内容:

#kafka
export KAFKA_HOME=/data/kafka_2.12-3.5.0
export PATH=$PATH:$KAFKA_HOME/bin

按ESC键后输入:wq保存,使环境变量生效

source /etc/profile

修改配置文件

查看hostname,然后我的hostname就是node1

hostname
vim /data/kafka_2.12-3.5.0/config/kraft/server.properties
process.roles=broker,controller
#如果是集群,则node.id必须唯一
node.id=1
#控制角色选举值=node.id@node1:9093
controller.quorum.voters=1@node1:9093
#客户端ip/服务器名称:port
advertised.listeners=PLAINTEXT://node1:9092
#数据存放目录
log.dirs=/data/kafka_2.12-3.5.0/data

修改启动参数

vim /data/kafka_2.12-3.5.0/bin/kafka-server-start.sh

修改内存大小(默认1G,正式环境为了提升性能应该尽可能大。)

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx256m -Xms256m"
fi

启动kafka

编写启动kafka脚本

vim /data/kafka_2.12-3.5.0/reStartKafka.sh

确保进入到了kafka的安装目录下

#!/bin/bash
. /etc/profile
KAFKA_PATH="/data/kafka_2.12-3.5.0"
echo 'restart kafka'
pid=$(ps -ef|grep kafka|grep -w ${KAFKA_PATH}|grep -v 'grep'|awk '{print $2}')
if [ -n "$pid" ]
then
echo 'kafka is running,kill $pid'
kill -9 $pid
fi
sleep 3
rand=`${KAFKA_PATH}/bin/kafka-storage.sh random-uuid`
echo $rand
${KAFKA_PATH}/bin/kafka-storage.sh format -t $rand -c ${KAFKA_PATH}/config/kraft/server.properties
nohup ${KAFKA_PATH}/bin/kafka-server-start.sh ${KAFKA_PATH}/config/kraft/server.properties >/dev/null 2>log &
echo 'restart kafka finish'

授予可执行权限

chmod +x /data/kafka_2.12-3.5.0/reStartKafka.sh

软连接

ln -s /data/kafka_2.12-3.5.0/reStartKafka.sh /usr/bin

启动kafka

sh /data/kafka_2.12-3.5.0/reStartKafka.sh

等待几秒后查看kafka是否启动成功,太快可能会打印-- main class information unavailable

jps

成功则会打印如下信息

# pid | name
12337 Kafka
12788 Jps

停止kafka

查看kafka pid

netstat -ntlp | grep java

根据pid杀死kafka进程

kill -9 pid

重启kafka

sh reStartKafka.sh

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/8833.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Airtest:Windows桌面应用自动化测试四【Airtest之python本地环境安装、独立IDE运行】

Airtest之python本地环境安装、独立IDE运行 一、环境配置二、安装Airtest三、安装poco四、常见问题4.1若运行代码时,在cv2模块报ImportError: DLL load failed: 找不到指定模块的错,有几种解决方案:4.1.1.本问题的根本原因应该是DLL文件的缺失…

Elasticsearch:install

ElasticSearch Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。 Elasticsearch结合Kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志分析、实时监控(CPU、Memory、Program)等领域。 elasticsearch是…

2023年SCI影响因子(JCR2022)正式公布

2023年6月28日,Clarivate Analytics(科睿唯安)发布最新的《期刊引证报告》(Journal Citation Reports,简称JCR),刷新SCI期刊2022年影响因子(IF)。该指数也备受访问学者、联培博士及博士后研究者…

【Git】中文显示数字的问题的解决方案

目录 问题截图解决方案 问题截图 运行git status命令,会出现图片中不正常显示中文的问题 解决方案 设置终端: 右键窗口头部 -> Options...执行命令: git config --global core.quotepath false

让chatGPT使用Tensor flow Keras组装Bert,GPT,Transformer

让chatGPT使用Tensor flow Keras组装Bert,GPT,Transformer implement Transformer Model by Tensor flow Kerasimplement Bert model by Tensor flow Kerasimplement GPT model by Tensor flow Keras 本文主要展示Transfomer, Bert, GPT的神经网络结构之间的关系和差异。网络上…

【软件测试】盘一盘工作中遇到的 Redis 异常测试

目录 前言: 一、更新 Key 异常 二、Key的删除和丢失 三、KEY 过期策略不当造成内存泄漏 四、查询Redis异常时处理 五、redis 穿透、击穿、雪崩 六、Redis死锁 七、Redis持久化 八、缓存与数据库双写时的数据一致性 前言: 在软件测试过程中&…

国产操作系统介绍和安装

国产操作系统 分类 操作系统分类国产操作系统银河麒麟中科方德统信UOS红旗Linux深度系统优麒麟系统 具体介绍 麒麟操作系统 麒麟操作系统(Kylin操作系统,简称麒麟OS),是一种国产操作系统,由国防科技大学研发&#x…

用pytorch进行BERT文本分类

BERT 是一个强大的语言模型,至少有两个原因: 它使用从 BooksCorpus (有 8 亿字)和 Wikipedia(有 25 亿字)中提取的未标记数据进行预训练。顾名思义,它是通过利用编码器堆栈的双向特性进行预训练…

Vulkan Tutorial 10 重采样

目录 30 多重采样 获得可用的样本数 设置一个渲染目标 添加新的附件 30 多重采样 我们的程序现在可以为纹理加载多层次的细节,这修复了在渲染离观众较远的物体时出现的假象。现在的图像平滑了许多,然而仔细观察,你会发现在绘制的几何图形…

【C++】复杂的菱形继承 及 菱形虚拟继承的底层原理

文章目录 1. 单继承2. 多继承3. 菱形继承3.1 菱形继承的问题——数据冗余和二义性3.2 解决方法——虚拟继承3.3 虚拟继承的原理 4. 继承和组合5. 继承的反思和总结 1. 单继承 在上一篇文章中,我们给大家演示的其实都是单继承。 单继承的概念: 单继承&a…

Flutter如何获取屏幕的分辨率和实际画布的分辨率

Flutter如何获取分辨率 在Flutter中,你可以使用MediaQuery来获取屏幕的分辨率和实际画布的分辨率。 要获取屏幕的分辨率,你可以使用MediaQuery.of(context).size属性,它返回一个Size对象,其中包含屏幕的宽度和高度。下面是一个获…

POSTGRESQL SQL 执行用 IN 还是 EXISTS 还是 ANY

开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到3群(共…