安装jdk
安装jdk8
安装zookeeper
在指定目录执行下载命令 我是在/newdisk/zookeeper目录下
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz --no-check-certificate
下载好后并解压 tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
校验是否安装好,进入 /newdisk/zookeeper/apache-zookeeper-3.5.8-bin/conf
复制zoo_sample.cfg配置文件为zoo.cfg
cp zoo_sample.cfg zoo.cfg
在进入/newdisk/zookeeper/apache-zookeeper-3.5.8-bin/bin目录
启动zk服务端
./zkServer.sh start
启动客户端
./zkCli.sh
在查看根节点 ,出现如下界面就安装成功了
安装kafka
进入到要下载的目录,我这边是/newdisk/kafka 执行下载命令(有点慢)
wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz --no-check-certificate
或者直接使用安装包kafka_2.13-3.6.0.tgz
解压 tar -xvzf kafka_2.13-3.6.0.tgz
修改配置
进入/newdisk/kafka/kafka_2.13-3.6.0/config,vim server.properties
# broker.id属性在kafka集群中必须要是唯一
broker.id=0
# kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://内网ip:9092
# kafka的消息存储文件
log.dirs=/usr/local/data/kafka-logs
# kafka连接zookeeper的地址
zookeeper.connect=内网ip:2181
broker.id=0
listeners=PLAINTEXT://192.168.31.131:9092
log.dir=/newdisk/kafka/data/kafka-logs
zookeeper.connect=192.168.31.131:2181
启动kafka(前提是zookeeper服务端启动)
进入/newdisk/kafka/kafka_2.13-3.6.0/,执行如下命令
bin/kafka-server-start.sh config/server.properties
通过zookeeper客户端查看是否注册成功
kafka基本操作
创建topic
参数 --topic
指定 Topic 名,--partitions
指定分区数,--replication-factor
指定副本数:
./kafka-topics.sh --create --bootstrap-server 192.168.31.131:9092 --replication-factor 1 --partitions 1 --topic test
查看topic
./kafka-topics.sh --list --bootstrap-server 192.168.31.131:9092
发送消息
./kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test
消费消息
./kafka-console-consumer.sh --bootstrap-server 192.168.31.131:9092 --topic test --from-beginning
安装可视化工具Apache Kafka UI
地址:GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management
简介
Apache Kafka UI 是一个免费的开源 Web UI,用于监控和管理 Apache Kafka 集群。
Apache Kafka UI 是一个简单的工具,可让您的数据流可观察,帮助更快地发现和解决问题并提供最佳性能。其轻量级仪表板可以轻松跟踪 Kafka 集群的关键指标 - 代理、主题、分区、生产和消耗。
安装及启动(docker)
运行如下命令
docker run -it -p 8080:8080 -d -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui
然后访问 Web UI :http://localhost:8080