kafka开发环境搭建

文章目录

  • 1 安装java环境
    • 1.1 下载linux下的安装包
    • 1.2 解压缩安装包
    • 1.3 解压后的文件移到/usr/lib目录下
    • 1.4 配置java环境变量
  • 2 kafka的安装部署
    • 2.1 下载安装kafka
    • 2.2 配置和启动zookeeper
    • 2.3 启动和停止kafka

1 安装java环境

1.1 下载linux下的安装包

(1)登录官网下载地址,找到对应压缩包。
在这里插入图片描述
(2)点击下载链接弹出如下窗口,勾选协议,继续点击下载链接。
在这里插入图片描述
(3)需要登录账户。如果已经有账户则直接登录;没有就需要注册一个账户。登录账户后就可以直接下载了。

1.2 解压缩安装包

tar -zxvf jdk-8u352-linux-x64.tar.gz 

解压后的文件夹为jdk1.8.0_351,进入文件夹和查看文件:

cd jdk1.8.0_351
ls

可以看到bin目录:

bin        	include         					jmc.txt  
legal  			LICENS							README.html  
src.zip     	THIRDPARTYLICENSEREADME.txt		COPYRIGHT  
javafx-src.zip  jre      						lib    
man      		release      					THIRDPARTYLICENSEREADME-JAVAFX.txt

1.3 解压后的文件移到/usr/lib目录下

(1)将解压后的文件移到/usr/lib目录下:

sudo mkdir /usr/lib/jdk

(2)将解压的jdk文件移动到新建的/usr/lib/jdk目录下来:

sudo mv jdk1.8.0_351 /usr/lib/jdk/

1.4 配置java环境变量

这里是将环境变量配置在etc/profile,即为所有用户配置JDK环境。

(1)使用命令打开/etc/profile文件:

sudo vim /etc/profile

(2)在末尾添加以下几行:

#set java env 
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_351 
export JRE_HOME=${JAVA_HOME}/jre     
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib     
export PATH=${JAVA_HOME}/bin:$PATH

(3)执行命令使修改立即生效:

source /etc/profile

(4)测试安装是否成功:

java -version

出现版本号说明安装成功。

java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.351-b10, mixed mode)

2 kafka的安装部署

2.1 下载安装kafka

(1)下载Kafka。

wget https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz

(2)解压缩Kafka。下载的kafka是已经编译好的程序,只需要解压即可得到执行程序。

tar -zxvf kafka_2.11-2.0.0.tgz

(3)进入kafka目录,以及查看对应的文件和目录。

cd kafka_2.11-2.0.0 
ls

bin:为执行程序
config:为配置文件
libs:为库文件

bin  config  libs  LICENSE  NOTICE  site-docs

2.2 配置和启动zookeeper

Kafka 3.0开始将zookeeper剥离出去了,下载的版本是2.11程序里自带了zookeeper,kafka自带的Zookeeper程序脚本与配置文件名与原生Zookeeper稍有不同。

kafka自带的Zookeeper程序使用bin/zookeeper-server-start.sh,以及bin/zookeeper-server-stop.sh来启动和停止Zookeeper。

# 启动zookeeper:
zookeeper-server-start.sh # 停止zookeeper:
zookeeper-server-stop.sh

kafka依赖于zookeeper来做master选举以及其他数据的维护。
在config目录下,存在一些配置文件:

zookeeper.properties 
server.properties

因此可以通过下面的脚本来启动zookeeper服务,当然,也可以自己独立搭建zookeeper的集群来实现。这里我们直接使用kafka自带的zookeeper。

cd bin/
# 前台运行:
sh zookeeper-server-start.sh  ../config/zookeeper.properties# 后台运行:
sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties

启动zookeeper,默认端口为:2181,可以通过命令lsof -i:2181 查看zookeeper是否启动成功。

COMMAND    PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    128387  fly   96u  IPv6 2591167      0t0  TCP *:2181 (LISTEN)

2.3 启动和停止kafka

(1)修改server.properties(在config目录), 增加zookeeper的配置,这里只是本地的配置,如果是另一台机器运行zookeeper,要配置对应的ip地址。

############################# Zookeeper ############################## Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000

(2)启动kafka(kafka安装路径的bin目录下执行),默认启动端口9092。

sh kafka-server-start.sh -daemon ../config/server.properties

(3)停止kafka(kafka安装路径的bin目录下执行)。

sh kafka-server-stop.sh -daemon ../config/server.properties

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/223407.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Couchdb 权限绕过漏洞复现(CVE-2017-12635)

Couchdb 权限绕过漏洞复现(CVE-2017-12635) ​​ 开启环境给了三个端口号,不知道哪个是正常的,最后试出来52226端口正常。 登录URL:http://192.168.91.129/_utils/# 来到了登录页面 ​​ 用postman发送PUT方法的…

Go 语言学习:了解 const 关键字及常量声明

如果一个变量应该有一个固定的、不能改变的值,你可以使用const关键字。 const关键字将变量声明为"常量",这意味着它是不可改变和只读的。 语法 const CONSTNAME type value 声明常量 声明常量的示例: package main import (…

计算机组成原理——存储器(主存容量扩展)

对于字扩展与位扩展的解释: 计算机原理中的字,位扩展,都给老子进来学,看不懂算我输! 如果主存的容量无法满足 CPU 的需求,可以通过存储器扩展来解决,扩展的方式有两种: 主存的位数…

中文编程开发工具高级版全部构件工具箱列表,中文编程自由版下载

中文编程开发工具高级版全部构件工具箱列表,中文编程自由版下载 附:中文编程工具构件工具箱总共22组305个构件,构件明细如下:文本件16个: (普通标签,连接标签,闪动标签,立…

MATLAB的rvctools工具箱熟悉运动学【机械臂机器人示例】

1、rvctools下载安装 rvctools下载地址:rvctools下载 截图如下,点击红色箭头指示的“Download Shared Folder” 即可下载 下载之后进行解压,解压到D:\MATLAB\toolbox这个工具箱目录,这个安装路径根据自己的情况来选择&#xff0c…

element 的 Notification 通知,自定义内容

通知事件: // 商户后台通知 MerchantBackgroundNotice() {// 禁止消息通知弹出多条if(this.notifyInstance) {this.notifyInstance.close();}const h this.$createElement; // 创建文本节点this.notifyInstance this.$notify({showClose: false, // 禁止关闭按钮…

Flink CDC -Sqlserver to Sqlserver java 模版编写

1.基本环境 <flink.version>1.17.0</flink.version> 2. 类文件 package com.flink.tablesql;import org.apache.commons.io.FileUtils; import org.apache.commons.lang3.StringUtils; import org.apache.flink.streaming.api.environment.StreamExecutionEnviro…

【从删库到跑路 | MySQL总结篇】表的增删查改(进阶上)

个人主页&#xff1a;兜里有颗棉花糖 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 兜里有颗棉花糖 原创 收录于专栏【MySQL学习专栏】&#x1f388; 本专栏旨在分享学习MySQL的一点学习心得&#xff0c;欢迎大家在评论区讨论&#x1f48c; 目录 一、数据…

【C语言】【选择排序及其优化】

选择排序是指&#xff1a;第一次从待排序的数据元素中选出最小&#xff08;或最大&#xff09;的一个元素&#xff0c;存放在序列的起始位置&#xff0c;然后再从剩余的未排序元素中寻找到最小&#xff08;大&#xff09;元素&#xff0c;然后放到已排序的序列的末尾&#xff0…

论文阅读:“Appearance Capture and Modeling of Human Teeth”

文章目录 AbstractIntroductionMethod OverviewTeeth Appearance ModelEnamelDentinGingiva and oral cavity Data AcquisitionImage captureGeometry capture ResultsReferences Abstract 如果要为电影&#xff0c;游戏或其他类型的项目创建在虚拟环境中显示的人类角色&#…

Python---引用变量与可变、非可变类型

引用变量 在大多数编程语言中&#xff0c;值的传递通常可以分为两种形式“ 值 传递 与 引用 传递”&#xff0c;但是在Python中变量的传递基本上都是引用传递。 变量在内存底层的存储形式 a 10 第一步&#xff1a;首先在计算机内存中创建一个数值10&#xff08;占用一块…

计算机组成原理——小啃一下

CPU和主存储器结构 CPU&#xff1a; 运算器 ACC&#xff08;累加器&#xff09;ALU&#xff08;算数逻辑单元&#xff09;MQ&#xff08;乘商寄存器&#xff09;X&#xff08;操作数寄存器&#xff09; 控制器 CU&#xff08;控制单元&#xff09;IR&#xff08;指令寄存器&a…