zookeeper本地部署和集群搭建-编程知识

zookeeper（动物园管理员）是一个广泛应用于分布式服务提供协调服务Apache的开源框架

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化， Zookeeper 就将负责通知已经在 Zookeeper上注册的那些观察者做出相应的反应。

zookeeper集群特点

zookeeper集群由一个领导者（Leader）和多个跟随者（Follower）组成。
集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。

更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行。
数据更新原子性，一次数据更新要么成功，要么失败。
实时性，在一定时间范围内，Client能读到最新数据。

本地模式安装

zookeeper由Java开发所有要运行zookeeper需要现安装jdk

安装jdk

可以下载免安装版jdk，解压后配置一下环境变量即可

linux下的环境变量配置文件在

/etc/profile

然后在该文件下增加如下配置即可

export JAVA_HOME=/usr/java/jdk-21/jdk-21.0.1 // 我自己的jdk目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

然后从新加载配置文件，命令为

source /etc/profile

查看Java版本

则表示已成功安装Jdk

安装zookeeper

进入zookeeper官网，找到下载页面，下载-bin.tar.gz版即可，如果没有想要的版本则可以在下载页面的存档连接中找到

Apache ZooKeeper

1、拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下

2、解压到指定目录

 tar -zxvf apache-zookeeper-3.5.7- bin.tar.gz -C /mydata/zookeeper

3、修改名称

mv apache-zookeeper-3.5.7 -bin/ zookeeper-3.5.7

配置修改

1、将/mydata/zookeeper/zookeeper-3.5.7/conf这个路径下的 zoo_sample.cfg 修改为 zoo.cfg；

mv zoo_sample.cfg zoo.cfg

2、打开 zoo.cfg 文件，修改 dataDir 配置的路径修改为如下内容（默认的tmp路径是临时路径，一段时间后，linux会自动删除里面的文件，所有不适合正式环境使用）

dataDir=/mydata/zookeeper/zookeeper-3.5.7/data

3、在/mydata/zookeeper/zookeeper-3.5.7/这个目录上创建 data文件夹

mkdir data

操作zookeeper

1、启动 Zookeeper

在bin目录下使用 ./zkServer.sh start 启动zookeeper

2、查看进程是否启动

3、查看状态

4、启动客户端

./zkCli.sh

5、退出客户端：

[zk: localhost:2181(CONNECTED) 0] quit

6、停止 Zookeeper

.bin/zkServer.sh stop

配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

1）tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒

2 ） initLimit = 10 ： LF 初始通信时限

Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）

3）syncLimit = 5：LF同步通信时限

Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

4）dataDir：保存Zookeeper中的数据

注意：默认的tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录。

5 ） clientPort = 2181 ：客户端连接端口，通常不做修改。

zookeeper集群搭建

1）集群规划

首先准备三台linux虚拟机可以安装一台然后使用vmware提供的克隆功能实现克隆，克隆之前需要先关闭虚拟机。

克隆完成后 修改克隆机 IP ，以下以 hadoop100（hadoop100为我自己设置的主机名称）举例说明

（1）修改克隆虚拟机的静态 IP

改成

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="d7919ed1-15af-49fe-9b4e-aad1456eed3d"
DEVICE="ens33"
ONBOOT="yes"

IPADDR=192.168.127.100
# wangGuan
GATEWAY=192.168.127.2
# DNS
DNS1=192.168.127.2

（2）查看 Linux 虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

（3）查看 Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址

（4）保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址和 Windows 系统 VM8 网络 IP 地址在同一网段。

2）修改克隆机主机名，以下以 hadoop100 举例说明

（1）修改主机名称

vim /etc/hostname

hadoop102

（2）配置 Linux 克隆机主机名称映射 hosts 文件，打开/etc/host

[root@hadoop100 ~]# vim /etc/hosts

添加如下内容

192.168.127.100 hadoop100
192.168.127.101 hadoop101
192.168.127.102 hadoop102
192.168.127.103 hadoop103
192.168.127.104 hadoop104
192.168.127.105 hadoop105
192.168.127.106 hadoop106
192.168.127.107 hadoop107
192.168.127.108 hadoop108
192.168.127.132 qingmangmall

3）重启克隆机 hadoop100

[root@hadoop100 ~]# reboot

4）修改 windows 的主机映射文件（hosts 文件）

（a）进入 C:\Windows\System32\drivers\etc 路径
（b）打开 hosts 文件并添加如下内容，然后保存

192.168.127.100 hadoop100
192.168.127.101 hadoop101
192.168.127.102 hadoop102
192.168.127.103 hadoop103
192.168.127.104 hadoop104
192.168.127.105 hadoop105
192.168.127.106 hadoop106
192.168.127.107 hadoop107
192.168.127.108 hadoop108
192.168.127.132 qingmangmall

至此克隆的虚拟机就可以使用了

如果之前已有三台虚拟机使用，如何快速将其中的某一个文件快速共享给其他机器呢？

3）集群分发

将zookeeper分发给其他服务

前提：在 hadoop102 、 hadoop103 、 hadoop104 都已经创建好的/mydata目录

并且已经把这两个目录修改为 user:user(想要操作该目录的用户)

[user@hadoop102 ~]$ sudo chown user:user -R /mydata

在 hadoop102 上，将 hadoop102 中 /mydata/zookeeper 目录拷贝到

hadoop103 上。

[user@ hadoop102 ~]$ scp -r /mydata/zookeeper user@hadoop103:/mydata

其他服务器以此类推

至此三台服务器就都有了zookeeper服务

想要启用zookeeper集群需要在 /mydata/zookeeper/zookeeper-3.5.7/data 目录下创建一个 myid 的文件。

在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格），这里我使用了linux机器IP的最后三位当作id号

100

注意：添加 myid 文件，一定要在 Linux 里面创建，在 notepad++ 里面很可能乱码

（ 3 ）拷贝配置好的 zookeeper 到其他机器上

scp -r /mydata/zookeeper/zookeeper-3.5.7/data user@hadoop103:/mydata/zookeeper/zookeeper-3.5.7

配置zoo.cfg文件

（ 1 ）重命名 /opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg

[user@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

（ 2 ）打开 zoo.cfg 文件

[user@hadoop102 conf]$ vim zoo.cfg

# 修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

# 增加如下配置

#######################cluster##########################

server.100=hadoop100:2888:3888

server.103=hadoop103:2888:3888

server.132=qingmangmall:2888:3888

（ 3 ）配置参数解读

server.A=B:C:D 。

A 是一个数字，表示这个是第几号服务器；

集群模式下配置一个文件 myid ，这个文件在 dataDir 目录下，这个文件里面有一个数据

就是 A 的值， Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比

较从而判断到底是哪个 server 。

B 是这个服务器的地址；

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；

D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的

Leader ，而这个端口就是用来执行选举时服务器相互通信的端口。

（ 4 ）同步 zoo.cfg 配置文件

集群操作

（ 1 ）分别启动 Zookeeper

[user@hadoop100 zookeeper-3.5.7]$ bin/zkServer.sh start

[user@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start

[user@qingmangmall zookeeper-3.5.7]$ bin/zkServer.sh start

（ 2 ）查看状态

[user@hadoop100 zookeeper-3.5.7]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: follower

[user@hadoop103 zookeeper-3.5.7]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: leader

[user@qingmangmall zookeeper-3.5.7]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: follower

附录

1)创建用户并设置文件所属组

可以使用如下操作创建用户

[root@hadoop100 ~]# useradd user

[root@hadoop100 ~]# passwd user

配置 user用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改 /etc/sudoers 文件，在 %wheel 这行下面添加一行，如下所示：

## Allow root to run any commands anywhere

root ALL=(ALL) ALL

## Allows people in group wheel to run all commands

% wheel ALL=(ALL) ALL

user ALL=(ALL) NOPASSWD:ALL

注意： user 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先

配置了 user 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要

密码。所以 user 要放到%wheel 这行下面。

在根目录 下创建文件夹，并修改所属主和所属组

mkdir /mydata

修改 mydata文件夹的所有者和所属组均为 user 用户

[root@hadoop100 ~]# chown user:user /mydata

查看 /mydata文件夹的所有者和所属组，可以发现所属主已改为自己设置的用户了

2）scp（secure copy）安全拷贝

（ 1 ） scp 定义

scp 可以实现服务器与服务器之间的数据拷贝。（ from server1 to server2 ）

（ 2 ）基本语法

scp -r $pdir/$fname $user@$host:$pdir/$fname

命令递归要拷贝的文件路径/ 名称目的地用户 @ 主机 : 目的地路径 / 名称

3）rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快， rsync 只对差异文件做更

新。 scp 是把所有文件都复制过去。

（ 1 ）基本语法

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令选项参数要拷贝的文件路径 / 名称目的地用户 @ 主机 : 目的地路径 / 名称

选项参数说明

选项功能

-a 归档拷贝

-v 显示复制过程