Zookeeper

一、概念

它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
zookeeper=文件系统+监听通知机制。

请添加图片描述

1.工作机制和特点

工作机制
请添加图片描述
特点
请添加图片描述

2.数据结构（文件系统）

Zookeeper维护一个类似文件系统的数据结构：
请添加图片描述
每个子目录项如 NameService 都被称作为 znode(目录节点)，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。
有四种类型的znode：
- PERSISTENT-持久化目录节点
客户端与zookeeper断开连接后，该节点依旧存在
- PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点
客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
- EPHEMERAL-临时目录节点
客户端与zookeeper断开连接后，该节点被删除
- EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点
客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号

2、 监听通知机制
客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、被删除、子目录节点增加删除）时，zookeeper会通知客户端。

3.应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

统一命名服务
请添加图片描述
统一配置管理
请添加图片描述
统一集群管理
请添加图片描述
服务器动态上下线
请添加图片描述
软负载均衡
请添加图片描述

二、作用

zookeeper功能非常强大，可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能，我们这里拿比较简单的分布式应用配置管理为例来说明。

假设我们的程序是分布式部署在多台机器上，如果我们要改变程序的配置文件，需要逐台机器去修改，非常麻烦，现在把这些配置全部放到zookeeper上去，保存在 zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到 zookeeper 的通知，然后从 zookeeper 获取新的配置信息应用到系统中。
请添加图片描述
如上，你大致应该了解zookeeper是个什么东西，大概能做些什么了，我们马上来学习下zookeeper的安装及使用，并开发一个小程序来实现zookeeper这个分布式配置管理的功能。

三、安装：

Zookeeper单机模式安装：

Step1：配置JAVA环境，检验环境：java -version
Step2：下载并解压zookeeper

# cd /usr/local
# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
# tar -zxvf zookeeper-3.4.12.tar.gz
# cd zookeeper-3.4.12

Step3：重命名配置文件zoo_sample.cfg

# cp conf/zoo_sample.cfg conf/zoo.cfg

Step4：启动zookeeper

# bin/zkServer.sh start

Step5：检测是否成功启动，用zookeeper客户端连接下服务端

# bin/zkCli.sh

⚠️zoo.cfg中参数含义解读如下：
1）tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
请添加图片描述
2）initLimit = 10：LF初始通信时限
请添加图片描述
Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）

3）syncLimit = 5：LF同步通信时限
Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
4）dataDir：保存Zookeeper中的数据
注意：默认的tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录。
5）clientPort = 2181：客户端连接端口，通常不做修改。

Zookeeper使用

使用客户端命令操作zookeeper
1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
请添加图片描述
2、创建一个新的 znode ，使用 create /zkPro myData

请添加图片描述
3、再次使用 ls 命令来查看现在 zookeeper 中所包含的内容：
请添加图片描述
4、下面我们运行 get 命令来确认第二步中所创建的 znode 是否包含我们所创建的字符串：
请添加图片描述
5、下面我们通过 set 命令来对 zk 所关联的字符串进行设置：请添加图片描述
6、下面我们将刚才创建的 znode 删除请添加图片描述
使用Java API操作zookeeper
使用Java API操作zookeeper需要引用下面的包
请添加图片描述
下面我们来实现上面说的分布式配置中心：

1、在zookeeper里增加一个目录节点，并且把配置信息存储在里面请添加图片描述
2、启动两个zookeeper客户端程序，代码如下所示

import java.util.concurrent.CountDownLatch;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;/*** 分布式配置中心demo* @author **/
public class ZooKeeperProSync implements Watcher {private static CountDownLatch connectedSemaphore = new CountDownLatch(1);private static ZooKeeper zk = null;private static Stat stat = new Stat();public static void main(String[] args) throws Exception {//zookeeper配置数据存放路径String path = "/username";//连接zookeeper并且注册一个默认的监听器zk = new ZooKeeper("192.168.31.100:2181", 5000, //new ZooKeeperProSync());//等待zk连接成功的通知connectedSemaphore.await();//获取path目录节点的配置数据，并注册默认的监听器System.out.println(new String(zk.getData(path, true, stat)));Thread.sleep(Integer.MAX_VALUE);}public void process(WatchedEvent event) {if (KeeperState.SyncConnected == event.getState()) {  //zk连接成功通知事件if (EventType.None == event.getType() && null == event.getPath()) {connectedSemaphore.countDown();} else if (event.getType() == EventType.NodeDataChanged) {  //zk目录节点数据变化通知事件try {System.out.println("配置已修改，新值为：" + new String(zk.getData(event.getPath(), true, stat)));} catch (Exception e) {}}}}
}

两个程序启动后都正确的读取到了zookeeper的/username目录节点下的数据’qingfeng’
3、我们在zookeeper里修改下目录节点/username下的数据
请添加图片描述
修改完成后，我们看见两个程序后台都及时收到了他们监听的目录节点数据变更后的值，如下所示
请添加图片描述

Zookeeper集群模式安装

本例搭建的是伪集群模式，即一台机器上启动三个zookeeper实例组成集群，真正的集群模式无非就是实例IP地址不同，搭建方法没有区别

Step1：配置JAVA环境，检验环境：java -version
Step2：下载并解压zookeeper

# cd /usr/local
# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
# tar -zxvf zookeeper-3.4.12.tar.gz
# cd zookeeper-3.4.12

Step3：重命名 zoo_sample.cfg文件

# cp conf/zoo_sample.cfg conf/zoo-1.cfg

Step4：修改配置文件zoo-1.cfg，原配置文件里有的，修改成下面的值，没有的则加上

# vim conf/zoo-1.cfg
dataDir=/tmp/zookeeper-1
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

Step5：标识Server ID
创建三个文件夹/tmp/zookeeper-1，/tmp/zookeeper-2，/tmp/zookeeper-2，在每个目录中创建文件myid 文件，写入当前实例的server id，即1.2.3

# cd /tmp/zookeeper-1
# vim myid
1
# cd /tmp/zookeeper-2
# vim myid
2
# cd /tmp/zookeeper-3
# vim myid
3

Step6：启动三个zookeeper实例

# bin/zkServer.sh start conf/zoo-1.cfg
# bin/zkServer.sh start conf/zoo-2.cfg
# bin/zkServer.sh start conf/zoo-3.cfg

Step7：检测集群状态，也可以直接用命令“zkCli.sh -server IP:PORT”连接zookeeper服务端检测
请添加图片描述
至此，我们对zookeeper就算有了一个入门的了解，当然zookeeper远比我们这里描述的功能多，比如用zookeeper实现集群管理，分布式锁，分布式队列，zookeeper集群leader选举等等

选举机制
请添加图片描述
请添加图片描述
集群启动停止脚本
1）在 hadoop102 的/home/hadoop/bin 目录下创建脚本

vim zk.sh

在脚本中编写如下内容

#!/bin/bash
case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
doecho ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
start"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
doecho ---------- zookeeper $i 停止 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
stop"
done
};;
"status"){
for i in hadoop102 hadoop103 hadoop104
doecho ---------- zookeeper $i 状态 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
status"
done
};;
esac

2）增加脚本执行权限

 chmod u+x zk.sh

3）Zookeeper 集群启动脚本

 zk.sh start

4）Zookeeper 集群停止脚本

 zk.sh stop

四、命令

在这里插入图片描述
1）启动客户端

bin/zkCli.sh -server hadoop102:2181

2）显示所有操作命令

[zk: hadoop102:2181(CONNECTED) 1] help

3.2.2 znode 节点数据信息
1）查看当前znode中所包含的内容

[zk: hadoop102:2181(CONNECTED) 0] ls /

在这里插入图片描述
2）查看当前节点详细数据

[zk: hadoop102:2181(CONNECTED) 5] ls -s /

在这里插入图片描述
（1）czxid：创建节点的事务 zxid

每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。

（2）ctime：znode 被创建的毫秒数（从 1970 年开始）

（3）mzxid：znode 最后更新的事务 zxid

（4）mtime：znode 最后修改的毫秒数（从 1970 年开始）

（5）pZxid：znode 最后更新的子节点 zxid

（6）cversion：znode 子节点变化号，znode 子节点修改次数

（7）dataversion：znode 数据变化号

（8）aclVersion：znode 访问控制列表的变化号

（9）ephemeralOwner：如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节点则是 0。

（10）dataLength：znode 的数据长度

（11）numChildren：znode 子节点数量
3.2.3 节点类型（持久/短暂/有序号/无序号）
请添加图片描述
1）分别创建2个普通节点（永久节点 + 不带序号）

[zk: localhost:2181(CONNECTED) 3] create /sanguo "diaochan"

在这里插入图片描述

[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"

在这里插入图片描述
2）获得节点的值

[zk: localhost:2181(CONNECTED) 5] get -s /sanguo

在这里插入图片描述

[zk: localhost:2181(CONNECTED) 6] get -s /sanguo/shuguo

在这里插入图片描述
3）创建带序号的节点（永久节点 + 带序号）

（1）先创建一个普通的根节点/sanguo/weiguo

[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"

在这里插入图片描述
（2）创建带序号的节点
在这里插入图片描述
在这里插入图片描述
3.2.4 监听器原理
客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、节点删除、子目录节点增加删除）时，ZooKeeper 会通知客户端。监听机制保证 ZooKeeper 保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。
请添加图片描述
在这里插入图片描述
在这里插入图片描述

IDEA环境监听搭建

参考

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/13858.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SpringBoot教学资料5-SpringBoot一对多查询（带简单前端）

SpringBoot教学资料5-SpringBoot一对多查询（带简单前端）

项目展示： 项目结构： SQL： CREATE TABLE t_article (id int(20) NOT NULL AUTO_INCREMENT COMMENT 文章id,title varchar(200) DEFAULT NULL COMMENT 文章标题,content longtext COMMENT 文章内容,PRIMARY KEY (id) ) ENGINEInnoDB AUTO_INCR…
阅读更多...
抖音seo源码保姆式服务搭建|定制产品开发分享

抖音seo源码保姆式服务搭建|定制产品开发分享

抖音seo霸屏，是一种专为抖音视频创作者和传播者打造的视频批量剪辑，批量分发产品。使用抖音seo霸屏软件，可以帮助用户快速高效的制作出高质量的优质视频。 使用方法：1. 了解用户的行为习惯 2. 充分利用自身资源进行开发 3. 不…
阅读更多...
OpenCV对图片进行缩放处理

OpenCV对图片进行缩放处理

在下面的代码中，我会为你优化和解释这段程序： #include <opencv2/opencv.hpp>using namespace cv;int main() {// 读取源图片Mat srcImage = imread("../51_resize.jpg"
阅读更多...
电脑提示找不到应用程序怎么办？

电脑提示找不到应用程序怎么办？

无论个人电脑还是办公电脑&#xff0c;无一例外的都会安装一些应用程序来帮助我们使用。而在电脑的使用过程中总会出现一些大大小小的问题&#xff0c;其中双击桌面快捷方式显示找不到应用程序是一个比较常见的故障。那么&#xff0c;电脑找不到应用程序怎么解决呢? 电脑找不到…
阅读更多...
路由的介绍

路由的介绍

目录 路由器的转发原理&#xff1a;路由表 路由——指示路由器去往未知网段的方法 路由器的转发原理&#xff1a;路由表 当一个数据包来到路由器&#xff0c;路由器将基于数据包中的目标IP地址查询自身的路由表&#xff0c;如果路由表中有相应的记录&#xff0c;则无条件根据…
阅读更多...
【终端增强工具】这次，我把Terminal（终端）也接入ChatGPT了...

【终端增强工具】这次，我把Terminal（终端）也接入ChatGPT了...

大家好&#xff0c;我是萌新程序员豆小匠。 为terminal&#xff08;终端&#xff09;增加自定义命令这个想法从开始学编程的时候就有了&#xff0c;但是一直没有付诸行动。 这次&#xff0c;终于抽时间完成了&#xff0c;且代码开源&#xff01; 实现的功能 先说下实现的功能…
阅读更多...
抖音矩阵系统源码开源部署分享（三）

抖音矩阵系统源码开源部署分享（三）

目录 一、 概述&#xff1a; 二、 账号矩阵搭建目的&#xff1a; 三、 抖音矩阵系统源码开发步骤 四、 功能规划 五、 代码开发展示 一、 概述&#xff1a; 抖音矩阵系统是指通过多个账号运营&#xff0c;对账号之间的内容和特征进行细分&#xff0c;账号之间相互引流推广&a…
阅读更多...
Spring底层核心架构

Spring底层核心架构

Spring底层核心架构 相关的配置类 1. user类 package com.zhouyu.service;import org.springframework.stereotype.Component;public class User { }2. AppConfig类 package com.zhouyu;import org.springframework.context.annotation.*; import org.springframework.sched…
阅读更多...
软负载Nginx详细配置及使用案例

软负载Nginx详细配置及使用案例

Nginx使用与配置 什么是nginx Nginx 是一个高性能的HTTP和反向代理服务&#xff0c;也是一个IMAP/POP3/SMTP服务。 处理响应请求很快高并发连接低的内存消耗具有很高的可靠性高扩展性热部署 master 管理进程与 worker 工作进程的分离设计&#xff0c;使得 Nginx 具有热部署的…
阅读更多...
Linux进程

Linux进程

目录 查看进程 进程状态 运行状态 睡眠状态 磁盘休眠状态 停止状态 死亡状态 僵死状态 孤儿进程 进程优先级 环境变量 PATH ​编辑 进程地址空间 进程创建 进程终止​​​​​​​ 进程等待 进程程序替换 简易shell实现 获取命令行 解析命令行 建立子进程…
阅读更多...
应用层：客户-服务器方式(C/S)、对等方式(P2P)

应用层：客户-服务器方式(C/S)、对等方式(P2P)

1.应用层&#xff1a;客户-服务器方式和对等方式 笔记来源&#xff1a; 湖科大教书匠&#xff1a;客户-服务器方式和对等方式 声明&#xff1a;该学习笔记来自湖科大教书匠&#xff0c;笔记仅做学习参考 开发一种新的网络应用首先要考虑的问题就是网络应用程序在各种端系统上的…
阅读更多...
权限管理系统后端实现1-SpringSecurity执行原理概述

权限管理系统后端实现1-SpringSecurity执行原理概述

spring security的简单原理&#xff1a; SpringSecurity有很多很多的拦截器&#xff0c;在执行流程里面主要有两个核心的拦截器 1&#xff0c;登陆验证拦截器AuthenticationProcessingFilter 2&#xff0c;资源管理拦截器AbstractSecurityInterceptor 但拦截器里面的实现需要…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023