ZooKeeper 使用介绍和原理详解

目录

1. 介绍

重要性

应用场景

2. ZooKeeper 架构

服务角色

数据模型

工作原理

3. 安装和配置

下载 ZooKeeper

安装和配置

启动 ZooKeeper

验证和管理

停止和关闭

4. ZooKeeper 数据模型

数据结构和层次命名空间：

节点类型和 Watcher 机制：

5. 分布式锁

实现分布式锁的基本步骤

代码示例（Java）

避免死锁

6. 选举机制

选举机制基本流程

选举代码示例

7. 实战案例

引入 ZooKeeper 客户端依赖

创建 ZooKeeper 连接

进行节点操作

注意事项

1. 介绍

        ZooKeeper是一个开源的分布式协调服务，为分布式系统提供高效的管理和协调机制。它被广泛应用于解决分布式系统中的各种共识问题，如配置管理、命名服务、分布式锁、分布式队列、选举算法等。以下是ZooKeeper在分布式系统中的重要性和应用场景：

重要性

  • 一致性服务：ZooKeeper提供强一致性的数据模型，能够保证数据在分布式环境下的一致性。它采用了Paxos算法等技术，确保数据的原子性和顺序性。

  • 分布式锁和同步：通过ZooKeeper，可以实现分布式系统中的锁和同步机制，确保多个节点对共享资源的互斥访问和同步操作。

  • 配置管理：ZooKeeper可用于集中式管理配置信息，各个节点可以通过ZooKeeper获取最新的配置数据，实现配置的动态更新和统一管理。

  • 命名服务：提供类似于目录树的结构，可以用于命名服务，帮助系统发现和定位各种服务和资源。

  • 分布式协调和领导者选举：ZooKeeper提供了一套轻量级的协调机制，用于实现分布式系统中的领导者选举、Master/Slave模式等场景。

应用场景

  • 分布式应用的配置管理：对于需要共享配置信息的分布式应用，ZooKeeper提供了一个可靠的配置中心，确保所有节点都能获取到最新的配置。

  • 分布式锁和同步：在多个节点之间实现资源的互斥访问，如分布式任务调度、分布式缓存的缓存更新等。

  • 分布式协调服务：例如，分布式集群中的领导者选举、Master/Slave模式的切换等场景。

  • 分布式队列：通过ZooKeeper实现分布式队列，实现数据的有序处理和异步处理。

  • 服务发现与注册：提供服务发现的功能，帮助系统在分布式环境下发现和定位各种服务。

2. ZooKeeper 架构

服务角色

  1. Leader（领导者）：负责处理客户端的写请求（如创建、更新、删除数据等）。它确保所有写请求按顺序被处理，并将更改广播给所有服务器。

  2. Followers（追随者）：复制Leader的数据状态，并处理客户端的读请求。它们参与投票选举Leader，并与Leader保持同步。

  3. Observer（观察者）：类似于Follower，但不参与投票。Observer接收Leader的状态更改，但不参与投票过程。它们可以减轻Leader负载并提高读取性能。

数据模型

ZooKeeper的数据模型类似于文件系统的目录结构，由节点（Node）组成，每个节点称为ZNode。ZNode可以存储数据和元数据，并具有唯一的路径标识。

工作原理

  1. 一致性（Consistency）：ZooKeeper保持强一致性，确保所有Follower和Observer的数据与Leader保持一致。当客户端写入数据时，Leader将更改广播给所有节点，并在超过半数节点确认后提交更改。

  2. 可用性（Availability）：ZooKeeper的集群中，只要有半数以上节点是可用的，系统就可以继续提供服务。客户端可以从任何节点读取数据。

  3. 分区容错性（Partition Tolerance）：ZooKeeper使用多数派机制（Quorum），确保在网络分区时集群能够正常工作。即使分区发生，只要超过半数节点仍然能够互相通信，系统就能继续服务。

  4. Leader选举（Leader Election）：ZooKeeper使用ZAB（ZooKeeper Atomic Broadcast）协议进行Leader选举。当Leader失效时，Followers会投票选举一个新的Leader。

  5. 数据同步（Data Synchronization）：Leader负责接收客户端写入的请求，并将更改复制到Followers和Observers。这确保了数据的一致性和可用性。

        ZooKeeper通过以上机制和算法确保了其高一致性、高可用性和分区容错性，为分布式应用提供了可靠的服务。其基于ZAB协议的工作方式使得ZooKeeper能够在分布式环境下有效地管理数据和协调系统的各项任务。

3. 安装和配置

下载 ZooKeeper

  1. 官方网站：访问 Apache ZooKeeper 下载页面，选择最新稳定版本的 ZooKeeper。

安装和配置

  1. 解压文件：将下载的 ZooKeeper 压缩包解压到本地文件夹。

  2. 配置文件：在 ZooKeeper 安装目录下，找到 conf 文件夹，并复制 zoo_sample.cfg 文件为 zoo.cfg。

  3. 编辑配置文件：使用文本编辑器打开 zoo.cfg 文件，配置 ZooKeeper 的相关参数，如端口号、数据目录等。确保 dataDir 配置为合适的数据存储目录。

启动 ZooKeeper

  1. 启动服务：使用命令行进入 ZooKeeper 安装目录的 bin 文件夹，并执行以下命令启动 ZooKeeper 服务：

    ./zkServer.sh
或者在 Windows 环境下执行：zkServer.cmd

验证和管理

  1. 验证服务：使用 ZooKeeper 客户端命令连接到 ZooKeeper 服务器，确保服务已启动。

    ./zkCli.sh -server localhost:2181

    如果连接成功，将会出现 ZooKeeper 命令行提示符。

  2. 管理和操作：通过命令行或 ZooKeeper 的 API 进行节点的创建、读取、更新和删除操作。例如：

    • 创建节点：

      create /myNode myData

    • 读取节点：

      get /myNode

    • 更新节点：

      set /myNode newData

    • 删除节点：

      delete /myNode

停止和关闭

在命令行中执行以下命令关闭 ZooKeeper 服务：

./zkServer.sh stop

 Windows 环境下执行：

zkServer.cmd stop

4. ZooKeeper 数据模型

数据结构和层次命名空间：

  • 层次命名空间：ZooKeeper 组织为层次结构，类似于文件系统的目录结构，通过路径名来表示节点。

  • znode：每个节点在层次结构中都是一个 znode，有唯一的路径标识。

节点类型和 Watcher 机制：

        ZooKeeper 节点有不同的类型，包括持久节点、临时节点、持久顺序节点和临时顺序节点。Watcher 是一种事件通知机制，可在节点状态更改时接收通知。

  • 节点类型：

    • 持久节点（Persistent Nodes）：一旦创建，持久节点会一直存在，直到显式删除。
    • 临时节点（Ephemeral Nodes）：与客户端会话关联，客户端断开连接时，临时节点会被删除。
    • 持久顺序节点（Persistent Sequential Nodes）：与持久节点类似，但节点名称末尾会附加一个数字后缀，表示创建顺序。
    • 临时顺序节点（Ephemeral Sequential Nodes）：与临时节点类似，节点名称末尾有数字后缀。

  • Watcher 机制：客户端可以在节点上设置 Watcher，当节点状态发生变化（例如创建、删除、数据更新等）时，ZooKeeper 将触发 Watcher 事件通知客户端。

5. 分布式锁

        分布式锁是一种用于在分布式系统中控制对共享资源访问的机制。ZooKeeper可以用于实现分布式锁，其基本思想是创建一个独占节点（即只允许一个客户端拥有的节点），并利用ZooKeeper的特性来确保每个时间只有一个客户端持有这个节点。

实现分布式锁的基本步骤

  1. 获取锁：客户端请求ZooKeeper创建临时顺序节点。
  2. 检查序号：客户端获取所有子节点并按序号排序。
  3. 判断锁拥有者：如果当前客户端的节点序号是最小的，表示获得锁；否则，监听次小节点，等待其删除。
  4. 释放锁：客户端释放节点（删除节点）。

代码示例（Java）

以下是使用 ZooKeeper 实现分布式锁的基本示例代码：

import org.apache.zookeeper.*;
import java.io.IOException;
import java.util.List;
import java.util.concurrent.CountDownLatch;public class DistributedLock {private final static String ZOOKEEPER_ADDRESS = "localhost:2181";private final static String LOCK_PATH = "/myLock";private ZooKeeper zooKeeper;private String lockPath;private CountDownLatch countDownLatch;public DistributedLock() throws IOException, InterruptedException, KeeperException {this.zooKeeper = new ZooKeeper(ZOOKEEPER_ADDRESS, 3000, null);this.lockPath = zooKeeper.create(LOCK_PATH, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);}public void lock() throws InterruptedException, KeeperException {while (true) {List<String> children = zooKeeper.getChildren("/", false);children.sort(String::compareTo);int index = children.indexOf(lockPath.substring(1));if (index == 0) {return; // 当前客户端持有最小节点，获取锁成功}String watchNode = "/" + children.get(index - 1);final CountDownLatch latch = new CountDownLatch(1);Stat stat = zooKeeper.exists(watchNode, new Watcher() {@Overridepublic void process(WatchedEvent watchedEvent) {if (watchedEvent.getType() == Event.EventType.NodeDeleted) {latch.countDown();}}});if (stat != null) {latch.await(); // 等待次小节点删除事件}}}public void unlock() throws KeeperException, InterruptedException {zooKeeper.delete(lockPath, -1);zooKeeper.close();}public static void main(String[] args) throws IOException, InterruptedException, KeeperException {DistributedLock distributedLock = new DistributedLock();distributedLock.lock();// 执行业务逻辑distributedLock.unlock();}
}

避免死锁

  • 超时机制：为获取锁设置超时时间，超过指定时间仍未获得锁，则放弃获取锁。
  • 节点删除监听：监听次小节点的删除事件，避免死锁等待。

在分布式系统中实现分布式锁时，需要注意网络波动、ZooKeeper集群状态等因素，以确保锁的可靠性和稳定性。

6. 选举机制

        ZooKeeper使用ZAB（ZooKeeper Atomic Broadcast）协议实现分布式一致性，并在此基础上构建了领导者选举机制。在ZooKeeper中，节点可以是领导者（Leader）、追随者（Follower）或候选者（Candidate）。

选举机制基本流程

  1. 初始化：启动时所有节点都是候选者。
  2. 投票：每个候选者在一定时间内（选举超时时间）内向其他节点发送选举请求（投票请求），请求其他节点投票给自己。
  3. 投票结果：收到的第一个投票节点成为领导者，其他节点成为追随者。
  4. 心跳：领导者定期发送心跳以维持其地位，追随者则定期接收领导者的心跳。

选举代码示例

以下是一个基本的选举场景的代码示例，演示如何使用 ZooKeeper 实现领导者选举：

import org.apache.zookeeper.*;public class LeaderElection implements Watcher {private ZooKeeper zooKeeper;private String zNode = "/election";private String currentZNode;public LeaderElection() throws Exception {this.zooKeeper = new ZooKeeper("localhost:2181", 3000, this);}public void findLeader() throws Exception {if (zooKeeper.exists(zNode, false) == null) {currentZNode = zooKeeper.create(zNode, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);}watchPreviousNode();}private void watchPreviousNode() throws Exception {String previous = null;for (String node : zooKeeper.getChildren(zNode, false)) {if (currentZNode.equals(zNode + "/" + node)) {break;}previous = node;}if (previous != null) {zooKeeper.exists(zNode + "/" + previous, this);}}@Overridepublic void process(WatchedEvent event) {switch (event.getType()) {case NodeDeleted:try {findLeader();} catch (Exception e) {e.printStackTrace();}break;}}public static void main(String[] args) throws Exception {LeaderElection leaderElection = new LeaderElection();leaderElection.findLeader();// 等待选举结果Thread.sleep(Long.MAX_VALUE);}
}

此示例中的代码模拟了候选者通过创建临时顺序节点并监视前一个节点的变化来实现领导者选举的基本过程。

ZooKeeper的选举机制可以确保系统的领导者是唯一的，并且在节点出现故障或网络问题时能够快速重新选举新的领导者，从而保障了分布式系统的可用性和稳定性。

7. 实战案例

        在 Java 中使用 ZooKeeper 主要涉及到 ZooKeeper 的连接、会话管理、数据节点的创建、读取、更新和删除等操作。以下是使用 ZooKeeper 的基本步骤和示例代码：

引入 ZooKeeper 客户端依赖

在 Maven 项目中，需要在 pom.xml 文件中引入 ZooKeeper 客户端依赖

<dependency><groupId>org.apache.zookeeper</groupId><artifactId>zookeeper</artifactId><version>3.7.0</version> <!-- 版本号根据需求进行更改 -->
</dependency>

创建 ZooKeeper 连接

import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.WatchedEvent;public class ZooKeeperExample {private static final String ZOOKEEPER_HOST = "localhost:2181"; // ZooKeeper服务器地址和端口号private static final int SESSION_TIMEOUT = 5000; // 会话超时时间public static void main(String[] args) throws Exception {ZooKeeper zooKeeper = new ZooKeeper(ZOOKEEPER_HOST, SESSION_TIMEOUT, new Watcher() {@Overridepublic void process(WatchedEvent event) {// 处理 ZooKeeper 事件System.out.println("Received event: " + event);}});// 等待连接成功while (zooKeeper.getState() != ZooKeeper.States.CONNECTED) {Thread.sleep(1000);}// 连接成功后的操作System.out.println("Connected to ZooKeeper");// 进行节点操作等其他业务逻辑// 例如：创建节点、读取节点、更新节点、删除节点等操作// 关闭 ZooKeeper 连接zooKeeper.close();}
}

进行节点操作

以下是节点的基本操作示例：

  • 创建节点：
// 创建一个持久节点
String path = "/testNode";
byte[] data = "Hello, ZooKeeper!".getBytes();
zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
  • 读取节点：
// 读取节点数据
Stat stat = new Stat();
byte[] nodeData = zooKeeper.getData("/testNode", false, stat);
System.out.println("Node data: " + new String(nodeData));
  • 更新节点：
// 更新节点数据
String newData = "Updated data";
zooKeeper.setData("/testNode", newData.getBytes(), stat.getVersion());
  • 删除节点：
// 删除节点
zooKeeper.delete("/testNode", stat.getVersion());

注意事项

  • 在实际使用中，请根据需求处理异常、关闭连接等情况。
  • 使用 Watcher 监听 ZooKeeper 节点的变化。
  • 请注意 ZooKeeper 的一致性、可用性和分区容错性等特性。

以上代码示例仅为基础操作，实际应用中可能会涉及更多复杂的场景和功能。后面有时间会再跟大家分享一下Zookeeper选举Leader源码分析的内容

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/296270.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

助力打造清洁环境，基于YOLOv4开发构建公共场景下垃圾堆放垃圾桶溢出检测识别系统

助力打造清洁环境，基于YOLOv4开发构建公共场景下垃圾堆放垃圾桶溢出检测识别系统

公共社区环境生活垃圾基本上是我们每个人每天几乎都无法避免的一个问题&#xff0c;公共环境下垃圾投放点都会有固定的值班时间&#xff0c;但是考虑到实际扔垃圾的无规律性&#xff0c;往往会出现在无人值守的时段内垃圾堆放垃圾桶溢出等问题&#xff0c;有些容易扩散的垃圾比…
阅读更多...
智能优化算法应用：基于蛇优化算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于蛇优化算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于蛇优化算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于蛇优化算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.蛇优化算法4.实验参数设定5.算法结果6.参考文…
阅读更多...
Tomcat与Netty比较

Tomcat与Netty比较

Tomcat介绍Tomcat支持的协议Tomcat的优缺点Netty介绍Netty支持的协议Netty的优点和缺点Tomcat和Netty的区别Tomcat和Netty的应用场Tomcat和Netty来处理大规模并发连接的优化Tomcat与Netty的网络模型的区别Tomcat与Netty架构设计拓展 Tomcat介绍 Tomcat是一个免费的、开放源代码…
阅读更多...
LangChain 30 ChatGPT LLM将字符串作为输入并返回字符串Chat Model将消息列表作为输入并返回消息

LangChain 30 ChatGPT LLM将字符串作为输入并返回字符串Chat Model将消息列表作为输入并返回消息

LangChain系列文章 LangChain 实现给动物取名字&#xff0c;LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储&#xff0c;读取YouTube的视频文本搜索I…
阅读更多...
2024 年 22 款顶级免费数据恢复软件比较 [Windows 和 Mac]

2024 年 22 款顶级免费数据恢复软件比较 [Windows 和 Mac]

适用于 Windows 和 Mac 用户的最佳数据恢复软件下载列表和比较&#xff0c;可快速恢复丢失的数据、已删除的文件、照片或格式化的分区数据&#xff1a; 数据恢复软件是一种从任何存储介质恢复丢失文件的应用程序。它可以恢复由于病毒攻击、硬盘故障或任何其他原因而意外删除或…
阅读更多...
TCGA超过1G的病理wsi数据下载-gdc-client

TCGA超过1G的病理wsi数据下载-gdc-client

使用网页端下载TCGA超过1G的病理wsi数据&#xff0c;数据下载到1G后就不能完整下载。遂采用gdc-client下载。 Win 环境下新建这个文件夹放在系统盘进行储存&#xff0c;否则会报错&#xff1a;ERROR: Unable to write state file: [WinError 17] 系统无法将文件移到不同的磁盘…
阅读更多...
【docker笔记】docker理论及安装

【docker笔记】docker理论及安装

前言 本笔记来源于尚硅谷docker教学视频 视频地址&#xff1a;https://www.bilibili.com/video/BV1gr4y1U7CY/?spm_id_from333.337.search-card.all.click 纯手打笔记&#xff0c;来之不易&#xff0c;感谢支持~ Docker简介 docker为什么会出现 想象一下&#xff1a;一个应用…
阅读更多...
leetcode 268. 丢失的数字（优质解法）

leetcode 268. 丢失的数字（优质解法）

链接&#xff1a;268. 丢失的数字 代码: class Solution {public int missingNumber(int[] nums) {int result0;for(int i0;i<nums.length;i){result^i;}for(int i0;i<nums.length;i){result^nums[i];}return result;} } 题解&#xff1a; 本题是比较简单的题&#xff…
阅读更多...
要参加微软官方 Copilot 智能编程训练营了

要参加微软官方 Copilot 智能编程训练营了

GitHub Copilot 是由 GitHub、OpenAI 和 Microsoft 联合开发的生成式 AI 模型驱动的。 GitHub Copilot 分析用户正在编辑的文件及相关文件的上下文&#xff0c;并在编写代码时提供自动补全式的建议。 刚好下周要参加微软官方组织的 GitHub Copilot 工作坊-智能编程训练营&…
阅读更多...
向量投影：如何将一个向量投影到矩阵的行向量生成子空间？

向量投影：如何将一个向量投影到矩阵的行向量生成子空间？

向量投影&#xff1a;如何将一个向量投影到矩阵的行向量生成子空间&#xff1f; 前言 本问题是在学习Rosen梯度投影优化方法的时候遇到的问题&#xff0c;主要是对于正交投影矩阵(NT(NNT)-1N)的不理解&#xff0c;因此经过查阅资料&#xff0c;学习了关于向量投影的知识&…
阅读更多...
DLLNotFoundException:xxx tolua... 错误打印

DLLNotFoundException:xxx tolua... 错误打印

DLLNotFoundException:xxx tolua... 错误打印 一、DLLNotFoundException介绍二、Plugins文件夹文件目录结构如下&#xff1a; 三、Plugins中的Android文件夹四、Plugins中的IOS文件夹这里不说了没测试过不过原理应该也是选择对应的平台即可五、Plugins中的x86和X86_64文件夹 一…
阅读更多...
git入门指南：新手快速上手git(Linux环境如何使用git）

git入门指南：新手快速上手git(Linux环境如何使用git）

目录 前言 1. 什么是git&#xff1f; 2. git版本控制器 3. git在Linux中的使用 安装git 4. git三板斧 第一招&#xff1a;add 第二招&#xff1a;commit 第三招&#xff1a;push 5. 执行状态 6. 删除 总结 前言 Linux的基本开发工具介绍完毕&#xff0c;接下来介绍一…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023