基于Zookeeper 简单实现分布式任务协调组件

优质博文:IT-BLOG-CN

一、什么是 Zookeeper

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。

它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

二 、 分布式任务协调组件的需求是什么

【1】现在有名称为ECAS的应用并集群运行在两台服务器上,分别为ECAS_1和CAS_2。而我们希望有一个任务TASK_1可以在两台ECAS应用中的任何一个应用来运行,可以是ECAS_1也可以是ECAS_2。

【2】假设TASK_1运行在ECAS_1上,而此时ECAS_1所在的服务器由于某些原因宕机了,ECAS_2需要接管任务TASK_1,使其可以继续运行。

需求分析:
a) 任务TASK_1既可以运行在ECAS_1上,也可以运行在ECAS_2上,任务吭启动时,由ECAS_1和CAS_2竞争运行权
b) 当ECAS集群中某台服务器宕机了,原来运行在这台服务器上的ECAS运行的应用应该由另外一台接管运行

三、基于Zookeeper实现需求

【1】可能需要使用到的Zookeeper的特性:监听节点发化,当有节点被增加、删除、修改时,通知关注节点发化的客户端

【2】实现需求一
    a) 在Zookeeper上新增ROOT/Tasks节点,用于存放任务子节点(PS:ROOT节点是根节点,用于存放本次功能实现相关的子节点)
    b) 所有客户端客户端关注节点ROOT/Tasks的子节点变化情况。
     1、当有节点被新增进来时,触发竞争任务执行权操作
      2、当有节点被移除时,触发任务停止操作
    c) 如何竞争子任务,Zookeeper提供了基于Version的乐观锁操作,多个客户端尝试修改任务节点的属性时,叧有一个客户端可以修改成功,修改成功的客户端既竞争到了任务的执行权

【3】实现需求二
    a)在Zookeeper上新增ROOT/Workers节点,用于存放当前存活的客户端实例(PS:ROOT节点是根节点,用于存放本次功能实现相关的子节点)
    b) 所有客户端在Workers节点下添加代表自身的临时子节点,在Zookeeper中,临时子节点的特性是,当所属客户端断开了与Zookeeper的连接,子节点会被移除。
    c) 所有客户端关注节点ROOT/Workers的子节点发化情况
      1. 当有新的节点添加进来时,表示集群中有新的客户端启动了
      2. 当有节点被移除时,表示有客户端离开了集群,此时遍历ROOT/Tasks下所有子节点,接管离开客户端所属的任务。

【4】下面是一个简单的 Zookeeper上的节点层次图
在这里插入图片描述

四、更强大的分布式调组件

4.1 可灵活定制任务负载策略
4.2 宕机应用返回集群后,任务的重新负载

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/635904.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

苍穹外卖day1--开发环境搭建

整体结构 前端:管理端(Web) 用户端(小程序) 后端:后端服务(Java) 前端工程基于ngnix运行 启动nginx:双击nginx.exe即可启动nginx服务,访问端口号为80 后端…

【数字电路与系统】【北京航空航天大学】实验:时序逻辑设计——三色灯开关(二)、需求分析和系统设计

本次实验(一)见博客:【数字电路与系统】【北京航空航天大学】实验:时序逻辑设计——三色灯开关(一)、实验指导书 说明:本次实验的代码使用verilog编写,文章中为阅读方便&#xff0c…

C#使用AnimateWindow()实现动画窗体的方法:创建特殊窗体

目录 一.涉及到的知识点 (1) AnimateWindow函数 (2)操作流程 1.首先,定义一个用于封装AnimateWindow函数的类 2.在窗体类中使用这个方法 3.生成效果 二、实例 (1)Resources.Designer.cs…

C++|stack-queue-priority_queue(适配器+模拟实现+仿函数)

目录 一、容器适配器 1.1容器适配器概念的介绍 1.2stack和queue的底层结构 1.3deque容器的介绍 1.3.1deque的缺陷及为何选择他作为stack和queue的底层默认实现 二、stack的介绍和使用 2.1stack的介绍 2.2stack的使用 2.3stack的模拟实现 三、queue的介绍和使用 …

LLMs之Llama3:Llama 3的简介、安装和使用方法、案例应用之详细攻略

LLMs之Llama3:Llama 3的简介、安装和使用方法、案例应用之详细攻略 导读:2024年4月18日,Meta 重磅推出了Meta Llama 3,本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llama 3 是一种自回归语言模型&#x…

蓝桥杯第十五界软件测试线下省赛题目分析及解决

PS 需要第十五界蓝桥杯被测系统或者功能测试模板、单元测试被测代码、自动化测试被测代码请加🐧:1940787338 备注:15界蓝桥杯省赛软件测试 题目1:功能测试 题目描述 ​ 某物流公司的货运收费标准根据重量、距离和节假日三个因素来确定。如…

2024蓝桥杯嵌入式模板代码详解

文章目录 一、STM32CubeMx配置二、LED模板代码三、LCD模板代码 一、STM32CubeMx配置 打开STM32CubeMx,选择【File】->【New Project】,进入芯片选择界面,搜索到蓝桥杯官方的芯片型号,并点击收藏,下次直接点击收藏就…

LeetCode 113—— 路径总和 II

阅读目录 1. 题目2. 解题思路3. 代码实现 1. 题目 2. 解题思路 看到树的问题一般我们先考虑一下是否能用递归来做。 假设 root 节点的值为 value,如果根节点的左子树有一个路径总和等于 targetSum - value,那么只需要将根节点的值插入到这个路径列表中…

Unity之圆环slider

一、参考文章 Unity_圆环滑动条(圆形、弧形滑动条)_unity弧形滑动条-CSDN博客 此滑动条拖动超过360后继续往前滑动值会从0开始,正常我们超过360度时不可在滑动。 二、 超过360度不可滑动问题解决 参考HTML文章制作: https://www.c…

嵌入式Linux开发

(17 封私信 / 1 条消息) 嵌入式Linux应用 - 搜索结果 - 知乎 (zhihu.com)

css层叠性,继承性,优先级

前言 本文概要:讲述css的三大特性,层叠,继承和优先级。 层叠性 描述:我们试想以下这种情况:我们定义了同一个选择器,但是定义的属性不同。属性有相同的也有不同的,那么最后我们这个页面会听谁的…

小图标还不会设计!

ICON图标设计 hello,我是小索奇 image-20230805225451447 你有好奇过这样的图标如何设计的吗? 其实非常简单,仅需要一行代码即可完成,本篇文章就带伙伴们使用,每天看一篇,简单易懂,日久技长~…