浅谈Zookeeper及windows下详细安装步骤

1. Zookeeper介绍

1.1 分布式系统面临的问题

分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。

面临的问题:系统每个节点之间信息同步及共享

  • 以一个小团队为例,面临的问题

image.png

  • 通过网络进行信息共享
    开发Leader在会上把任务分配下去,组员通过Leader的命令或者邮件 之类的系统知道自己要干什么.在分配有变化时,Leader会通知到具体的人,或者再次开会,通过人与人之间的直接沟通,完成信息传递
  • 通过共享存储
    Leader将任务分配放到SVN或者git等上,组员每天去svn,git上拉取最新的任务分配表,然后干活,其中svn,git 就是共享存储,更好一点的做法是,当svn,git文件更新时,触发邮件通知,每个组员再去拉,任务表,image.png

Zookeeper如何解决分布式系统面临的问题

ZooKeeper对分布式系统的协调,使用的是第二种方式,即共享存储。其实共享存储,分布式应用也需要和存储进行网络通信。
image.png

Zookeeper解决分布式系统协同工作问题

1.2 什么是Zookeeper

举个例子

美团,饿了么,等等应用都是zookeeper的现实生活版, 我开了个饭店,如何才能让大家都能吃到我们的饭菜?需要入驻美团,这样大家就可以在美团app中看到我的饭店,下订单,从而完成一次交易.

image.png

ZooKeeper是一个开源的分布式协调服务,由Apache软件基金会开发和维护。它旨在帮助构建分布式应用程序,提供高可用性和可靠性。ZooKeeper 允许开发人员专注于核心应用程序逻辑,而不必担心应用程序的分布式特性。

ZooKeeper的主要特点如下:

  • 分布式协调:ZooKeeper提供了一个可靠的协调机制,使得分布式系统中的各个组件能够相互通信和协调工作。它维护了一个分层的命名空间,类似于一个文件系统,允许客户端创建、删除、查看和更新节点。
  • 高可用性:ZooKeeper通过在集群中多个服务器之间复制数据来实现高可用性。当其中一个服务器发生故障时,其他服务器能够接管服务并继续提供数据访问。
  • 顺序一致性:ZooKeeper提供了强一致性的保证,即所有的更新操作将按照它们被提交的顺序进行处理。这对于分布式系统中需要有序操作的场景非常重要,例如选举算法或分布式锁的实现。
  • 小巧灵活:ZooKeeper的设计简单轻量,核心功能集中在分布式协调方面,使其易于部署和集成到现有系统中。它使用Java编写,但也提供了对其他编程语言的支持。

1.3 Zookeeper的应用场景

1) 配置管理

  • 通常在分布式系统或集群中,所有节点的配置应该一致,比如Hadoop集群,要求对配置的修改,能够快速同步到各个节点中,可以通过 Zookeeper 实现

image.png

2) 服务注册中心

  • ZooKeeper服务注册中心,服务提供者将自己的服务信息(例如IP地址、端口号等)注册到ZooKeeper中,而服务消费者则通过查询ZooKeeper来发现可用的服务。

image.png

  1. 启动一个秒杀服务之后会向 ZooKeeper 进行注册操作(向 ZooKeeper 的指定文件夹写入该秒杀服务的信息,如 name、ip、port);然后 ZooKeeper 会创建当前秒杀服务的节点
  2. 客户端(服务调用者)连接 ZooKeeper 并获取秒杀服务的地址列表信息(① 不是每次发送请求都会获取地址列表信息,客户端会把地址列表信息缓存到本地;② 客户端会绑定节点改变事件)
  3. 客户端获得了秒杀服务的地址列表信息,在地址列表信息中随机选择一台秒杀服务发送请求
  4. 假如有秒杀服务宕机,ZooKeeper 会在注册中心移除掉该秒杀服务的地址信息并通知客户端进行地址列表信息的更新(ZooKeeper 通过心跳机制知道服务器是否宕机)
  5. 客户端接收到 ZooKeeper 的通知,并修改地址列表信息

3) 主从协调

image.png

上图,两台服务器 server 01、server 02 构成集群。如果是主备集群,那台服务器一开始是 Active ?那台服务器一开始是 Standby ? 可通过 ZooKeeper 进行协调指定。

  1. 两台服务器启动,向 ZooKeeper 注册中心写入注册信息,并绑定对应的值绑定事件
  2. 两台服务器都判断一下自己写入的注册信息在 ZooKeeper 注册中心的注册信息列表中是否是第一条记录?第一条记录作为 Active 节点或 Master 节点,除第一条记录之外的都是 Standby 节点或 Slave 节点。
  3. ZooKeeper 的节点信息发生改变(新的服务器加入、旧的服务器宕机)之后,① 通知所有的已绑定值改变事件的客户端更新节点列表信息;② 向所有的服务器发送值改变的通知
  4. 所有的服务器接收到值改变通知后,执行步骤 2

4) 分布式锁

image.png

  1. 全部的订单服务在调用 createId 接口前都往 ZooKeeper 的注册中心的指定目录写入注册信息(如 /lock/server 01)和绑定值改变事件
  2. 全部的订单服务判断自己往注册中心指定目录写入的注册信息是否是全部注册信息中的第一条?如果是,调用 createId 接口(不是第一条就等着)。调用结束后,去注册中心移除自己的信息
  3. ZooKeeper 注册中心信息改变后,通知所有的绑定了值改变事件的订单服务执行第 2 条

3. 搭建Zookeeper服务器

3.1 windows下部署

3.1.1 下载安装包

下载地址: https://mirrors.cloud.tencent.com/apache/zookeeper/zookeeper-3.7.1/

也可以直接从资料中获取

3.1.2 修改配置文件

image.png

  • 打开apache-zookeeper-3.7.0-bin\conf目录,将 zoo_sample.cfg复制一份,命名为 zoo.cfg
  • 打开 zoo.cfg,修改 dataDir路径,新增日志 dataLogDir路径
 dataDir=../datadataLogDir=../log
3.1.3 zoo.cfg 配置文件说明
 # zookeeper时间配置中的基本单位 (毫秒)tickTime=2000# 允许follower初始化连接到leader最大时长,它表示tickTime时间倍数 即:initLimit*tickTimeinitLimit=10# 允许follower与leader数据同步最大时长,它表示tickTime时间倍数 syncLimit=5#zookeper 数据存储目录及日志保存目录(如果没有指明dataLogDir,则日志也保存在这个文件中)dataDir=/tmp/zookeeper#对客户端提供的端口号clientPort=2181#单个客户端与zookeeper最大并发连接数maxClientCnxns=60# 保存的数据快照数量,之外的将会被清除autopurge.snapRetainCount=3#自动触发清除任务时间间隔,小时为单位。默认为0,表示不自动清除。autopurge.purgeInterval=1
3.1.4 启动Zookeeper
  • 启动Zookeeper服务端

image.png

  • 启动Zookeeper客户端

image.png

3.2 linux下部署

3.2.1 上传zookeeper

前提:由于zookeeper是使用java语言开发的,所以,在安装zookeeper之前务必先在本机安装配置好java环境!

1) 上传zookeeper

image.png

2) 解压zookeeper

image.png

3.2.2 配置环境变量

1) 配置conf

进入到安装目录的…/conf目录下

image.png

可以看到这里有个zoookeeper给我们的一个样例配置文件:zoo_sample.cfg,我们在配置我们自己的zk时,需要做的就是将这个文件复制一份,并命名为:zoo.cfg,然后在zoo.cfg中修改自己的配置即可。

[root@localhost conf]# cp zoo_sample.cfg  zoo.cfg
[root@localhost conf]# vim zoo.cfg 

zoo.cfg的相关配置项其实并不多,这边各个配置项的详细说明如下:

# zookeeper内部的基本单位,单位是毫秒,这个表示一个tickTime为2000毫秒,在zookeeper的其他配置中,都是基于tickTime来做换算的
tickTime=2000#集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数(tickTime的数量)。
initLimit=10#syncLimit:集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数(tickTime的数量)
syncLimit=5# 数据存放文件夹,zookeeper运行过程中有两个数据需要存储,一个是快照数据(持久化数据)另一个是事务日志
dataDir=/tmp/zookeeper# 客户端访问端口
clientPort=2181

2) 配置环境变量

vim /etc/profile

export ZOOKEEPER_PREFIX=/root/software/apache-zookeeper-3.7.1-bin
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

执行下面的命令,使配置生效

source profile
3.2.3 启动服务
zkServer.sh start

image.png

可以看到我们的zkServer以及启动好了。
可以查看下启动状态:

zkServer.sh status

image.png

客户端连接

image.png

根目录下有一个自带的/zookeeper子节点,它来保存Zookeeper的配额管理信息,不要轻易删除。

image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/448803.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

无人机森林防火解决方案,无人机低空监测系统解决森林防火技术

我国森林资源较为贫乏,森林覆盖率约为13%左右,人均森林占有面积仅为世界平均值的1/6,但森林大火每年都有发生,如何解决森林防火的问题,又成为林业工作的重中之重。 无人机中低空监测系统具有机动快速、使用成本低、维护…

算法学习——华为机考题库2(HJ11 - HJ20)

算法学习——华为机考题库2(HJ11 - HJ20) HJ11 数字颠倒 描述 输入一个整数,将这个整数以字符串的形式逆序输出 程序不考虑负数的情况,若数字含有0,则逆序形式也含有0,如输入为100,则输出为0…

Github处理clone慢的解决方案

Github设置代理clone依然慢的解决方案 1、前提:科学上网 注意: 必须要有科学上网!必须要有科学上网!必须要有科学上网!重要的事情说三遍; 2、http/https方案(git clone时使用http&#xff09…

例34:窗体增加20宽度

建立一个EXE工程,在窗体上放一个标签。输入代码: Sub Form1_WM_LButtonUp(hWndForm As hWnd, MouseFlags As Long, xPos As Long, yPos As Long)Me.WidthMe.Width20Me代指本窗体End SubSub Form1_Label1_WM_LButtonDown(hWndForm As hWnd, MouseFlags A…

数据结构篇-05:哈希表解决字母异位词分组

本文对应力扣高频100 ——49、字母异位词分组 哈希表最大的特点就是它可以把搜索元素的时间复杂度降到O(1)。这一题就是要我们找到 “字母异位词” 并把它们放在一起。 “字母异位词”就是同一个单词中字母的不同组合形式。判断“字母异位词”有两个视角:1、所含字…

大数据信用报告查询费用一般要多少钱?

一些不少朋友在申贷的时候被拒贷之后,得到的原因就是因为大数据不良被拒,这时候很多人都反过来查询自己的大数据信用报告,而查询的价格也是不少朋友都比较关注的,那大数据信用报告查询费用一般要多少钱呢?下面本文就为你介绍一下…

面试150 二进制求和 位运算

Problem: 67. 二进制求和 文章目录 思路复杂度Code 思路 👨‍🏫 参考 复杂度 时间复杂度: O ( n ) O(n) O(n) 空间复杂度: O ( n ) O(n) O(n) Code class Solution {public String addBinary(String a, String b){StringBuilder ans new Stri…

C#读取和保存INI文件配置

在C#应用程序中,读取和保存配置文件是常见的任务,而INI文件是一种轻量级的配置文件格式。在以下代码中,我们将探讨如何使用C#创建一个窗体应用程序,并通过读取和保存INI文件配置来实现一些基本的功能。 创建IniHelper类 首先&…

flask基于Python的期货交易模拟系统的django-afl61-vue

期货交易模拟系统是一个便于用户在线查看期货投资、取消投资、风险控制、账户资金、持仓资金等,管理员进行管理的平台。因此本文主要论述了系统开发的过程和实现的功能,结合Web技术来实现的期货交易模拟系统。本系统以软件工程理论为开发基础&#xff0c…

计算机网络实验五

目录 实验五 路由器基本配置 1、实验目的 2、实验设备 3、网络拓扑及IP地址分配 4、实验过程 (1)路由器设备名称的配置 (2)路由器每日提示信息配置 (3)路由器端口的IP地址配置 (4&…

freertos 源码分析二 list链表源码

list.c 一、链表初始化 void vListInitialise( List_t * const pxList ) { pxList->pxIndex ( ListItem_t * ) &…

开源软件:推动技术革新与商业模式转型的引擎

开源软件的影响力分析 引言开源软件如何推动技术创新开源软件与全球协作知识分享与快速迭代促进多样化技术发展开源软件示例与创新案例分析 开源软件的商业模式开放内核模式服务与支持捐赠模式云服务平台 开源软件的安全风险代码维护和质量问题开发者和贡献者的不确定性第三方库…