Mycat核心教程--ZooKeeper集群搭建【三】

Mycat核心教程--ZooKeeper集群搭建

  • 八、 ZooKeeper集群搭建
    • 8.1.ZooKeeper简介
    • 8.2.数据复制的好处
    • 8.3.Zookeeper设计目的
    • 8.4.zookeeper集群包括3种角色
      • 8.4.1.Leader角色
      • 8.4.2.Follower 角色
      • 8.4.3.Observer 角色
    • 8.5.zookeeper集群工作流程
    • 8.6.zookeeper集群节点数量为奇数，建议至少3个节点
    • 8.7.ZooKeeper 集群搭建
      • 8.7.1.下载ZooKeeper安装包并解压
      • 8.7.2.进入ZooKeeper解压后的配置目录（conf），复制配置文件并改名为zoo.cfg
      • 8.7.3.修改zookeeper数据文件存放目录
      • 8.7.4.修改zoo.cfg 配置文件内容为
      • 8.7.5.创建ServerID标识
      • 8.7.6.添加到环境变量
      • 8.7.7.ZooKeeper启动命令
      • 8.7.8.ZooKeeper服务端口为2181，查看服务已经启动
      • 8.7.9.注意：Starting zookeeper … FAILED TO START
      • 8.7.10.Address unresolved
    • 8.8.Zookeeper集群查看【host129为leader】
    • 8.9.模拟集群故障--【host130为leader】
    • 8.10.Zookeeper客户端验证
    • 8.11.zkCli客户端支持操作命令
  • endl

八、 ZooKeeper集群搭建

ZooKeeper官网下载地址：https://zookeeper.apache.org/releases.html

apache下载：https://downloads.apache.org/

在这里插入图片描述

8.1.ZooKeeper简介

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

ZooKeeper是一个分布式数据一致性的解决方案，分布式应用可以基于它实现发布订阅、负载均衡、命名服务、协调通知、集群管理、master选举、分布式锁和分布式队列的特性。

8.2.数据复制的好处

  • 容错：一个节点出错，不至于让整个集群无法提供服务

  • 扩展性：通过增加服务器节点能提高 ZooKeeper 系统的负载能力，把负载分布到多个节点上

  • 高性能：客户端可访问本地 ZooKeeper 节点或者访问就近的节点，依次提高用户的访问速度

8.3.Zookeeper设计目的

Zookeeper的设计目的是提供高性能（简单的数据模型），高可用（构建集群），顺序一致性（严格顺序访问）的分布式协调服务，保证数据一致性。

    1. 最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。
    1. 可靠性：具有简单、健壮、良好的性能，如果消息被到一台服务器接受，那么它将被所有的服务器接受。
    1. 实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。
    1. 等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。
    1. 原子性：更新只能成功或者失败，没有中间状态。
    1. 顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

8.4.zookeeper集群包括3种角色

zookeeper集群包括3种角色：leader（核心）、follower、observer

8.4.1.Leader角色

Leader是整个 zookeeper 集群的核心，Leader 主要有三个功能：

  • 集群异常时从快照和日志中恢复数据
  • 维持与 Learner 的心跳，接收 Learner 请求并判断 Learner 的请求消息类型
  • 根据不同的消息类型，进行不同的处理。
    Learner 的消息类型主要有：
  • PING 消息：指Learner 的心跳信息
  • REQUEST 消息：Follower 发送的提议信息，包括读写请求和同步请求
  • ACK 消息：Follower 对提议的回复，超过半数的 Follower 通过，则 commit 该提议
  • REVALIDATE 消息：用来延长 Session 有效时间

在这里插入图片描述

8.4.2.Follower 角色

在Zookeeper集群内部，Follower 主要有四个功能：

  • 向 Leader 发送请求（PING 消息、REQUEST 消息、ACK 消息、REVALIDATE 消息）；
  • 接收 Leader 消息并进行处理；
  • 接收 Client 的请求，如果为写请求，则转发给 Leader进行投票；
  • 返回 Client 结果。

Leader 的消息有：

  • PING 消息： 心跳消息；
  • PROPOSAL 消息：Leader 发起的提案，要求 Follower 投票；
  • COMMIT 消息：服务器端最新一次提案的信息；
  • UPTODATE 消息：表明同步完成；
  • REVALIDATE 消息：根据 Leader 的 REVALIDATE 结果，关闭待 revalidate 的 session 还是允许其接受消息；
  • SYNC 消息：返回 SYNC 结果到客户端，这个消息最初由客户端发起，用来强制得到最新的更新。

在这里插入图片描述

8.4.3.Observer 角色

  • Observer 是 zookeeper3.3 开始引入的一个全新的服务器角色，观察者角色。
  • 观察 zookeeper 集群中的最新状态变化并将这些状态变化同步到 observer 服务器上。
  • Observer 流程和 Follower 的唯一不同的地方就是 Observer 不会参加 Leader 发起的投票，也不会被选举为 Leader。

8.5.zookeeper集群工作流程

zookeeper集群只能有一个leader节点，由所有follower选举产生，只有leader节点才有权利发起修改数据的操作，而follower节点即使接收到了客户端发起的修改操作，也要将其转交给leader来处理，leader接收到修改数据的请求后，会向所有follower广播一条消息，让他们执行某项操作，follower 执行完后，便会向 leader 回复执行完毕。当 leader 收到半数以上的 follower 的确认消息，便会判定该操作执行完毕，然后向所有 follower 广播该操作已经生效。

8.6.zookeeper集群节点数量为奇数，建议至少3个节点

如果要搭建一个能够允许N台机器down掉的集群，那么就要部署2*N+1台服务器构成的 zookeeper 集群

8.7.ZooKeeper 集群搭建

确保关闭防火墙
机器名称IP服务器角色环境要求
host128192.168.147.128zk节点1CentOS7.9 + zk 3.8.3+JDK1.8
host129192.168.147.129zk节点2CentOS7.9 + zk 3.8.3+JDK1.8
host130192.168.147.130zk节点3CentOS7.9 + zk 3.8.3+JDK1.8

8.7.1.下载ZooKeeper安装包并解压

apache下载：https://downloads.apache.org/

ZooKeeper官网下载地址：https://zookeeper.apache.org/releases.html

cd /opt/wget https://downloads.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gztar -xzvf apache-zookeeper-3.8.3-bin.tar.gz -C /usr/local/src

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

8.7.2.进入ZooKeeper解压后的配置目录（conf），复制配置文件并改名为zoo.cfg

# 更名
cd /usr/local/src
mv apache-zookeeper-3.8.3-bin zookeepercd /usr/local/src/zookeeper/confcp /usr/local/src/zookeeper/conf/zoo_sample.cfg /usr/local/src/zookeeper/conf/zoo.cfg

8.7.3.修改zookeeper数据文件存放目录

dataDir=/data/zookeeper

8.7.4.修改zoo.cfg 配置文件内容为

vi /usr/local/src/zookeeper/conf/zoo.cfg

# tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔为2ms,也就是说每隔tickTime时间就会发送一个心跳。
tickTime=2000# initLimit这个配置项是用来配置zookeeper接受客户端
# （这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）
# 初始化连接时最长能忍受多少个心跳时间间隔数。当初始化连接时间超过该值，则表示连接失败。
# 当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。
# 对于从节点最初连接到主节点时的超时时间，单位为tick值的倍数。总的时间长度就是 10*2000。即20ms
initLimit=10# syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度
# 如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。
# 对于主节点与从节点进行同步操作时的超时时间，单位为tick值的倍数。总的时间长度就是5*2000。即10ms
syncLimit=5# dataDir就是zookeeper保存数据库数据快照的位置,默认情况下zookeeper将写数据的日志文件也保存在这个目录里
# 注意：不能使用 /tmp 路径，会被定期清除。使用专用的存储设备能够大大提高系统的性能
# dataDir=/tmp/zookeeper
dataLogDir=/opt/zookeeper/logs
# 数据文件存放目录
dataDir=/opt/zookeeper/data# clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求
clientPort=2181# 客户端最大链接数
maxClientCnxns=60# zookeeper在运行过程中会生成快照数据，默认不会自动清理，会持续占用硬盘空间
# 保存3个快照，即3个日志文件
autopurge.snapRetainCount=3
# 间隔1个小时执行一次清理
autopurge.purgeInterval=1# server.A=B:C:D
# 其中A是一个数字,表示这个是第几号服务器
# B是这个服务器的IP地址
# C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口
# D是在leader挂掉时专门用来进行选举leader选举所用的端口
# 服务器=运行主机：心跳端口：选举端口
# zk集群
# 3888后面位置不能有空格，否则Address unresolved: 192.168.147.128:3888
server.1=192.168.147.128:2888:3888
server.2=192.168.147.129:2888:3888
server.3=192.168.147.130:2888:3888

#创建相关目录，三台节点都需要
mkdir -p /opt/zookeeper/{logs,data}# 赋予权限
chmod 777 /opt/zookeeper/{logs,data}

8.7.5.创建ServerID标识

# 在三台服务器的主配置文件 zoo.cfg 中指定的 dataDir 目录下 新建myid文件，并写入对应的server.num 中的num数字
# 如：在192.168.147.128上将server.1中1写入myid
# 如：在192.168.147.129上将server.2中2写入myid
# 数据文件存放目录 dataDir=/opt/zookeeper/dataecho 1 >/opt/zookeeper/data/myidcat /opt/zookeeper/data/myid

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

8.7.6.添加到环境变量

vim /etc/profile

# zookeeper
export ZK_HOME=/usr/local/src/zookeeper
export PATH=$PATH:$ZK_HOME/bin

# 输入下面命令让设置的环境变量生效
source /etc/profile

8.7.7.ZooKeeper启动命令

zkServer.sh start
zkServer.sh status
zkServer.sh stop
zkServer.sh restart
#以打印日志方式启动
zkServer.sh start-foreground# jps 是 Java Process Status Tool 的简称,它的作用是为了列出所有正在运行中的 Java 虚拟机进程
# 每一个 Java 程序在启动的时候都会为之创建一个Jvm 实例,通过jps可以查看这些进程的相关信息
# jps是Jdk提供的一个工具,它安装在 JAVA_HOME/bin下jps

在这里插入图片描述

8.7.8.ZooKeeper服务端口为2181，查看服务已经启动

ps -aux | grep zookeepernetstat -ant | grep 2181

在这里插入图片描述

8.7.9.注意：Starting zookeeper … FAILED TO START

zookeeper版本只要 >= 3.5.5 版本启动时启动错误提示“Starting zookeeper … FAILED TO START”

问题原因：下载了错误的版本文件，Zookeeper 从3.5.5后开始拆分为两个版本，而且他们的结构还很类似。

标准版本（Apache ZooKeeper x.y.z ）下载的文件名为：`apache-zookeeper-x.y.z-bin.tar.gz``
源码版本（Apache ZooKeeper x.y.z Source Release）下载的文件名为：apache-zookeeper-x.y.z.tar.gz
在安装时下载标准版本安装使用即可正常使用

8.7.10.Address unresolved

# 查看日志
cat /usr/local/src/zookeeper/logs/zookeeper-root-server-host128.out

[root@host128 conf]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... FAILED TO START[root@host128 logs]# cat zookeeper-root-server-host128.out 
2024-02-26 21:01:09,066 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@177] - Reading configuration from: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
2024-02-26 21:01:09,075 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@440] - clientPortAddress is 0.0.0.0:2181
2024-02-26 21:01:09,076 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@444] - secureClientPort is not set
2024-02-26 21:01:09,076 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@460] - observerMasterPort is not set
2024-02-26 21:01:09,076 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@477] - metricsProvider.className is org.apache.zookeeper.metrics.impl.DefaultMetricsProvider
2024-02-26 21:01:09,086 [myid:] - ERROR [main:o.a.z.s.q.QuorumPeerMain@99] - Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Address unresolved: 192.168.147.128:3888  at org.apache.zookeeper.server.quorum.QuorumPeer$QuorumServer.initializeWithAddressString(QuorumPeer.java:359)at org.apache.zookeeper.server.quorum.QuorumPeer$QuorumServer.<init>(QuorumPeer.java:280)at org.apache.zookeeper.server.quorum.QuorumPeer$QuorumServer.<init>(QuorumPeer.java:275)at org.apache.zookeeper.server.quorum.flexible.QuorumMaj.<init>(QuorumMaj.java:96)at org.apache.zookeeper.server.quorum.QuorumPeerConfig.createQuorumVerifier(QuorumPeerConfig.java:654)at org.apache.zookeeper.server.quorum.QuorumPeerConfig.createQuorumVerifier(QuorumPeerConfig.java:640)at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseDynamicConfig(QuorumPeerConfig.java:685)at org.apache.zookeeper.server.quorum.QuorumPeerConfig.setupQuorumPeerConfig(QuorumPeerConfig.java:659)at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:487)at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:194)at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:125)at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:91)
Invalid config, exiting abnormally
2024-02-26 21:01:09,086 [myid:] - INFO  [main:o.a.z.a.ZKAuditProvider@42] - ZooKeeper audit is disabled.
2024-02-26 21:01:09,087 [myid:] - ERROR [main:o.a.z.u.ServiceUtils@48] - Exiting JVM with code 2

在这里插入图片描述

8.8.Zookeeper集群查看【host129为leader】

zkServer.sh start
zkServer.sh status
ifconfig ens33
机器名称IP服务器角色
host128192.168.147.128follower
host129192.168.147.129leader
host130192.168.147.130follower

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

8.9.模拟集群故障–【host130为leader】

zkServer.sh stopzkServer.sh status

在这里插入图片描述
在这里插入图片描述

8.10.Zookeeper客户端验证

Zookeeper自带客户端工具 zkCli.sh，可以实现连接服务、数据增删改查等功能

zkCli.sh -server 192.168.147.128:2181zkCli.sh -server 192.168.147.130:2181

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

8.11.zkCli客户端支持操作命令

[zk: 192.168.147.128:2181(CONNECTED) 0] help
ZooKeeper -server host:port -client-configuration properties-file cmd argsaddWatch [-m mode] path # optional mode is one of [PERSISTENT, PERSISTENT_RECURSIVE] - default is PERSISTENT_RECURSIVEaddauth scheme authclose config [-c] [-w] [-s]connect host:portcreate [-s] [-e] [-c] [-t ttl] path [data] [acl]delete [-v version] pathdeleteall path [-b batch size]delquota [-n|-b|-N|-B] pathget [-s] [-w] pathgetAcl [-s] pathgetAllChildrenNumber pathgetEphemerals pathhistory listquota pathls [-s] [-w] [-R] pathprintwatches on|offquit reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]redo cmdnoremovewatches path [-c|-d|-a] [-l]set [-s] [-v version] path datasetAcl [-s] [-v version] [-R] path aclsetquota -n|-b|-N|-B val pathstat [-w] pathsync pathversion whoami 
Command not found: Command not found help

endl

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/497004.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

骑砍战团MOD开发(48)-多人联机模式开发环境搭建

骑砍战团MOD开发(48)-多人联机模式开发环境搭建

一.多人联机模式网络拓扑图 <1.局域网网络拓扑图: <2.互联网网络拓扑图: 二.多人联机模式打开方式 #module.ini配置文件新增配置has_multiplayer 1 has_single_player 1 三.服务端创建(引擎内部有CDKey校验,故必须拥有CDKey才可联机) <1.专用服务器和普通服务器: …
阅读更多...
代码随想录训练营第31天 | 理论基础、LeetCode 455.分发饼干、

代码随想录训练营第31天 | 理论基础、LeetCode 455.分发饼干、

目录 理论基础 视频讲解&#xff1a;手把手带你学会操作链表 | 贪心算法理论基础&#xff01;_哔哩哔哩_bilibili LeetCode 455.分发饼干 文章讲解&#xff1a;代码随想录(programmercarl.com) 视频讲解&#xff1a;贪心算法&#xff0c;你想先喂哪个小孩&#xff1f;| Le…
阅读更多...
【k8s配置与存储--持久化存储（PV、PVC、存储类）】

【k8s配置与存储--持久化存储（PV、PVC、存储类）】

1、PV与PVC 介绍 持久卷&#xff08;PersistentVolume&#xff0c;PV&#xff09; 是集群中的一块存储&#xff0c;可以由管理员事先制备&#xff0c; 或者使用存储类&#xff08;Storage Class&#xff09;来动态制备。 持久卷是集群资源&#xff0c;就像节点也是集群资源一样…
阅读更多...
Flutter开发进阶之Flutter Web加载速度优化

Flutter开发进阶之Flutter Web加载速度优化

Flutter开发进阶之Flutter Web加载速度优化 通常使用Flutter开发的web加载速度会比较慢，原因是Flutter web需要加载的资源处于国外，以下是据此所做的相应优化。 一、FlutterWeb打包 flutter build web --web-renderer canvaskit使用新命令打包 flutter build web --web-…
阅读更多...
459. 重复的子字符串（力扣LeetCode）

459. 重复的子字符串（力扣LeetCode）

文章目录 459. 重复的子字符串题目描述暴力移动匹配KMP算法 459. 重复的子字符串 题目描述 给定一个非空的字符串 s &#xff0c;检查是否可以通过由它的一个子串重复多次构成。 示例 1: 输入: s “abab” 输出: true 解释: 可由子串 “ab” 重复两次构成。 示例 2: 输入: …
阅读更多...
高性能Server的基石：reactor反应堆模式

高性能Server的基石：reactor反应堆模式

业务开发同学只关心业务处理流程。但是我们开发的程序都是运行服务端server上&#xff0c;服务端server接收到IO请求后&#xff0c;是如何处理请求并最终进入业务流程的呢&#xff1f;这里不得不提到reactor反应堆模型。reactor反应堆模型来源于大师Doug Lea在 《Sacalable io …
阅读更多...
Fabric V2.5 通用溯源系统——区块链部分设计

Fabric V2.5 通用溯源系统——区块链部分设计

本节对Fabric V2.5 通用溯源系统的区块链部分做一个简单的介绍，包括目录结构、文件作用、设计思路。此节内容免费发布在TrueTechLabs Fabric学习交流QQ群。 购买专栏前请认真阅读：《Fabric项目学习笔记》专栏介绍 TrueTechLabs Fabric学习交流QQ群： 一、区块链部分文件目录简…
阅读更多...
【北京迅为】《iTOP-3588开发板网络环境配置手册》第2章 电脑、开发板直连交换机或路由器

【北京迅为】《iTOP-3588开发板网络环境配置手册》第2章 电脑、开发板直连交换机或路由器

RK3588是一款低功耗、高性能的处理器&#xff0c;适用于基于arm的PC和Edge计算设备、个人移动互联网设备等数字多媒体应用&#xff0c;RK3588支持8K视频编解码&#xff0c;内置GPU可以完全兼容OpenGLES 1.1、2.0和3.2。RK3588引入了新一代完全基于硬件的最大4800万像素ISP&…
阅读更多...
面试必问但日常不愿意看的题

面试必问但日常不愿意看的题

1&#xff0c;做道 this 相关的题&#xff0c;看你对 js 的 this 掌握的如何2&#xff0c;BFC 这样答才完美 1&#xff0c;什么是 BFC&#xff1f;其规则是什么&#xff1f;2&#xff0c;如何触发 BFC3&#xff0c;BFC 到底可以解决什么问题呢3&#xff0c;作用域4&#xff0c;…
阅读更多...
pycallgraph，一个好用的 Python 代码可视化库！

pycallgraph，一个好用的 Python 代码可视化库！

目录 前言 什么是pycallgraph库&#xff1f; 安装pycallgraph库 使用pycallgraph库 pycallgraph库的功能特性 1. 支持多种输出格式 2. 支持定制化配置 3. 支持并发程序分析 示例代码 pycallgraph库的应用场景 1. 性能优化 2. 调试和错误排查 3. 代码维护和重构 4. 项目文…
阅读更多...
代码遗产：探索祖传代码的历史、挑战与现代融合艺术

代码遗产：探索祖传代码的历史、挑战与现代融合艺术

✨✨ 欢迎大家来访Srlua的博文&#xff08;づ&#xffe3;3&#xffe3;&#xff09;づ╭❤&#xff5e;✨✨ &#x1f31f;&#x1f31f; 欢迎各位亲爱的读者&#xff0c;感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua&#xff0c;在这里我会分享我的知识和经验。&#x…
阅读更多...
【算法历练】动态规划副本—路径问题

【算法历练】动态规划副本—路径问题

&#x1f3ac;慕斯主页&#xff1a;修仙—别有洞天 ♈️今日夜电波&#xff1a;宙でおやすみ 1:02━━━━━━️&#x1f49f;──────── 2:45 &#x1f504; ◀️ ⏸ ▶️ ☰ &#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023