【Redis-10】Redis集群的实现原理和实践

 Redis集群是Redis提供的分布式数据库方案，通过分片来进行数据共享，实现复制和故障转移的功能。

1. Redis集群节点

 一个Redis集群由多个节点组成，多个节点可以通过命令实现连接，由独立状态转为集群状态，命令是cluster meet <ip> <port>，比如在A节点上执行此命令，指定B节点的ip地址和端口号，两个节点通过握手的方式，A节点就加入到B节点所在的集群中。

 每一个Redis服务器默认是运行在单机模式下的，如果想开启集群模式，需要在配置文件中开启配置cluster-enabled设置为yes。节点在开启集群模式后，会继续使用单机模式中的服务器组件，比如会继续执行serverCron函数、正常保存键值对数据，进行持久化动作等等。除此之外，单个节点还会继续使用Redis服务器的redisServer结构来保存服务器的状态，使用redisClient来保存客户端的状态。至于跟集群相关的属性，则使用了其他三种属性结构，下面我们来看下这些结构。

1.1 clusterNode结构

 clusterNode结构用来保存节点当前的状态信息，每个节点都会有一个clusterNode结构来保存自身相关状态，包含但不限于节点的创建时间、节点名称、配置纪元、ip和端口号等信息，贴源码来看下：

typedef struct clusterNode {// 节点创建时间mstime_t ctime; /* Node object creation time. */// 节点名称char name[CLUSTER_NAMELEN]; /* Node name, hex string, sha1-size */// 节点目前所处的状态信息int flags;      /* CLUSTER_NODE_... */// 节点当前的配置纪元uint64_t configEpoch; /* Last configEpoch observed for this node */// 节点的ip地址char ip[NET_IP_STR_LEN];  /* Latest known IP address of this node */// 节点的端口号int port;                   /* Latest known clients port of this node */// 与当前节点的连接节点相关的信息（如套接字描述符、输入和输出缓冲区）clusterLink *link;          /* TCP/IP link with this node */...
} clusterNode;

1.2 clusterLink结构

 这个结构表示当前节点的关联节点，保存了连接节点的有关信息，重要的有套接字描述符、输入缓冲区和输出缓冲区等，贴代码看下：

typedef struct clusterLink {// 连接的创建时间mstime_t ctime;             /* Link creation time */// 套接字描述符int fd;                     /* TCP socket file descriptor */// 输出缓冲区，保存着等待发送给其他节点的消息sds sndbuf;                 /* Packet send buffer */// 输入缓冲区，保存着从其他节点接收到的消息sds rcvbuf;                 /* Packet reception buffer */// 与这个链接相关联的节点，如果没有就是空struct clusterNode *node;   /* Node related to this link if any, or NULL */
} clusterLink;

1.3 clusterState结构

 这个结构记录了在当前节点的视角下，集群所处的状态，如集群是上线还是下线的状态、有多少个节点，配置纪元等信息。先来贴代码看一下：

typedef struct clusterState {// 指向代码自身的clusterNode节点clusterNode *myself;  /* This node */// 集群当前的配置纪元uint64_t currentEpoch;// 集群当前状态（上线还是下线）int state;            /* CLUSTER_OK, CLUSTER_FAIL, ... */// 集群中节点的数量int size;             /* Num of master nodes with at least one slot */// 集群中的节点名单（是包含了myself）dict *nodes;          /* Hash table of name -> clusterNode structures */...
} clusterState;

 所以看一下clusterState和clusterNode属性结构的图示，就如下图：

在这里插入图片描述

1.4 cluster meet命令的实现

 通过一个例子，看下这个命令的执行步骤。比如我们现在向节点A发送命令CLUSTER MEET 127.0.0.1 6380。其中6380是B节点：

  1. 首先A节点会创建一个代表B节点clusterNode键值对结构，并加入到自己的clusterState.nodes字典中；
  2. 节点A向节点B(127.0.0.1:6380)发送一条meet消息；
  3. 节点B收到消息，也会在自己这里创建一个代表A的clusterNode键值对结构，并加入到自己的clusterState.nodes字典中；
  4. 节点B向节点A返回一条PONG消息；
  5. 节点A接收到PONG消息时，确认节点B接收成功，并向节点B返回一条PING消息；
  6. 节点B接收到节点A返回的PING消息，双方通信成功，握手动作完成。
  7. 节点B会将节点A的信息传播给集群中的其他节点（通过Gossip协议），并依次与A节点握手，最终A节点被集群中的所有节点所认识。

在这里插入图片描述

2. 槽指派

 Redis集群通过分片的方式来保存数据，集群中整个数据库状态是被拆分为16384个槽(slot)，集群中每个节点都可以处理0~16384个槽位中的数据。需要注意的是，数据库中16384个槽必须都有对应的节点处理时，集群才处于上线的状态，否则集群不可用。我们可以通过CLUSTER INFO这个命令来查看所有槽的信息。
 我们现在通过cluster meet创建一个由三个结点组成的集群，分别是:

  • 127.0.0.1:7001
  • 127.0.0.1:7002
  • 127.0.0.1:7003

 通过cluster nodes命令可以看到三个结点组成的集群情况，如下：

127.0.0.1:7003> cluster nodes
fe75b9fa54c2d657fd9d02ff0bb4b1849 127.0.0.1:7003@17003 myself,master - 0 1671199866000 0 connected
df5936d9fdc9079e1e79b5cc65850be45 127.0.0.1:7001@17001 master - 0 1671199868687 2 connected
c91349f021123rbdd6849c33a9be75331 127.0.0.1:7002@17002 master - 0 1671199867654 1 connected

 我们再通过cluster info命令看一下这个集群的状态，如下，我们可以得出结论，由于槽没有进行任何的指派，所以集群当前是出于下线状态的（cluster_state:fail）。

127.0.0.1:7003> cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3
cluster_size:0
cluster_current_epoch:2
cluster_my_epoch:0
cluster_stats_messages_ping_sent:146
cluster_stats_messages_pong_sent:138
cluster_stats_messages_meet_sent:1
cluster_stats_messages_sent:285
cluster_stats_messages_ping_received:138
cluster_stats_messages_pong_received:147
cluster_stats_messages_received:285

 下面我们通过cluster addslots命令把所有的槽分配给集群中的节点，把0~5000的槽指派给7001节点，把5001~10000的槽指派给7002节点，把10001~16383的槽指派给7003节点。执行的命令是：

$ redis-cli -p 7001 cluster addslots {0..5000} 
$ redis-cli -p 7002 cluster addslots {5001..10000} 
$ redis-cli -p 7003 cluster addslots {10001..16383}

 现在在通过cluster nodes和cluster info来看下节点中槽的分配情况，可以看到按照我们的指派，所有槽都有了对应节点处理，此时集群就处于上线的状态。如下：
在这里插入图片描述

2.1 节点槽指派信息的记录

 在节点中，每个clusterNode结构有两个属性用于记录当前节点正在负责处理的槽，代码：

typedef struct clusterNode {// ...unsigned char slots[CLUSTER_SLOTS/8]; /* slots handled by this node */int numslots;   /* Number of slots handled by this node */// ...
} clusterNode;

 这里slots是一个二进制的位数组，长度是16384（占用2048个字节），每个元素都是0或者1的取值，1代表这个位的槽归属当前节点处理，0表示不负责处理。numslots表示负责的槽的数量，其实就是上面这个数组的长度。下面表示一个实例：
在这里插入图片描述

2.2 槽指派信息的传播

 一个节点除了记录自己的clusterNode负责的槽之外，还会将自己负责的槽通过消息发送给集群中所有的节点，通过此种方式，集群中所有的节点就知道了其余节点负责的槽信息，避免冲突。具体是这样的：

 比如节点A负责0~5000的槽，节点B通过消息得知后，会把自己clusterState.nodes字典中表示A节点的clusterNode找出来，并保存或更新这个节点的slots信息。同理，其他节点也会发送或者接受槽信息，最终达到互相传播的目的。

2.3 记录集群中槽的分配情况

 通过2.2我们其实已经知道了，集群中所有节点负责的槽位，但是redis还通过另一种方式记录了集群中槽位的指派情况，是通过clusterState.slots这个数组来表示的。

typedef struct clusterState {...clusterNode *slots[CLUSTER_SLOTS];...
} clusterState;

 这个slots数组每一项都是一个指针，指向负责这个槽的clusterNode结构。

在这里插入图片描述
 需要区别的是，2.1中的slots数组是在clusterNode结构中，而这里的slots数组是在clusterState结构中。那么为什么要重复记录这个槽指派信息呢？因为仅仅通过2.1中的槽位数组，想知道某个槽归哪个节点负责，需要遍历所有的节点，时间复杂度是O(N)，而通过clusterState.slots，时间复杂度是O(1)。

 所以通过2.1和2.3中的数组，我们了解到：clusterState.slots记录了集群中所有槽的指派信息，而clusterNode.slots记录了这个节点负责的槽指派信息。现在，我们可以通过节点找到它负责的槽，也可以通过槽找到负责它的节点，时间复杂度都是O(1)。

 其实cluster addslots命令可以指派槽也是通过这两个数组实现的，首先把参数中的槽记录到clusterState.slots数组中，然后再把对应的clusterNodes.slots节点数组中的槽从0→1，最后再通过消息广播到集群中的其他节点。

3. 命令执行

 当所有的槽位都有对应的节点处理后，集群上线处于可用状态了。当客户端向集群中某个节点发送命令时，此节点会计算键值对的key经过计算后，是否由本节点处理，计算公式：

slot = CRC16(KEY) & 16383

 也就是经过CRC16算法计算key的校验和，再与16383做位与运算。命令cluster keyslot <key>就是通过此函数计算某个key所属于哪个槽，然后再查询clusterState.slots数组找对应的clusterNode节点。
 这里计算出来的slot可能不属于当前节点处理，那么节点会向客户端返回一个MOVED错误，并引导客户端转向正确的节点，从新发送命令，类似于http的重定向。如果计算的slot属于当前节点处理，会执行命令后返回。
在这里插入图片描述
 MOVED错误命令的格式为：MOVED <slot> <ip> : <port>，其中slot是计算出来的键所在的槽，Ip和port是负责处理此槽的节点。
 集群节点和单机服务器在保存键值对及过期时间的方式是一样的，唯一区别是节点只能使用0号数据库，单机服务器没有此限制。此外，节点还会使用clusterState.slots_to_key来保存键值对和槽位的对应关系，使用跳跃表来实现。跳跃表的每个节点分值是槽号，节点成员是数据库键值，鉴于跳跃表分值可以重复的属性，允许存在槽号相同，键值对不同的情况。

typedef struct clusterState {...rax *slots_to_keys;...
} clusterState;

4. 重新分片

 Redis集群的重新分片可以将指派给节点A的槽重新指派给其他节点，并且槽所属的键值对也会做对应的迁移。这种操作可以在线(online)进行，重新分片的过程中，集群不需要下线，迁移双方的节点都可以继续处理命令。

 重新分片的操作由Redis集群的管理软件redis-trib负责执行，redis-trib通过向源节点和目标节点发送命令来完成重新分片的动作。重新分片是通过clusterState结构的两个属性完成的，看代码如下：

typedef struct clusterState {...clusterNode *migrating_slots_to[CLUSTER_SLOTS];clusterNode *importing_slots_from[CLUSTER_SLOTS];...
} clusterState;

 migrating_slots_to和importing_slots_from是两个指针数组，长度都是16384，数组中每一项都指向一个clusterNode结构。

 migrating_slots_to表示当前节点作为源节点正在向其他节点迁移的槽，数组中每一项要么指向null，要么指向一个正在迁移的目标clusterNode结构。
 importing_slots_from表示当前节点作为目标节点正在接受其他节点迁移的槽，数组中的每一项要么指向null，要么指向一个正在迁移的源clusterNode结构。

4.1 ASK错误

 如果节点收到一个键值对的命令请求，并且key对应的槽正好属于当前节点，那么节点会在自己的数据库中查找key，如果找到的话，节点就会执行命令。

 与之相反，如果没能找到key，节点会检查clusterState.migrating_slots_to[i]对应的槽是不是正在处于迁移的状态，如果是，会向客户端返回ASK的错误，引导客户端到正在导入的目标节点去查找键key。

 这里需要注意MOVED错误和ASK错误：他们都会引导客户端转向其他节点，但是MOVED表示当前key不属于当前节点的槽指派，且集群没有进行重分片的操作；而ASK错误是节点在进行重分配过程中的临时措施，节点在找不到key且节点处于迁移槽的过程中，向客户端返回ASK错误进行重定向的操作。

5. 复制与故障转移

 Redis集群中的节点分为主节点和从节点，其中主节点用来处理槽信息，从节点用来复制主节点的数据，且在主节点下线时，进行故障转移代替主节点继续处理命令请求。

5.1 主从复制

 向集群中一个节点发送命令cluster replicate <node_id>，可以让此节点成为<node_id>指定节点的从节点。接受命令的节点会将clusterState.myself.slaveof设置为目标主节点。

typedef struct clusterNode {...struct clusterNode **slaves; /* pointers to slave nodes */struct clusterNode *slaveof; /* pointer to the master node. Note that it...
} clusterNode;

 slaves 属性数组表示如果当前是主节点（clusterNode.flags=REDIS_NODE_MASTER），数组中的每一项都指向自己的从节点。slaveof 属性表示如果当前是从节点（clusterNode.flags=REDIS_NODE_SLAVE），指针指向自己跟随的主节点。在这里插入图片描述

5.2 故障检测与转移

 当主节点因某些原因下线后，从节点经过选举升级为主节点，开始接替原来主节点处理槽，具体步骤如下：

  1. 主节点下线，从节点有一个会被选中为主节点；
  2. 从节点执行slave of no one，升级为主节点；
  3. 新的主节点会撤销原主节点的槽指派，并将这些槽指派给自己；
  4. 新的主节点会向集群中所有节点广播一个PONG消息，集群中所有节点都将知道此从节点已升级为主节点。
  5. 新的主节点开始接收和处理命令请求，故障转移完成。

 这里比较关键的一点是，主节点下线后，如何在众多的从节点中选举出一个合适的节点作为新的主节点。这里的选举机制和哨兵机制选举领头sentinel原理相似，都是基于Raft算法来实现的。

 集群中每个节点都会定期向其余节点发送 PING消息，以此检测对方是否在线，如果在指定时间内，有节点没有回复PONG消息，那么发送PING消息的节点就会将此节点设置为疑似下线。由于集群中每个节点都是通过互发消息来交换集群中所有节点的状态信息，当一个主节点A感知到集群中一半以上的主节点都将某个主节点B置为疑似下线后，A节点就会将B节点置为已下线，并且向集群中广播一条节点B已下线的消息，其余所有主节点都会将B节点标记已下线。

 当从节点通过消息得知自己复制的主节点已经下线了，此时故障转移就开始了。

  1. 从节点发现自己复制的主节点下线了，会向集群中所有的主节点发送消息，要求接收到消息的主节点将选举的票投给自己；
  2. 所有收到消息的主节点，会检查在此纪元内，自己有没有投过票。如果是首次投票，就将此票投给第一个发送消息的从节点并且记录，后面所有从节点要求投票的消息，都会拒绝；
  3. 发送投票消息的从节点，只要有一个首先收集到了 n/2 + 1 张票时，就会升级为新的主节点，本轮投票结束，所有节点纪元 +1。如果本轮投票，所有从节点都没有收集到足够的票数，会继续进行下一轮直到选举出新的主节点。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/311450.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LabVIEW开发智能火灾自动报警系统

LabVIEW开发智能火灾自动报警系统

LabVIEW开发智能火灾自动报警系统 系统基于LabVIEW虚拟仪器开发&#xff0c;由火灾报警控制器、感温感烟探测器、手动报警器、声光报警器、ZigBee无线通讯节点以及上位机电脑等组成&#xff0c;展示了LabVIEW在智能化火灾预警与控制方面的应用。该系统通过结合二总线协议和Zig…
阅读更多...
动态规划10-多重背包

动态规划10-多重背包

题目描述 有N种物品和一个容量为V 的背包。第i种物品最多有Mi件可用&#xff0c;每件耗费的空间是Ci &#xff0c;价值是Wi 。求解将哪些物品装入背包可使这些物品的耗费的空间 总和不超过背包容量&#xff0c;且价值总和最大。 思路分析 区别于完全背包和简单的01背包问题&…
阅读更多...
天擎离线升级工具使用说明

天擎离线升级工具使用说明

免责声明 本文旨在提供信息和解决问题的建议&#xff0c;观点和建议可能不适用于个人情况&#xff0c;仅供参考&#xff01;&#xff01;&#xff01; 文章中所有敏感信息已经修改&#xff0c;对于因本文中提供的信息而导致的任何直接或间接损失或损害不承担责任。 使用本文中的…
阅读更多...
【C++】STL 容器 - multiset 容器 ( std::multiset 容器简介 | std::multiset 容器 常用操作 api 简介 )

【C++】STL 容器 - multiset 容器 ( std::multiset 容器简介 | std::multiset 容器 常用操作 api 简介 )

文章目录 一、mulset 容器1、std::multiset 容器简介2、代码示例 - multiset 容器 二、std::multiset 容器 常用操作 api 简介1、常用 api 简介2、代码示例 - multiset 容器常用操作 一、mulset 容器 1、std::multiset 容器简介 在 C 语言 的 标准模板库 ( STL , Standard Temp…
阅读更多...
街道洗扫车VR虚拟仿真展示创新了培训方式

街道洗扫车VR虚拟仿真展示创新了培训方式

吸污车用于收集处理城市中的污水、污泥&#xff0c;起到疏通管道的作用&#xff0c;特别是洪涝灾害时是重要的清理工具。吸污车由于内部结构复杂、工艺原理繁琐且造价成本高&#xff0c;因此传统的吸污车作业培训难以达到满意效果。VR虚拟仿真技术的出现&#xff0c;给企业提供…
阅读更多...
多线程编程设计模式(单例,阻塞队列,定时器,线程池)

多线程编程设计模式(单例,阻塞队列,定时器,线程池)

&#x1f495;"只有首先看到事情的可能性&#xff0c;才会有发生的机会。"&#x1f495; 作者&#xff1a;Mylvzi 文章主要内容&#xff1a;多线程编程设计模式(单例,阻塞队列,定时器,线程池) 本文主要讲解多线程编程中常用到的设计模式,包括单例模式,阻塞队列,定时…
阅读更多...
2023年度总结——我关注的技术界大事回顾

2023年度总结——我关注的技术界大事回顾

2023年发生了那么多新闻事件&#xff0c;作为程序员更关注哪些事件呢&#xff0c;这些事件又能引起什么人生感触呢&#xff0c;在这篇文章中你将看到我的想法&#xff0c;那你有什么想法呢 2023技术大事回顾 跟你说话的不一定是人——ChatGPT4开启人工智能新篇章 2023年3月15…
阅读更多...
AI产品经理-借力

AI产品经理-借力

AI产品经理-借力&#xff1a;学会善用供应商改造自有产品 1.整个项目的工作方法 2.项目启动-行业调研 3.项目启动-供应商选型
阅读更多...
Spring Boot快速搭建一个简易商城项目【一展示商城首页篇】

Spring Boot快速搭建一个简易商城项目【一展示商城首页篇】

前言&#xff1a;今天我来使用Spring Boot快速搭建一个简易商城项目以下是相关的思路流程&#xff0c;如果有更好的思路&#xff0c;欢迎大佬评论留言&#xff01;&#xff01;&#xff01; 一&#xff0c;实现思路&#xff1a; 创建 Spring Boot 项目&#xff1a; 使用 Spring…
阅读更多...
是时候将javax替换为Jakarta了

是时候将javax替换为Jakarta了

开始 相信很多朋友在使用新版本的Spring的时候&#xff0c;发现了一些叫jakarta的包&#xff0c;看起来有点陌生。 很多时候&#xff0c;比较纠结不知道该导入哪一个包。 jakarta其实就是之前的javax。 主要JavaEE相关的&#xff0c;从之前javax名字也可以看出来&#xff0…
阅读更多...
Unity坦克大战开发全流程——结束场景——失败界面

Unity坦克大战开发全流程——结束场景——失败界面

结束场景——失败界面 在玩家类中重写死亡函数 在beginPanel中锁定鼠标
阅读更多...
EOS运行启动 keosd 和 nodeos

EOS运行启动 keosd 和 nodeos

EOS运行启动 keosd 和 nodeos 启动keosd:启动nodeos 安装完eosio后keosd和nodeos是一起带着的&#xff0c;我把EOS的运行keosd 和 nodeos官网教程放上来&#xff1a; https://developers.eos.io/welcome/latest/getting-started-guide/local-development-environment/start-nod…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023