分布式之raft一致性算法

1.CAP定理

在一个分布式系统中,CAP三者不可兼得,最多只有两者可以满足正所谓鱼和熊掌不可兼得

  • 一致性 Consistency:所有的节点在同一时间的数据一致
  • 可用性 Availability:服务在正常响应时间内可用
  • 分区容错性 Partition-tolerance:分区故障仍能对外提供一致性或可用性服务。

1.1 一致性问题的是由于分区(多台服务器),因为当服务器多了以后,要遵循一致性就比较麻烦。

1.2 数据冗余可以提供系统的可用性和分区容错性,但是难以满足强一致性,数据冗余指的就是

把数据副本打散在各个分区,但是这并不能满足强一致性是因为:

假设有一个分布式系统,其中有两个节点 A 和 B,它们存储相同的数据副本。考虑下面的场景:

  1. 客户端向节点 A 发送一个写请求,要求将某个数据从 X 修改为 Y。
  2. 节点 A 接收到写请求后,将数据从 X 修改为 Y,并响应客户端写操作成功。
  3. 同时,客户端向节点 B 发送一个读请求,希望获取最新的数据。
  4. 由于数据冗余,节点 B 的数据也应该是最新的。然而,在分布式系统中,节点之间可能存在通信延迟或网络分区等问题,导致数据同步需要一些时间。

若要解决一致性问题,达到强一致性,需要把所有请求全部通过单台服务器处理,很难达到可用性。

因此,对于分布式系统,需要在一致性、可用性和分区容错性间中取舍。从经验上看,可用性或一致性往往是被弱化的对象。

对于高可用的系统来说,往往保留强一致性。因此,计算机界通过共识算法来解决此类问题。

共识算法保证所有的参与者都有相同的认知,即强一致性。常见的共识算法有:

  • paxos 算法:代表 Zookeeper
  • Raft 算法:代表 Etcd

本文主要介绍 Raft 一致性算法。流程演示可参考:Raft 算法流程

2. Raft 基本概念


Raft 算法是主从模型(单 Leader 多 Follower)。所有的请求全部由 Leader 处理。Leader 处理请求时,先追加一条日志,然后把日志同步给 Follower。当写入成功的节点过半后持久化日志,

Raft 节点有三种角色

  • Leader(主副本)
  • Candidate (候选副本)
  • Follower (副副本)

Raft 投票机制

  • 节点不能重复投票。Follower 节点记录自己投过的节点,在一个任期内不会重复投票
  • 一节点一票。Candidate 节点投给自己,Follower 节点投给向自己拉票的 Candidate

Raft 节点间使用的消息有两种

  • RequesetVote:请求其他节点给自己投票,由 Candidate 节点发出
  • AppendEntries:附加条目,条目数量 > 0,日志复制;条目数量 > 0 = 0,心跳信息,由 Leader 节点发出

任期 Term:逻辑时钟值,全局递增,描述一个 Leader 的任期

3、Raft 算法核心

Raft 算法核心是

  • Leader 选举
  • 日志复制

3.1、Leader 选举

Leader 选举流程

集群中的节点刚启动时,所有节点都是 Follower 节点。
当 Leader 发送的心跳超时,Follower 节点自动变成 Candidate 节点,自荐成为选举候选人,并向其他节点发送 RequesetVote 消息
若 Candidate 节点收到过半支持 (n+1)/2 后,变成 Leader 节点。新的 Leader 节点立即向其他节点发送心跳消息 AppendEntries,其他节点重置自己的选举超时时间,并保持 Follower 角色。
当集群节点数是偶数,可能会出现平票的情况,如图所示,两个 Candidate 节点分别得到 2 票,票数均未过半,无法选出 Leader 节点,该现象被称为分割选举 split vote。进入下一轮选举。

为了避免分割选举的现象出现,Raft 算法使用随机选举超时来降低 split vote 出现的概率。这样每个节点成为 Candidate 节点的时间点被错开了,提高了 Leader 节点选举成功的概率。

在选出 Leader 节点后,各个节点需要在最短时间内获取新的 Leader 节点信息,否则选举超时又会进入新一轮选举。因此心跳超时 << 选举超时。

节点的选举时间在收到心跳消息后会重置。如果不重置,节点会频繁发起选举。这样避免了节点频繁发起选举,系统收敛于稳定状态。只要 Leader 持续不断发送心跳信息,Follower 节点就不会成为 Candidate 角色并发起选举。

至此,选举结束,Leader 节点和 Follower 节点间开始日志同步。

任何导致心跳超时的事件,例如:集群启动、Leader 节点宕机、网络分区等,都会导致集群 Leader 选举。
 

Leader 选举控制

  • 心跳超时:Follower 节点在规定时间内没有收到 leader 的心跳消息。
  • 选举超时:随机值,Follower 等待变成 Candidate 的时间。定时器到期,Follower 节点自动成为 Candidate 节点,将选举任期 + 1。

可以这样理解:
Leader 节点是君主,Follower 节点是有野心的臣子,蠢蠢欲动,随时密谋造反。只要 Leader 定期发号施令(心跳消息),Follower 收到心跳消息后,忌惮君主实力,不敢造反(重置选举超时)。
倘若一段时间后 Follower 不再收到君主的消息(心跳超时),Follower 准备妥当后(选举超时)成为 Candidate。自立为王,并胁迫其他 Follower 支持自己(RequesetVote 消息)。一旦获得半数以上的 Follower 支持,新王加冕。
新的 Leader 立刻发送心跳消息,迫使其他 Candidate 放弃造反,继续保持 Follower 身份。
 

 

3.2、日志复制


Raft 算法中,所有来自客户端的数据变更请求都会被当作一个日志条目追加到节点日志中。

日志条目有以下两种状态:

已追加,但是尚未提交(没有持久化)
已提交(持久化)
Raft 算法中的节点维护已提交日志条目索引 commitIndex,小于等于该值的日志条目被认为是已提交,否则就是尚未持久化的数据。
 

 

Raft 日志复制流程

日志追加
日志提交
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-czAthxE1-1678935556629)(云原生.assets/Raft_日志复制.png)]

客户端向 Leader 发送数据变更请求,Leader 节点向自己的日志中追加一条日志,接下来通过 AppendEntries 消息向其他节点同步数据。当超过半数节点(包括 Leader 自己)追加新日志成功后,Leader 节点持久化日志并提交日志,然后再次通过 AppendEntries 消息通知其他节点持久化日志。

一般情况,日志复制需要来回发送两次 AppendEntries 消息(追加日志和提交日志)。需要发送两次的主要原因是需要确保过半追加成功后,系统才能正常提交日志。假设不确认过半追加,当碰到脑裂或者网络分区时,会出现数据严重不一致的问题。

例如:如图所示,Raft 集群中,原 Leader 是 B 节点,其他都是 Follower,任期是 1。在某一时刻出现网络分区,节点 A、B 处在同一分区,A 仍可以接受 B 的心跳信息,保持 Follower。节点 C、D、E 无法收到 B 的心跳消息,选举超时后,选举 C 作为新的 Leader 节点,任期 + 1。
 

 

当客户端连接节点 B 和 C 分别写入,对于分区 A,B,追加日志后,没有收到半数以上节点的确认(2 个节点),无法提交日志;对于分区 C,D,E,追加日志后,收到半数以上节点的确认(3 个节点),提交日志成功。此时,Leader B 和 Leader C 日志冲突。

当网络分区恢复后,Leader B 节点发现 Leader C 节点的任期 Term 的值更高, 降级为 Follower。则节点 A 和 B 丢弃自己的日志,同步 Leader C 的日志消息。此时,日志保持一致。

4、总结


Raft 的读写

所有来自客户端的读写请求,全部由 Leader 节点处理。

Raft 节点的三种状态

Follower:随机选举超时,自动成为 Candidate
Candidate:主动给自己投票,向其他节点广播拉票,当自身选票超过半数以上成为 Leader
Leader:定时向其他节点发送心跳消息,并同步变化信息;若 Leader 发现有比自身更高的任期,则自己立刻下台成为 Follower,并接受新的 Leader 的数据变更同步
Raft 节点的状态变化

Follower -> Candidate:选举超时,自动成为 Candidate
Candidate -> Candidate:本轮选举,开启新一轮选举
Candidate -> Leader:获得半数以上节点的支持
Leader -> Follower:发现更高的任期
Candidate -> Follower:收到 Leader 的心跳消息
 

Follower 处理其他节点发送来的消息

candidate:向第一次接收到的拉票所属 candidate 发送投票,并将自己的任期设置为该 candidate 的任期。同时会重置自身选举超时和心跳超时
Leader:重置自身选举超时和心跳超时


平票后,下一轮选举

选举任期 Term + 1
重新随机一个选举超时
重置上轮的选票


日志复制流程

日志追加:收到数据变更请求,Leader 将追加日志到本地,向其他节点同步数据,待半数以上节点追加成功后,开始日志持久化。
日志提交:Leader 将本地日志持久化,并通知其他节点日志持久化。


Raft 修复脑裂后,如何恢复一致性

发生脑裂:无法接收到心跳消息的分区重新选举新的 Leader 节点,分区内所有节点任期 + 1
修复脑裂:若 Leader 节点发现集群中有比自己任期还高的 Leader 节点, 则降级为 Follower,接收 Leader 的数据同步
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/266828.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全新wifi大师独立版4.0.5分销小程序/专业独立版/带流量主+搭建教程

源码简介&#xff1a; 全新wifi大师独立版4.0.5分销小程序&#xff0c;它是专业独立版&#xff0c;而且是带流量主&#xff0c;有搭建教程。 WiFi大师是一款专为商家店内用户设计的WiFi连接小程序。它的出现有效解决了商家在为客户提供WiFi服务的过程中遇到的各种问题&#x…

大数据篇|Hadoop发展史及介绍

文章目录 一、Hadoop介绍1.1、Hadoop是什么 二、Hadoop发展史2.1、创始人2.2、Hadoop发展历史/起源2.3、Hadoop三大发行版本2.3.1、Apache Hadoop2.3.2、Cloudera Hadoop2.3.3、Hortonworks Hadoop 三、Hadoop组成3.1、Hadoop组成3.2、模块3.3、Hadoop特性优点 一、Hadoop介绍 …

ppt编辑密码如何设置?

大家在PPT中设置了限制编辑&#xff0c;发现后面任然可以编辑文件。那么如何将PPT文件设置成禁止修改模式呢&#xff1f;今天分享几个方法给大家。 方法一 将PPT文件直接保存或者另存为一份文件&#xff0c;在保存时&#xff0c;将文件格式选择为PowerPoint图片演示文稿 方法…

关于uniapp X 的最新消息

uni-app x 是什么&#xff1f; uni-app x&#xff0c;是下一代 uni-app&#xff0c;是一个跨平台应用开发引擎。 uni-app x 没有使用js和webview&#xff0c;它基于 uts 语言。在App端&#xff0c;uts在iOS编译为swift、在Android编译为kotlin&#xff0c;完全达到了原生应用的…

【基于LSTM的股票数据预测与分类】

基于LSTM的股票数据预测与分类 引言数据集与爬取数据处理与可视化股票预测与分类Flask页面搭建股票推荐功能创新点结论 引言 股票市场波动剧烈&#xff0c;对于投资者而言&#xff0c;精准的数据预测和分类是制定明智决策的基础。本文将介绍一种基于长短时记忆网络&#xff08…

安装EfficientSAM过程记录

1. 可以从github或者hugging face下载测试程序 2. 最好用Hugging face中app.py进行测试&#xff0c;github中的例程EfficientSAM_example.ipynb的程序有些BUG需要自己调试&#xff0c;需要修改两处错误。 3. 主要以Hugging face进行讲解&#xff1a; 建立虚拟环境ESAM&#…

Vue H5项目,怎么引入uni.webview sdk,调用uni postMessage实现手机蓝牙连接打印功能(uniapp)

前言 目前公司Vue H5项目&#xff0c;用webview打包成APP&#xff0c;现产品提出这样打包出来的app运行较慢&#xff0c;需要用uniapp方式&#xff08;即使用HBuilder编辑器来打包H5&#xff09;来打包&#xff0c;那需要的基座就不是安卓的基座而是uniapp的基座&#xff0c;而…

使用BeautifulSoup 4和Pillow合并网页图片到一个PDF:一种高效的方式来处理网页图像

背景 ​ 网页上的培训材料&#xff0c;内容全是PPT页面图片。直接通过浏览器打印&#xff0c;会存在只打印第一页&#xff0c;并且把浏览器上无效信息也打印出来情况。但目标是希望将页面图片全部打印为pdf形式。 实现方案 利用网页“另存为”&#xff0c;将页面内所有图片资…

散点图直方图折线图的替代

散点图直方图折线图的替代 seaborn官网 数据科学数据可视化&#xff0c;散点图 直方图 折线图的新方法 1.hexbinplot https://seaborn.pydata.org/examples/hexbin marginals.html相当于散点图做了聚合/分箱&#xff0c;使数据的分布展示更明显。Library: seaborn 2.瀑布图展示…

大数据可视化推荐项目——基于Python/Django的电影评论可视化分析推荐系统的设计与实现

大数据可视化推荐项目——基于Python/Django的电影评论可视化分析推荐系统的设计与实现 技术栈&#xff1a;大数据爬虫/机器学习算法/数据分析与挖掘/大数据echarts可视化/Django框架/Mysql 摘要&#xff1a;本文介绍了一个基于大数据可视化的电影评论分析推荐系统&#xff0…

Go语言学习:第1天

一、为什么开始学go语言 我自己是做测试的&#xff0c;所测试项目使用的是go语言。开始学习go语言的原因有两个&#xff1a;一方面&#xff0c;为了更好的做好工作&#xff1b; 另一方面&#xff0c;为了提高自己的核心竞争力。 二、第1天学习到的内容 2.1 Go是怎么解决包依…

.NET 材料检测系统崩溃分析

Windbg 分析 1. 到底是哪里的崩溃 一直跟踪我这个系列的朋友应该知道分析崩溃第一个命令就是 !analyze -v &#xff0c;让windbg帮我们自动化异常分析。 0:033> !analyze -v CONTEXT: (.ecxr) rax00000039cccff2d7 rbx00000039c85fc2b0 rcx00000039cccff2d8 rdx000000000…