redis集群-主从复制

目录

    • 一、主从复制概念
    • 二、单机安装Redis
      • 2.1、安装 Redis 需要的软件 gcc 和 tcl
      • 2.2、上传Redis压缩包
      • 2.3、编辑 redis.conf 文件
      • 2.4、执行安装 Redis 命令
      • 2.5、注意防火墙配置
    • 三、主从复制 - 环境搭建
      • 3.1、配置一个 master 节点,两个 slave 节点
      • 3.2、配置 redis6379.conf (master)
      • 3.3、配置 redis6380.conf(slave)、redis6381.conf(slave)
      • 3.4、基本操作命令
        • 3.4.1、info replication
        • 3.4.2、slaveof 192.168.56.105 6380
    • 四、常用三招
      • 4.1、一主二仆
        • 4.1.1、方案1 配置文件指定主机从机
          • 4.1.1.1、配置两个从机 redis6380.conf 和 redis6381.conf
          • 4.1.1.2、依次启动
          • 4.1.1.3、主从关系查看
        • 4.1.2、方案2 命令操作手动指定(这种方式重启之后就无效了)
      • 4.2、薪火相传
      • 4.3、反客为主
    • 五、复制原理
      • 5.1、全量同步(第一次连接或偏移量超出back_log缓冲区)
      • 5.2、增量同步(非第一次)
      • 5.3、复制原理整体概述
      • 5.4、主从复制的缺点

一、主从复制概念

  1. 概念:主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master/Leader),后者称为从节点(Slave/Follower)数据的复制是单向的!只能由主节点复制到从节点(主节点以写为主、从节点以读为主)
  2. 默认情况下,每台Redis服务器都是主节点,一个主节点可以有0个或者多个从节点,但每个从节点只能有一个主节点
  3. 主从复制作用
    1. 读写分离,性能扩展(主节点负责写入、从节点负责读取)
    2. 容灾快速恢复(一般建议配置一主多从的方式、当从服务器A出现问题,可以快速切换到从服务器B)
    3. 如果当主服务器出现问题呢?这个时候可以配置一主多从集群模式A、B,A、B之间建立某种联系,当主A出现问题,马上可以切换到主B

image.png

二、单机安装Redis

2.1、安装 Redis 需要的软件 gcc 和 tcl

安装 gcc :

yum install gcc

安装 tcl :

yun install tcl

image.png
image.png

2.2、上传Redis压缩包

image.png

解压缩文件:

tar -zxvf redis-6.2.4.tar.gz

image.png

2.3、编辑 redis.conf 文件

  1. 修改端口号,设置任意 IP 都可以访问
    1. image.png
  2. 给 Redis 设置密码(在后续有配置)

2.4、执行安装 Redis 命令

进入到 redis 解压目录 ,执行命令

make && make install# 启动命令
redis-server redis.conf# 使用redis-cli连接redis
# -p 指定连接的端口号
redis-cli -p 6379# 指定 redis
redis-cli shutdown
# 需要密码认证 redis 是密码
redis-cli -a redis shutdown# 在 redis-cli 中 输入 也可以关闭 Redis
shutdownCtril + c

关闭命令:image.png
安装成功的结果:
image.png

2.5、注意防火墙配置

启动: systemctl start firewalld
关闭: systemctl stop firewalld
查看状态: systemctl status firewalld 
开机禁用  : systemctl disable firewalld
开机启用  : systemctl enable firewalld添加 :firewall-cmd --zone=public --add-port=80/tcp --permanent    (--permanent永久生效,没有此参数重启后失效)
重新载入: firewall-cmd --reload
查看: firewall-cmd --zone= public --query-port=80/tcp
删除: firewall-cmd --zone= public --remove-port=80/tcp --permanent

三、主从复制 - 环境搭建

image.png

**注意:**第 11 步,是从机需要配的,主机不需要配置;(前10步是主从都需要配置的;)

3.1、配置一个 master 节点,两个 slave 节点

备份好redis.conf文件;
复制文件的命令:

# 拷贝命令
cp redis-6.2.4/redis.conf redis.conf# 重命名文件名
mv redis.conf redis6379.conf# 查看关于redis正在运行的进程
ps -ef | grep redis

操作中包括这三个配置文件:redis6379.conf(master)、redis6380.conf (slave)、redis6381.conf (slave)

3.2、配置 redis6379.conf (master)

image.png

  1. 开启 daemonize yes

daemonize yes:以守护进程的方式运行,默认是 no,我们需要自己开启为yes,如果以后台的方式运行,我们就需要指定一个 pid 文件! pidfile /var/run/redis_6379.pid
image.png

**注意:**如果以后台的方式运行,我们就需要指定一个 pid 文件!

  1. 注释点 bind 127.0.0.1 或者 改为 bind 0.0.0.0

#bind 127.0.0.1 //不绑定任何网络接口,只连接本地
image.png

  1. 关闭 Redis 保护 protected-mode no

protected-mode:yes 是否开启保护模式,Redis默认开启,如果没有设置bind的IP地址和Redis密码,那么服务就会默认只能在本机运行
1.保护你的redis实例,防止被访问和利用
2.大白话:只有本地才能操作这个实例,外网不行
image.png

  1. 指定端口号 port 6379

image.png

  1. 指定当前工作目录 dir

持久化文件保存的目录,默认保存在当前目录下
dir /root/redis/work # 这个配置会将该appendfilename "appendonly.aof"这种配置的文件名写到/root/redis/work这个目录下
image.png

  1. pid 文件名字 pidfile

image.png

  1. log 文件名字 logfile

image.png

  1. 设置redis 密码

image.png

  1. 指定 rdb 持久化的文件名

image.png

  1. 开启 AOF 持久化

1.appendonly是一个用于配置是否开启AOF(Append Only File)持久化方式的参数。
2.默认情况下,appendonly的值为no,表示未启用AOF。
3.AOF持久化是一种将写操作追加到文件末尾的方式,它记录了所有对Redis数据集的写操作命令。通过启用AOF,Redis可以在重新启动时根据AOF文件的内容来恢复数据集。如果您希望启用AOF持久化方式,可以通过编辑redis.conf文件来完成。找到名为appendonly的行,并将其值修改为yes
image.png

  1. 开启 logo (非必须)

开启这个配置,在日志文件中会打印 Redis 图像
image.png
展示:
image.png

3.3、配置 redis6380.conf(slave)、redis6381.conf(slave)

配置完 3.2 十个步骤之后,这两个文件需要另外配置 要连接的主节点的 ip ,端口 ,密码;

  1. 从机配置上主机的ip、端口

image.png

  1. 配置主节点的redis密码

image.png

3.4、基本操作命令

# 查看复制节点的主从关系和配置信息
info replication # replicaof/slaveof 这两个一样,一般写入进 redis.conf 配置文件内,
# 在运行期间修改slave节点的信息,如果该数据库已经某个数据库的从数据库,
# 那么会停止和原主数据库的同步关系转而和新的主数据库同步
replicaof/slaveof 主库IP 主库端口# 使当前数据库停止与其他数据库的同步,升级为主数据库
replicaof/slaveof no one 
3.4.1、info replication

主节点:
image.png
从节点:
image.png

3.4.2、slaveof 192.168.56.105 6380

6381 这个执行 slaveof 语句
切换主节点 到 6380 的情况
执行命令之后 6381的状态:
image.png
执行命令之后 6380的状态:
image.png

四、常用三招

4.1、一主二仆

4.1.1、方案1 配置文件指定主机从机
4.1.1.1、配置两个从机 redis6380.conf 和 redis6381.conf

设置主机IP、端口、和redis密码;
image.png

4.1.1.2、依次启动
redis6379.confredis-server /root/redis/redis6379.confredis-cli -a redis -p 6379redis6380.confredis-server /root/redis/redis6380.confredis-cli -a redis -p 6380redis6381.confredis-server /root/redis/redis6381.confredis-cli -a redis -p 6380
4.1.1.3、主从关系查看
  1. 日志查看
    1. 主机

image.png
b. 从机(以一台为例)
image.png

  1. 命令查看

info replication

  1. 主机1. ![image.png](https://cdn.nlark.com/yuque/0/2023/png/23025291/1700126641408-cced335d-6138-48cc-a5b8-47606f38f9fc.png#averageHue=%23272523&clientId=ud9eea62a-1954-4&from=paste&height=266&id=ev4b6&originHeight=332&originWidth=689&originalType=binary&ratio=1.25&rotation=0&showTitle=false&size=34365&status=done&style=none&taskId=ub2223183-5389-499b-a10e-24bffe077b5&title=&width=551.2)2. 从机1. ![image.png](https://cdn.nlark.com/yuque/0/2023/png/23025291/1700126670214-b6ac1adc-694b-4372-a820-57c0b89c1588.png#averageHue=%23262422&clientId=ud9eea62a-1954-4&from=paste&height=365&id=CDnXb&originHeight=456&originWidth=605&originalType=binary&ratio=1.25&rotation=0&showTitle=false&size=39514&status=done&style=none&taskId=uce2bf93b-819e-4879-a445-1e2776352f6&title=&width=484)
4.1.2、方案2 命令操作手动指定(这种方式重启之后就无效了)

手动指定的配置:
https://tangzhi.blog.csdn.net/article/details/126686223

4.2、薪火相传

  • 上一个slave可以是下一个slave的master,slave同样可以接收其他slaves的连接和同步请求,那么该slave作为了链条中下一个的master,可以有效减轻主master的写压力
  • 中途变更转向:会清除之前的数据,重新建立拷贝最新的
  • slaveof/replicaof 新主库IP 新主库端口

4.3、反客为主

  • slaveof/replicaof no one 使当前数据库停止与其他数据库的同步,转成主数据库

五、复制原理

5.1、全量同步(第一次连接或偏移量超出back_log缓冲区)

第一次连接全量同步的情况:image.png
复制偏移量超出 back_log 缓冲区,进行全量同步的情况:

  • rpid : 数据集 id
  • offset : 复制偏移量(replication offset)
  • 与第一次连接全量同步的差别为,slave 节点在第一次发送请求时,发送的是 数据集id (rpid) 和 offset (复制偏移量);

image.png

  • Redis 通过同步(sync)和指令传播(command propagate)两个操作完成同步;
  • 同步(sync):将从节点的数据库状态更新至与主节点的数据库状态一直的操作;

而全量同步,是发生在下面这两个时间节点的:

  1. 当 slave 节点第一次连接 master 节点时,会进行全量同步;
  2. 当 slave 节点断开时间过长,back_log 中的 offset 已经被覆盖了,会进行全量同步;
    1. back_log 的结构是一个环形缓冲区,用来存储主节点向从节点传递的命令,它的大小是固定的,可存储的命令有限,超出的部分将会被删除;从而导致上边的第二点;
      1. image.png

全量同步大概有以下三个阶段:

  1. 阶段一:slave 从节点 通过 replicaof/slaveof 命令与master节点建立连接
    1. slave 节点发送同步请求(SYNC指令);
    2. master 节点收到同步请求(SYNC指令),判断 slave 节点是不是第一次同步;
    3. 如果是第一次同步,则返回master节点的版本信息;进行slave节点的初始化;
  2. 阶段二:master节点进行数据持久化,并发送给slave节点
    1. master 节点执行 bgsave ,生成 RDB 文件;
      1. 在生成 RDB 文件期间,还会记录下该期间执行的所有命令,记录在back_log里面;
    2. master 节点把生成的 RDB 文件,发送给 slave 节点;
    3. slave 节点会先清空本地的数据,然后根据 RDB 文件加载数据;
  3. 阶段三:把在生成 RDB 文件期间执行的命令(back_log) 发送给 slave 节点;
    1. master 节点 将 生成RDB文件期间执行的命令 (存储在 back_log文件中),发送给 slave节点;
    2. slave 节点执行 back_log 中的命令,同时修改偏移量 (replication offset);

注意:
在Redis的主从复制中,当从节点连接到主节点并请求进行复制时,主节点会返回给从节点版本信息,其中包括以下内容:

  1. Redis 服务器的版本信息:主节点会向从节点发送自己的Redis服务器版本信息,包括主节点正在运行的Redis版本号。
  2. 主节点的复制偏移量(replication offset):这是指主节点当前数据库中最后一次执行的命令的复制偏移量,从节点将会使用这个偏移量来进行部分同步(PSYNC)操作,以便快速地获取到主节点数据的副本。

从节点在接收到主节点的版本信息之后,将会使用这些信息来进行初始化同步或部分重同步,以确保从节点与主节点的数据一致性。

5.2、增量同步(非第一次)

image.png
image.png

发生增量同步的时间节点:

  • slave 节点断开又恢复了,且断开的时间短(在master节点的 back_log 文件中能够找到 复制偏移量(replication offset)的时候)【如果在找不到复制偏移量的话则会执行全量复制】;

增量同步有两个阶段:

  1. 第一阶段:slave 阶段重启,重新连接master节点
    1. slave 节点重新连接 master 节点后,会向master 节点发送 数据集id(rpid), 偏移量(offset)
    2. master 节点判断 数据集id(rpid) 是否相同;
    3. 如果数据集相同,则说明不是第一访问,恢复给 slave 节点 continue ;
  2. 第二阶段:同步数据 (对比 back_log 抽象图)
    1. master 节点去back_log中获取slave节点宕机后执行的命令(通过比对 slave节点传过来的 offset )
    2. master 节点向 slave 节点发送,offset 之后的命令;
    3. slave 节点执行命令,保证数据一致性;

5.3、复制原理整体概述

  1. slave 启动,同步初请
    • slave 启动成功连接到 master 后会发送一个 sync 命令
    • slave 首次全新连接 master ,一次完全同步(全量复制)将被自动执行,slave 自身原有数据会被master 数据覆盖清除;
  2. 首次连接,全量复制
    • master节点收到sync命令后会在后台开始保存快照(即RDB持久化,主从复制会触发RDB),同时收集所有接收到的用于修改数据集命令缓存起来,master节点执行RDB持久化后,master将rdb快照文件和缓存的命令发送到所有slave,已完成一次完全同步
    • 而slave服务在接收到数据库文件数据后,将其存盘并加载到内存中,从而完成复制初始化
  3. 心跳持续,保持通信
    • repl-ping-replica-period 10
    • master发出PING包的周期,默认是10秒
  4. 进入平稳,增量复制
    • master 继续将新的所有收集到的修改命令自动一次传给slave,完成同步
  5. 从机下线,重连续传
    • master 会检查backlog里面的offset,master和slave都会保存一个复制的offset 还有一个masterId
    • offset 是保存在backlog 中的。master只会把已经复制的offset后面的数据赋值给slave,类似断电续传

5.4、主从复制的缺点

  1. 复制延时,信号衰减
    1. 由于所有的写操作都是先在Master上操作,然后同步更新到Slave上,所以从Master同步到Slave机器有一定的延迟,当系统很繁忙的时候,延迟问题会更加严重,Slave机器数量的增加也会使这个问题更加严重。

image.png

  1. master挂了
    1. 默认情况下不会在slave节点自动重选一个master
    2. 需要人工干预

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/188318.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构-哈希表(C语言)

哈希表的概念 哈希表就是: “将记录的存储位置与它的关键字之间建立一个对应关系,使每个关键字和一个唯一的存储位置对 应。” 哈希表又称:“散列法”、“杂凑法”、“关键字:地址法”。 哈希表思想 基本思想是在关键字和存…

kibana8.10.4简单使用

1.创建discovery里的日志项目 点击stack management 选择kibana里的数据视图,右上角创建数据视图,输入名称。索引范围。例子 example-* ,匹配以example-开头的所有index。 然后点击 保存数据视图到kibana, 2.Kibana多用户创建及角色权限控…

R语言绘制精美图形 | 火山图 | 学习笔记

一边学习,一边总结,一边分享! 教程图形 前言 最近的事情较多,教程更新实在是跟不上,主要原因是自己没有太多时间来学习和整理相关的内容。一般在下半年基本都是非常忙,所有一个人的精力和时间有限&#x…

springMvc中的拦截器【巩固】

先实现下想要的拦截器功能 package com.hmdp.utils;import com.hmdp.entity.User; import org.springframework.web.servlet.HandlerInterceptor;import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import javax.servlet.http.Ht…

AVL树的底层实现

文章目录 什么是AVL树?平衡因子Node节点插入新节点插入较高左子树的左侧新节点插入较高左子树的右侧新节点插入较高右子树的左侧新节点插入较高右子树的右侧 验证是否为平衡树二叉树的高度AVL的性能 什么是AVL树? AVL树又称平衡二叉搜索树,相…

YOLOv3 学习记录

文章目录 简介整体介绍整体架构图 网络架构的改进Backbone 的改进FPNAnchor 机制 坐标表示与样本匹配目标边界框的预测正负样本匹配 损失函数 简介 关注目标在哪里 目标是什么 目标检测的发展路径: proposal 两阶段 --> anchor-base/ anchor-free --> nms f…

SSM框架

SSM SSM框架说明SpringBootMyBatis整合MyBatis数据库中表的设计Pojo对象设计Dao接口设计Dao单元方法进行测试 XML管理整合MyBatis框架映射配置文件的位置XML配置SQL标签常用的SQL标签 动态SQL语句动态删除数据动态修改数据 SSM框架说明 Spring 指 Spring Framework&#xff0c…

【入门篇】1.1 redis 基础数据类型详解和示例

文章目录 1. 简介2. Redis基础数据类型2.1 String类型场景示例常用命令示例 2.2 List类型场景示例 2.3 Set类型场景示例 2.4 Hash类型场景示例 2.5 Sorted Set类型 3. 使用Redis存储数据的注意事项1. 内存管理2. 数据持久化3. 高并发下的性能考量 4. 参考资料 1. 简介 Redis概…

web环境实现一键式安装启动

部署的痛点 一般在客户环境安装web环境,少说需要花费1-2小时。一般需要安装jdk、nginx、mysql、redis等 等你接触到了inno setup ,你有可能会节约更少的时间去部署。也有可能是一个不懂技术的人,都可以进行操作的。废话不多说,接…

Unity Text文本首行缩进两个字符的方法

Text文本首行缩进两个字符的方法比较简单。通过代码把"\u3000\u3000"加到文本字符串前面即可。 参考如下代码: TMPtext1.text "\u3000\u3000" "这是一段有首行缩进的文本内容。\n这是第二行"; 运行效果如下图所示: 虽…

人工智能引领环境保护的新浪潮:技术应用及其影响

在全球范围内,环境保护已经成为一个迫切的话题。随着人工智能技术的发展,它开始在环境保护领域扮演越来越重要的角色。AI不仅能够帮助更有效地监测环境变化,还能提出解决方案来应对环境问题。 污染监测与控制: AI系统可以分析来自…

基于STC12C5A60S2系列1T 8051单片机的模数芯片ADC0832实现模数转换应用

基于STC12C5A60S2系列1T 8051单片的模数芯片ADC0832实现模数转换应用 STC12C5A60S2系列1T 8051单片机管脚图STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式及配置STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式介绍模数芯片ADC0832介绍通过模数芯片ADC0832把电压模…