Redis 之集群模式

一 集群原理

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。

集群由多个节点(Node)组成，Redis的数据分布在这些节点中。

集群中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；从节点只进行主

节点数据和状态信息的复制。

Cluster模式是Redis的一种高级集群模式，它通过数据分片和分布式存储实现了负载均衡和高可用

性。

在Cluster模式下，Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据，称为

槽位。通过对数据的分片，Cluster模式可以突破单节点的内存限制，实现更大规模的数据存储。

1 集群的作用

（1）数据分区：

数据分区(或称数据分片)是集群最核心的功能。

集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一

方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。

Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，

bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长

时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

（2）高可用：

集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障

时，集群仍然可以对外提供服务。

2 Redis集群的作用和优势

高可用性：Redis集群可以在某个节点发生故障时，自动进行故障转移，保证服务的持续可用。

负载均衡：Redis集群可以将客户端请求分发到不同的节点上，有效地分摊节点的压力，提高系统

的整体性能。

容灾恢复：通过主从复制或哨兵模式，Redis集群可以在主节点出现故障时，快速切换到从节点，

实现业务的无缝切换。

数据分片：在Cluster模式下，Redis集群可以将数据分散在不同的节点上，从而突破单节点内存限

制，实现更大规模的数据存储。

易于扩展：Redis集群可以根据业务需求和系统负载，动态地添加或移除节点，实现水平扩展

3 Redis集群的数据分片：

  • Redis集群引入了哈希槽的概念
  • Redis集群有16384个哈希槽（编号0-16383）
  • 集群的每个节点负责一部分哈希槽

每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽

所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作

4 以3个节点组成的集群为例：

  • 节点A包含0到5460号哈希槽
  • 节点B包含5461到10922号哈希槽
  • 节点C包含10923到16383号哈希槽

5 Redis集群的主从复制模型

集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽

而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节

点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用。

6 Redis集群的工作原理

集群有多组节点，每组节点负责一部分哈希槽。

读写数据时，先针对key根据crc16的算法得出一个结果，然后把结果对 16384 取余。通过这个值

去找到对应的哈希槽的节点，进行数据读写。

集群每组节点内做主从复制，当主节点宕机的时候，就会启用从节点。主节点负责读写请求和集群

信息的维护；从节点负责主节点数据和状态信息的复制。

二 搭建Redis 群集模式

redis的集群一般需要6个节点，3主3从。方便起见，这里所有节点在同一台服务器上模拟：

1 以端口号进行区分：

3个主节点端口号：6001/6002/6003，

对应的从节点端口号：6004/6005/6006。

     cluster              ①读写可以负载均衡 ②自动故障转移   ③突破了单机存储限制

  master作用          ①可读、可写            ②利用分布式特性 存储上限  ③进行故障转移

    slave作用           ①同步自身的master ②提供可读      ③冗余 备份 准备 顶替

2 搭建redis 集群

①关闭防火墙 进行解压
[root@mcb-11-14 ~]# cd /opt
[root@mcb-11-14 opt]# ls
rh
[root@mcb-11-14 opt]# rz -E
rz waiting to receive.
[root@mcb-11-14 opt]# ls
redis-5.0.7.tar.gz  rh
[root@mcb-11-14 opt]# tar zxvf r
redis-5.0.7.tar.gz  rh/                 
[root@mcb-11-14 opt]# tar zxvf redis-5.0.7.tar.gz 
[root@mcb-11-14 opt]# cd redis-5.0.7/
[root@mcb-11-14 redis-5.0.7]# ls
00-RELEASENOTES  COPYING  Makefile   redis.conf       runtest-moduleapi  src
BUGS             deps     MANIFESTO  runtest          runtest-sentinel   tests
CONTRIBUTING     INSTALL  README.md  runtest-cluster  sentinel.conf      utils
[root@mcb-11-14 redis-5.0.7]# rm -rf /var/run/yum.pid
[root@mcb-11-14 redis-5.0.7]# yum install gcc gcc-c++ make -y
[root@mcb-11-14 redis-5.0.7]# make PREFIX=/usr/local/redis install
[root@mcb-11-14 redis-5.0.7]# cd utils/
[root@mcb-11-14 utils]# ls
build-static-symbols.tcl  graphs             redis-copy.rb          speed-regression.tcl
cluster_fail_time.tcl     hashtable          redis_init_script      whatisdoing.sh
corrupt_rdb.c             hyperloglog        redis_init_script.tpl
create-cluster            install_server.sh  redis-sha1.rb
generate-command-help.rb  lru                releasetools
[root@mcb-11-14 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis serverPlease select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
[root@mcb-11-14 utils]# /etc/init.d/redis_6379 stop
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
[root@mcb-11-14 utils]# cd /etc/redis
[root@mcb-11-14 redis]# mkdir -p redis-cluster/redis600{1..6}
[root@mcb-11-14 redis6006]# ln -s /usr/local/redis/bin/* /usr/local/bin/ #不做这一步，会报错

②搭建Redis 群集模式 
[root@mcb-11-14 utils]# cd /etc/redis/
[root@mcb-11-14 redis]# ls
6379.conf
[root@mcb-11-14 redis]# cd redis-cluster/
[root@mcb-11-14 redis-cluster]# ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@mcb-11-14 redis-cluster]# cd ..
[root@mcb-11-14 redis]# ls
6379.conf  redis-cluster
[root@mcb-11-14 redis]# for i in {1..6}
> do
> cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
> cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
> done
[root@mcb-11-14 redis]# ll redis-cluster/redis6001
总用量 12704
-rwxr-xr-x. 1 root root 4808824 4月   7 14:29 redis-cli
-rw-r--r--. 1 root root   61797 4月   7 14:29 redis.conf
-rwxr-xr-x. 1 root root 8127288 4月   7 14:29 redis-server
[root@mcb-11-14 redis]# ls
6379.conf  redis-cluster
[root@mcb-11-14 redis]# cd redis-cluster/
[root@mcb-11-14 redis-cluster]# ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@mcb-11-14 redis-cluster]# cd redis6001 
[root@mcb-11-14 redis6001]# ls
redis-cli  redis.conf  redis-server
[root@mcb-11-14 redis6001]# vim redis.conf
③编译master节点配置文件
#bind 127.0.0.1							#69行，注释掉bind 项，默认监听所有网卡
protected-mode no						#88行，修改，关闭保护模式
port 6001								#92行，修改，redis监听端口，
daemonize yes							#136行，开启守护进程，以独立进程启动
cluster-enabled yes						#832行，取消注释，开启群集功能
cluster-config-file nodes-6001.conf		#840行，取消注释，群集名称文件设置
cluster-node-timeout 15000				#846行，取消注释群集超时时间设置
appendonly yes							#700行，修改，开启AOF持久化

[root@mcb-11-14 redis6001]# vim redis.conf
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6002
cp：是否覆盖"../redis6002/redis.conf"？ yes
[root@mcb-11-14 redis6001]# vim ../redis6002/redis.conf

修改文本内容 

92 port 6002840  cluster-config-file nodes-6002.conf

继续拷贝

[root@mcb-11-14 redis6001]# cp redis.conf ../redis6003
cp：是否覆盖"../redis6003/redis.conf"？ yes
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6004
cp：是否覆盖"../redis6004/redis.conf"？ yes
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6005
cp：是否覆盖"../redis6005/redis.conf"？ yes
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6006
cp：是否覆盖"../redis6006/redis.conf"？ yes

92行 port 6002840行 cluster-config-file nodes-6002.conf

[root@mcb-11-14 redis6001]# vim ../redis6003/redis.conf  

92行 port 6003840行 cluster-config-file nodes-6003.conf

[root@mcb-11-14 redis6001]# vim ../redis6004/redis.conf  

 92行 port 6004840行  cluster-config-file nodes-6004.conf

[root@mcb-11-14 redis6001]# vim ../redis6005/redis.conf  

92 port 6005840  cluster-config-file nodes-6005.conf

[root@mcb-11-14 redis6001]# vim ../redis6006/redis.conf  

92 port 6006
840  cluster-config-file nodes-6006.conf
④启动redis节点 
[root@mcb-11-14 redis-cluster]# for d in {1..6}
> do
> cd /etc/redis/redis-cluster/redis600$d
> redis-server redis.conf
> done

 这样也行

[root@mcb-11-14 redis6006]# ln -s /usr/local/redis/bin/* /usr/local/bin/
[root@mcb-11-14 redis6006]# for d in {1..6}; do cd /etc/redis/redis-cluster/redis600$d; redis-server redis.conf; done
10398:C 07 Apr 2024 17:25:52.747 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10398:C 07 Apr 2024 17:25:52.747 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10398, just started
10398:C 07 Apr 2024 17:25:52.747 # Configuration loaded
10400:C 07 Apr 2024 17:25:52.754 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10400:C 07 Apr 2024 17:25:52.754 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10400, just started
10400:C 07 Apr 2024 17:25:52.754 # Configuration loaded
10402:C 07 Apr 2024 17:25:52.762 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10402:C 07 Apr 2024 17:25:52.762 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10402, just started
10402:C 07 Apr 2024 17:25:52.762 # Configuration loaded
10410:C 07 Apr 2024 17:25:52.770 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10410:C 07 Apr 2024 17:25:52.770 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10410, just started
10410:C 07 Apr 2024 17:25:52.770 # Configuration loaded
10415:C 07 Apr 2024 17:25:52.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10415:C 07 Apr 2024 17:25:52.775 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10415, just started
10415:C 07 Apr 2024 17:25:52.775 # Configuration loaded
10420:C 07 Apr 2024 17:25:52.779 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10420:C 07 Apr 2024 17:25:52.779 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10420, just started
10420:C 07 Apr 2024 17:25:52.779 # Configuration loaded


[root@mcb-11-14 redis6006]# ps -ef | grep redis
root      10399      1  0 17:25 ?        00:00:00 redis-server *:6001 [cluster]
root      10401      1  0 17:25 ?        00:00:00 redis-server *:6002 [cluster]
root      10409      1  0 17:25 ?        00:00:00 redis-server *:6003 [cluster]
root      10414      1  0 17:25 ?        00:00:00 redis-server *:6004 [cluster]
root      10419      1  0 17:25 ?        00:00:00 redis-server *:6005 [cluster]
root      10424      1  0 17:25 ?        00:00:00 redis-server *:6006 [cluster]
root      10493   3574  0 17:33 pts/1    00:00:00 grep --color=auto redis
⑤启动集群
[root@mcb-11-14 redis6006]# redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 127.0.0.1:6005 to 127.0.0.1:6001
Adding replica 127.0.0.1:6006 to 127.0.0.1:6002
Adding replica 127.0.0.1:6004 to 127.0.0.1:6003
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: ab3223cc1465bb79bd5310b5044286eab261c593 127.0.0.1:6001slots:[0-5460] (5461 slots) master
M: 7843a1fe4eeb70acc4915176284c3b1e583a6f65 127.0.0.1:6002slots:[5461-10922] (5462 slots) master
M: c8bafedba2552472b5bfc1725d7e30879bda2302 127.0.0.1:6003slots:[10923-16383] (5461 slots) master
S: 6a608dd808a72f735152f942e74caaaa7c2fa38f 127.0.0.1:6004replicates 7843a1fe4eeb70acc4915176284c3b1e583a6f65
S: 7d08f9ff9aab477327776a5566546db608024739 127.0.0.1:6005replicates c8bafedba2552472b5bfc1725d7e30879bda2302
S: 6f0f84e0e897edf9955da23f7c57ed989128a2ae 127.0.0.1:6006replicates ab3223cc1465bb79bd5310b5044286eab261c593
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
......
>>> Performing Cluster Check (using node 127.0.0.1:6001)
M: ab3223cc1465bb79bd5310b5044286eab261c593 127.0.0.1:6001slots:[0-5460] (5461 slots) master1 additional replica(s)
M: c8bafedba2552472b5bfc1725d7e30879bda2302 127.0.0.1:6003slots:[10923-16383] (5461 slots) master1 additional replica(s)
S: 7d08f9ff9aab477327776a5566546db608024739 127.0.0.1:6005slots: (0 slots) slavereplicates c8bafedba2552472b5bfc1725d7e30879bda2302
M: 7843a1fe4eeb70acc4915176284c3b1e583a6f65 127.0.0.1:6002slots:[5461-10922] (5462 slots) master1 additional replica(s)
S: 6a608dd808a72f735152f942e74caaaa7c2fa38f 127.0.0.1:6004slots: (0 slots) slavereplicates 7843a1fe4eeb70acc4915176284c3b1e583a6f65
S: 6f0f84e0e897edf9955da23f7c57ed989128a2ae 127.0.0.1:6006slots: (0 slots) slavereplicates ab3223cc1465bb79bd5310b5044286eab261c593
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@mcb-11-14 redis6006]#
⑥集群测试 
[root@mcb-11-14 redis6006]# redis-cli -p 6001 -c
127.0.0.1:6001>  cluster slots
1) 1) (integer) 02) (integer) 54603) 1) "127.0.0.1"2) (integer) 60013) "ab3223cc1465bb79bd5310b5044286eab261c593"4) 1) "127.0.0.1"2) (integer) 60063) "6f0f84e0e897edf9955da23f7c57ed989128a2ae"
2) 1) (integer) 109232) (integer) 163833) 1) "127.0.0.1"2) (integer) 60033) "c8bafedba2552472b5bfc1725d7e30879bda2302"4) 1) "127.0.0.1"2) (integer) 60053) "7d08f9ff9aab477327776a5566546db608024739"
3) 1) (integer) 54612) (integer) 109223) 1) "127.0.0.1"2) (integer) 60023) "7843a1fe4eeb70acc4915176284c3b1e583a6f65"4) 1) "127.0.0.1"2) (integer) 60043) "6a608dd808a72f735152f942e74caaaa7c2fa38f"

127.0.0.1:6001> set name mcb
-> Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002>  cluster keyslot name   #查看name键的槽编号
(integer) 5798
127.0.0.1:6002>

总结

三者应该连贯一起做实验

①redis主从复制

reids 主从复制是一种同步机制，主服务器数据的修改，会实时同步到从服务器上，实现数据备份和读写分离

②哨兵模式

redis 哨兵是一个用于管理多个redis 服务器的系统 ，它提供监控 、通知、自动故障转移和配置服务，来实现redis高可用性。

哨兵功能

1）监控
2）通知
3）自动故障转移

4）配置提供服务(客户端做为验证)

③集群cluster

redis 集群 是一个提供高性能、 高可用、数据分片、 故障转移特性的 分布式 分数据库模式

1)数据分片

2）故障转移

3）高性能

4）高可用

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/615796.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

接口测试用例编写和接口测试模板

接口测试用例编写和接口测试模板

一、简介 接口测试区别于传统意义上的系统测试，下面介绍接口测试用例和接口测试报告。 二、接口测试用例模板 功能测试用例最重要的两个因素是测试步骤和预期结果，接口测试属于功能测试，所以同理。接口测试的步骤中，最重要的是将…
阅读更多...
项目管理软件评测：选择合适软件是关键

项目管理软件评测：选择合适软件是关键

在过去，中小企业项目管理沿用的是office全家桶，用到后面项目由简单变复杂，项目资源越来越庞大，项目成员越来越多，项目管理问题日益凸显。好用的项目管理软件是化解问题的好方法，好用的项目管理软件是什么样…
阅读更多...
（Oracle）SQL优化案例：隐式转换优化

（Oracle）SQL优化案例：隐式转换优化

项目场景 项目现场的某个kettle模型执行非常缓慢，原因在于某个SQL执行效率非常的低。甲方得知此事要求公司赶紧优化，负责该模块的同事对SQL优化并不熟悉。所以作为一个立志成为优秀DBA的ETL工程师，我自告奋勇：不是DBA，…
阅读更多...
4.2 面向对象程序设计-类的继承实验

4.2 面向对象程序设计-类的继承实验

本文仅供学习交流，严禁用于商业用途，如本文涉及侵权请及时联系将于24小时内删除 目录 1.实验内容 2.实验原理 2.1类的继承 2.2 继承的优点和缺点 2.3 继承的方式 3.实验代码 1.实验内容 创建一个父类CalcTime，在父类中依次定义用于保存…
阅读更多...
10 Php学习：循环

10 Php学习：循环

在 PHP 中，提供了下列循环语句： while - 只要指定的条件成立，则循环执行代码块do…while - 首先执行一次代码块，然后在指定的条件成立时重复这个循环for - 循环执行代码块指定的次数foreach - 根据数组中每个元素来循环代码块 当…
阅读更多...
Python八股文：基础知识Part2

Python八股文：基础知识Part2

1. Python中变量的保存和访问 Python中的变量实际上是一个指向对象的引用，每个对象都有一个唯一的标识符（即内存地址）。对于一些不可变对象，如字符串和整数，因为它们的值不可更改，所以当多个变量引用相同的…
阅读更多...
React Hooks 全解: 常用 Hooks 及使用场景详解

React Hooks 全解: 常用 Hooks 及使用场景详解

React Hooks 是 React 16.8 版本引入的一项重要特性,它极大地简化和优化了函数组件的开发过程。 React 中常用的 10 个 Hooks,包括 useState、useEffect、useContext、useReducer、useCallback、useMemo、useRef、useLayoutEffect、useImperativeHandle 和 useDebugValue。这些…
阅读更多...
分享一下项目中遇到的排序失效问题

分享一下项目中遇到的排序失效问题

今天把原来的一个查询接口的业务代码进行了优化&#xff0c;减少了十几行冗余的代码。 原来的代码 ChongwuServiceImpl.java /*** author heyunlin* version 1.0*/ Slf4j Service public class ChongwuServiceImpl implements ChongwuService {Overridepublic JsonResult<…
阅读更多...
中介者模式：简化对象间通信的协调者

中介者模式：简化对象间通信的协调者

在面向对象的软件开发中&#xff0c;中介者模式是一种重要的行为型设计模式&#xff0c;用于降低多个对象间通信的复杂性。通过提供一个中心化的对象来处理不同组件之间的交互&#xff0c;中介者模式使得组件间不必显式引用彼此&#xff0c;从而使其松散耦合、更易于维护。本文…
阅读更多...
数据库系统概论（超详解！！！）第四节 数据库安全性

数据库系统概论（超详解！！！）第四节 数据库安全性

问题的提出&#xff1a; 数据库的一大特点是数据可以共享 数据共享必然带来数据库的安全性问题 数据库系统中的数据共享不能是无条件的共享。 1.数据库的安全概述 数据库的安全性是指保护数据库以防止不合法使用所造成的数据泄露、更改或破坏 。 系统安全保护措施是否有效…
阅读更多...
【电控笔记6】电流回路+延迟效应

【电控笔记6】电流回路+延迟效应

问题提出 数字控制系统的delay： 5.4节有介绍T0=0.5TS 低通滤波器的时间常数？ 可用示例程序 m2 2 1b 如下图画出开环系统的伯德图进行比较，如图 2-2-4 所示，由于延迟组件会侵蚀系统的相位，因此从图可以看出，加入延迟效应后，q轴电流回路的相位裕度(Phase Margin) 从…
阅读更多...
【python】python饮料销售数据分析可视化（源码+数据集）【独一无二】

【python】python饮料销售数据分析可视化（源码+数据集）【独一无二】

&#x1f449;博__主&#x1f448;&#xff1a;米码收割机 &#x1f449;技__能&#x1f448;&#xff1a;C/Python语言 &#x1f449;公众号&#x1f448;&#xff1a;测试开发自动化【获取源码商业合作】 &#x1f449;荣__誉&#x1f448;&#xff1a;阿里云博客专家博主、5…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023