【缓存】热key和大key问题

参考：

Redis中BigKey和HotKey的检测及处理详解

https://www.alibabacloud.com/blog/a-detailed-explanation-of-the-detection-and-processing-of-bigkey-and-hotkey-in-redis_598143?spm=a2796.7996630.8896513680.1.373a54b0xTX6yZ

Redis 热点键发现及常见解决方案

https://www.alibabacloud.com/blog/redis-hotspot-key-discovery-and-common-solutions_594446?spm=a2c65.11461447.0.0.19f33025TunEqe

---

 

一、概念

BigKey 和 HotKey 的标准有所不同，但是很显然评判的维度是相同的：BigKey通常由数据大小和成员数量决定，而HotKey 则由 Redis 接收的请求频率和次数决定。

BigKey 的定义

一般我们将包含大量数据或大量成员和列表的键称为BigKey。以下是一些示例，可帮助您全面了解BigKey的特点。

• 一个 STRING 键，其值的大小为 5 MB（数据太大）。
• 具有 20,000 个元素的 LIST 键（列表中的元素数量过多）。
• 一个有 10,000 个成员的 ZSET 键（成员数量过多）。
• 一个 HASH 密钥，即使只包含 1,000 个成员，其大小也为 100MB（密钥的大小太大）。

需要注意的是，根据 Redis 的实际使用情况和业务场景，BigKey 的定义可能会有所不同。也就是说，您需要综合考虑所有因素来判断。在给出的示例中，您可以看到键的大小、成员和元素的一些具体数字，这不是 BigKey 的通用定义，它只是为了简化说明，不能作为事实上的标准。

HotKey的定义

当访问某个键的工作量明显高于其他键时，我们可以将其称为 HotKey。为了帮助您更好地理解 HotKeys 的样子，这里有一些示例，请查看以下内容。

• 一个Redis实例的每秒总访问量是1万次，而某个key的每秒访问量就达到了7千次（很明显这个key是一个HotKey，其访问量明显高于其他key）。
• 一个拥有数千个成员、总大小为 1MB 的 HASH 键每秒会收到大量 HGETALL 请求。（在这种情况下，我们称之为 HotKey，因为访问一个键所消耗的带宽明显高于访问其他键。）
• 一个拥有上万个成员的 ZSET key，每秒会收到大量的 ZRANGE 请求。（很明显，它的 CPU 运行时间明显高于其他 key 的请求时间。同样，我们可以说这种 CPU 消耗大的 key 是一个 HotKey。）

 

二、引发的典型问题：

在使用Redis时，BigKey和HotKey会带来各种各样的问题，最常见的就是性能下降、访问超时、访问倾斜、数据倾斜等。

BigKey 导致的典型问题

• 客户端的响应延迟，感觉就像 Redis 的速度变慢了。
• Redis 内存使用量持续增长，达到 maxmemory 导致 OOM 或者写阻塞，以及重要 key 被驱逐。
• 发生访问倾斜可能会导致某个 Redis 实例达到性能瓶颈，从而导致整个集群也达到性能瓶颈。这种情况下，Redis Cluster 中某个节点的内存使用量通常会远远超过其他节点，因为该节点上有对 BigKey 的访问请求，而 Redis Cluster 中数据迁移的最小粒度是导致该节点内存无法均衡的关键。也就是说，除非找到将 BigKey 划分为小 Key 的方法，否则该问题无法得到解决。
• Redis 应该提供的所有服务都会受到影响，因为 Redis 变得越来越慢，这都是因为 BigKey 上的读取请求占用了 Redis 的所有带宽。
• 删除BigKey时，主数据库长时间阻塞，导致同步中断或故障转移。

HotKey 引起的典型问题

• HotKeys通常需要较长的CPU运行时间，从而降低Redis的性能并影响其他请求。
• 某些 Redis 节点/机器上的热点（而不是分片到不同 Redis 节点的键上的热点）通常会阻止您充分利用 Redis 集群。因为这些节点的内存/CPU 负载会非常重，而其他节点的利用率却很低。
• 对于抢购、秒杀的场景，经常会出现超卖的情况，因为对应商品key的库存读请求数量太多，超出了Redis实例的性能承受能力。
• HotKeys 上的流量突然暴增到 Redis 能够承受的最大阈值，甚至导致缓存服务崩溃，也就是我们常说的 Redis 雪崩。如果发生这种情况，大量的请求会直接冲击后端数据库，导致数据库层负载过高，数据库可能无法承受而宕机，从而影响业务。

 

三、BigKey 和 HotKey 的常见原因

业务规划不充分、 Redis使用不当、无效数据堆积、访问量突然增加等都可能导致 BigKey 和 HotKey 问题。例如：

BigKey

1）使用Redis不合适的数据类型会引入BigKey问题，比如使用String类型的键存储较大的二进制文件会导致键的值过大。

2）业务上线前规划设计不足，没有制定合理的分片策略或者拆分计划，无法将单个key中的成员拆分到多个key中，导致某个key中的成员数量过多。

3）没有定期对HASH键中的无效数据进行清理，导致HASH键中成员不断增加，可能带来BigKey问题。

HotKey

1、由于热门产品、热门新闻、KOL（关键意见领袖）直播活动或大量玩家参与的在线游戏对战等原因，访问流量意外增加。

2、业务方逻辑故障，导致LIST键无法被消费，从而导致对应Key中的成员数量不断增加，并且没有减少的趋势。

3、请求切片数超出单台服务器的性能阈值：当服务器上访问某条数据时，通常会对数据进行拆分或者切片，在这个过程中，会访问服务器上对应的key，当访问量超过服务器的性能阈值时，就会出现热键问题。