LRU淘汰策略执行过程

1 介绍

Redis无论是惰性删除还是定期删除,都可能存在删除不尽的情况,无法删除完全,比如每次删除完过期的 key 还是超过 25%,且这些 key 再也不会被客户端访问。
这样的话,定期删除和堕性删除可能都彻底的清理掉。如果这种情况长时间持续下去,可能会导致内存耗尽,所以Redis必须有一个完善的内存淘汰机制来保障。这就是我们这一篇的重点,Redis内存自动淘汰机制。

2 Redis内存淘汰策略

在 redis 中总共由8种淘汰策略,默认的淘汰策略是 noeviction。

noeviction不淘汰策略(默认)
淘汰数据策略设置过期时间的淘汰策略valatile-random随机淘汰算法
volatile-ttl淘汰失效时间最短的key
volatile-lru删除最近最少使用的key
volatile-lfu删除访问次数最少的key
所有数据的淘汰策略allkeys-lru删除最近最少使用的key(全部)
allkeys-lfu删除访问次数最少的key(全部)
allkey-random随机淘汰算法(全部)

2.1 设置过期时间的淘汰策略

volatile-ttl、volatile-random、volatile-lru、volatile-lfu 这4种策略淘汰的数据范围为设置了过期时间的数据。

2.2 所有 key 的淘汰策略

allkeys-lru、allkeys-random、allkeys-lfu 这3种淘汰策略无论是否设置了过期时间,内存不足时都会进行淘汰。
也就是说无论它的过期时间到没到,都有可能被删除。

3 LRU淘汰策略执行过程

这边以LRU算法为例子讲解,它的全称是 Least Rencently Used,即将最近最久未使用的算法进行数据淘汰。
我们这边以图例来讲解,整个过程如下:

  • 首先设置一个淘汰池(一个链表),假设默认大小是16,里面的数据采用末尾淘汰制。如图中
    • MRU:表示链表的表头,代表着最近最常被访问的数据;
    • LRU:表示链表的表尾,代表最近最不常使用的数据。
  • 如果淘汰池中的数据被访问,则会被移动到 MRU 端,其他位置的数据则相应往后移动一位
  • 每次指令操作的时候,自旋会判断当前内存是否满足指令所需要的内存
  • 如果当前内存不能满足,会从淘汰池中的尾部拿取一个最适合淘汰的数据
    • 取样模式(配置 maxmemory-samples属性)从Redis中获取随机的取样数据,避免一次性读取All Key性能慢
    • 在取样的数据中,根据淘汰算法 找到最适合淘汰的数据
  • 将需要淘汰的数据从Redis删除,并且从淘汰池移除

image

这边注意,LRU 更新和新增数据都发生在链表首,删除数据都发生在链表尾。
水果 Orange 跟 Pitaya 被访问,被移动到MRU端,新增的Mango也被插入到MRU端。而最末端的Olive则被删除。

4 算法实现

以下是使用Go语言实现Redis LRU淘汰过程的示例代码,代码注释很清楚:

package main  import (  "container/list"  "fmt"  "time"  
)  type Redis struct {  data map[string]*list.Element // 存储缓存项的键和值,以及它们在LRU链表中的位置  lru *list.List // LRU链表  
}  type cacheItem struct {  key   string  value string  // 记录该缓存项最后一次被访问的时间  lastAccess time.Time  
}  func NewRedis() *Redis {  return &Redis{  data: make(map[string]*list.Element),  lru: list.New(),  }  
}  func (r *Redis) Get(key string) (string, bool) {  // 从LRU链表中查找缓存项  if elem, ok := r.data[key]; ok {  // 将该缓存项移动到链表头部,表示最近被访问过  r.lru.MoveToFront(elem)  // 更新缓存项的最后访问时间  item := elem.Value.(*cacheItem)  item.lastAccess = time.Now()  return item.value, true  }  return "", false  
}  func (r *Redis) Set(key string, value string) {  // 从LRU链表中查找缓存项  if elem, ok := r.data[key]; ok {  // 如果缓存项存在,更新其值和最后访问时间,并将其移动到链表头部  item := elem.Value.(*cacheItem)  item.value = value  item.lastAccess = time.Now()  r.lru.MoveToFront(elem)  return  }  // 如果缓存项不存在,创建新的缓存项并将其添加到LRU链表头部  item := &cacheItem{  key:    key,  value:  value,  lastAccess: time.Now(),  }  elem := r.lru.PushFront(item)  r.data[key] = elem  // 如果缓存空间已满,执行LRU淘汰操作  for r.lru.Len() > maxItems {  // 从链表尾部查找最久未被访问的缓存项  elem := r.lru.Back()  item := elem.Value.(*cacheItem)  // 如果该缓存项的过期时间已到达,则从链表中删除该缓存项  if item.lastAccess.Add(expireTime).Before(time.Now()) {  r.lru.Remove(elem)  delete(r.data, item.key)  } else {  // 否则,只从链表中删除该缓存项  r.lru.Remove(elem)  }  }  
}

在这个示例中,我们使用了一个map来存储缓存项的键和值,以及它们在LRU链表中的位置。我们使用了一个LRU链表来存储缓存项,并按照访问时间将它们排序。在Get方法中,我们从LRU链表中查找缓存项,并将其移动到链表头部,表示最近被访问过。在Set方法中,如果缓存项已存在,我们更新其值和最后访问时间,并将其移动到链表头部;如果缓存项不存在,我们创建新的缓存项并将其添加到LRU链表头部。如果缓存空间已满,我们执行LRU淘汰操作,从链表尾部查找最久未被访问的缓存项,并从链表中删除它。注意,我们还检查了缓存项的过期时间,如果该缓存项已过期,则也会从链表中删除它。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/79925.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

opencv 进阶15-检测DoG特征并提取SIFT描述符cv2.SIFT_create()

前面我们已经了解了Harris函数来进行角点检测,因为角点的特性,这些角点在图像旋转的时候也可以被检测到。但是,如果我们放大或缩小图像时,就可能会丢失图像的某些部分,甚至有可能增加角点的质量。这种损失的现象需要一…

linux常会用到的命令

查看gpu上运行的进程: nvidia-smi 查看进程的完整信息 ps -f -p 进程号 搜索含有指定字符的进程信息,如radar ps -ef|grep radar 复制文件时排除某个文件夹,如从源路径中排除data rsync -av --excludedata/ 源路径 目标路径查看磁盘占用…

Office ActiveX 堆喷射样本

使用 Active 控件喷射堆 Office 有不少关于堆的漏洞,例如比较经典的 cve-2016-7193 漏洞,在覆盖了虚表进行 call 调用时就需要将利用载荷喷射到 call 的地址在进行下一步的利用。而使用 Active 控件进行堆喷射也是比较流行的方法。Parvez Anwar 在他的博…

微信小程序 echarts 画多个横向柱状图

然后是json {"usingComponents": {"ec-canvas": "../../common/ec-canvas/ec-canvas"},"navigationBarTitleText": "主题活动" } ec-canvas获取方式 在链接里下载代码 然后copy ec-canvas文件夹到自己的项目 https://gi…

Docker创建 LNMP 服务+Wordpress 网站平台

文章目录 Docker创建 LNMP 服务Wordpress 网站平台一.环境及准备工作1.项目环境2.服务器环境3.任务需求 二.Linux 系统基础镜像三.docker构建Nginx1.建立工作目录上传安装包2.编写 Dockerfile 脚本3.准备 nginx.conf 配置文件4.生成镜像5.创建自定义网络6.启动镜像容器7.验证 n…

【数据结构与算法】—— 手撕红黑树

目录 (一)红黑树的定义 1、红黑树的引入 2、红黑树的概念 3、红黑树的性质 (二)红黑树的操作 1、红黑树节点的定义 2、红黑树的插入操作 1️⃣ 思路 2️⃣ 代码实现 3、红黑树的删除操作(了解) …

SDXL:Improving latent diffusion models for high-resolution image synthesis

文生图模型之SDXL - 知乎之前的文章 文生图模型之Stable Diffusion已经介绍了比较火的文生图模型Stable Diffusion,近期Stability AI又发布了新的升级版本SDXL。目前SDXL的代码、模型以及技术报告已经全部开源:官方代码:https://github.…htt…

伴儿行“共享七彩童年”红色教育讲堂篇

迎着徐徐海风,一群青少年缓缓漫步于刘公岛的海岸线,在威海市环翠区伴儿行青少年服务中心老师的带领下,一场沉浸式的红色教育讲堂在百年后的甲午海战战场拉开帷幕。 从甲午海战的前期国际形势讲到当今的国际国内形势,从甲午清朝海军…

「Qt」文件读写操作

0、引言 我们知道 C 和 C 都提供了文件读写的类库,不过 Qt 也有一套自己的文件读写操作;本文主要介绍 Qt 中进行文件读写操作的类 —— QFile。 1、QFileDialog 文件对话框 一般的桌面应用程序,当我们想要打开一个文件时,通常会弹…

华为将收取蜂窝物联网专利费,或将影响LPWAN市场发展

近日,华为正式公布了其4G和5G手机、Wi-Fi6设备和物联网产品的专利许可费率,其中包含了长距离通信技术蜂窝物联网。作为蜂窝物联网技术的先驱,华为是LTE Category NB (NB-IoT)、LTE Category M和其他4G物联网标准的主要贡献者。 在NB-IoT领域…

Linux TCP编程流程

一、TCP编程流程 TCP 提供的是面向连接的、可靠的、字节流服务。TCP的服务器端和客户端编程流程如下: 1.socket()方法 用来创建一个套接字,有了套接字就可以通过网络进行数据的收发。这也是为什么进行网络通信的程序首先要创建一个套接字。创建套接字时…

摩托车外廓尺寸检测软件

本系统为摩托车外廓尺寸检测软件,该系统共涉及两种测量方法:自动测量和手动测量,旨在测量出每一台摩托车的外廓尺寸,包括但不限于摩托车的车长、车宽、车高、轮距、前悬、后悬、前伸距等需要测量的参数,可通过运行软件…