RabbitMQ消息堆积问题及惰性队列

一,消息堆积

1,消费者堆积问题

当生产者生产消息的速度超过了消费者处理消息的速度,就会导致消息在队列中进行堆积,一定时间后会造成队列达到存储的上限,那么最开始进入队列的消息可能变成死信,会被丢弃(有关死信以及死信消息的处理问题的详细介绍可以看我的另一篇博客:RabbitMQ死信交换机、TTL及延迟队列_蜡笔小心眼子!的博客-CSDN博客)。

 2,消息堆积的解决方案

解决消息堆积的方案一般是三种:

  1. 增加更多的消费者,多个消费者处于竞争的关系进行消息的消费(类似于RabbitMQ的工作模式);
  2. 对于单个消费者来说,可以采用线程池的方式进行消息的处理,消费者每拿到一个消息的时候就会创建一个线程来处理该消息;
  3. 扩大队列容积,提高堆积的上限。

二,惰性队列

1,惰性队列的特征

惰性队列(Lazy Queus),一般有如下三个特征:

  1. 接收到消息后直接存入磁盘而非内存;
  2. 消费者要消费消息时才会从磁盘中读取并加载到内存;
  3. 支持数百万条的消息存储。

2,设置惰性队列

2.1 将已经声明的队列设置成惰性队列

设置一个队列为惰性队列,只需要在声明队列时,指定x-queue-mode属性为lazy即可,可以通过命令行将一个运行中的队列修改为惰性队列:

rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues 

2.2 声明队列时将队列设置成惰性队列

@Bean方式:

    @Beanpublic Queue lazyQueue() {return QueueBuilder.durable("lazy.queue").lazy()//开启x-queue-mode属性为lazy.build();}

注解方式:

 @RabbitListener(queuesToDeclare = @Queue(name = "lazy.queue",durable = "true",//开启x-queue-mode属性为lazyarguments = @Argument(name = "x-queue-mode", value = "lazy")))public void listenLazyQueue(String msg) {log.info("接收到 lazy.queue的消息:{}", msg);}

3,惰性队列的优缺点

3.1 优点

  1. 基于磁盘存储,消息上限高;
  2. 没有间歇性的page-out,性能比较稳定。

3.2 缺点

  1. 基于磁盘存储,消息时效性会降低;
  2. 性能受限于磁盘的IO。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/29326.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

利用Python和Selenium编程,实现定时自动检索特定网页,发现特定网页内容发生变化后,向管理员发送提醒邮件(一)

一、项目需求 要求爬取某单位网站,登录后台查看是否有新增“网友提问”,如果有新的提问,向特定邮箱发出提醒邮件。 二、项目分析 (一)判断是否可用爬虫爬取相关内容 首先查看该网站的robots.txt文件,发现…

LeetCode面试题02.07.链表相交

面试题02.07.链表相交 两种解题思路 面试题02.07.链表相交一、双指针二、哈希集合 一、双指针 这道题简单来说,就是求两个链表交点节点的指针 这里注意:交点不是数值相等,而是指针相等 为了方便举例,假设节点元素数值相等&…

如何用双指针法解决力扣“反转单词前缀”问题

本篇博客会讲解力扣“2000. 反转单词前缀”的解题思路,这是题目链接。 本题的思路是:先调用strchr函数,在字符串word中查找字符ch,若找到了,则会返回一个非空指针p,指向ch在word中的位置。为了反转从word到…

甲板上的战舰(力扣)递归 JAVA

给你一个大小为 m x n 的矩阵 board 表示甲板,其中,每个单元格可以是一艘战舰 ‘X’ 或者是一个空位 ‘.’ ,返回在甲板 board 上放置的 战舰 的数量。 战舰 只能水平或者垂直放置在 board 上。换句话说,战舰只能按 1 x k&#xf…

数学建模常用模型(九) :偏最小二乘回归分析

数学建模常用模型(九) :偏最小二乘回归分析 偏最小二乘回归(Partial Least Squares Regression,PLS Regression)是一种常用的统计建模方法,用于解决多元线性回归中自变量间高度相关的问题。在偏…

Java:控制流程 + 数组 详解(原理 + 用法 + 例子)

目录 控制流程块作用域if 条件语句for while 循环switch 多重选择break continue 中断控制流程语句 大数值数组多维数组字符串类型数组Array.sort() 数组排序for each 循环 控制流程 块作用域 块(即复合语句)是指由一对大括号{}括起来的若干条简单的 Ja…

Linux 系统编程-开发环境(二)

目录 7 压缩包管理 7.1 tar 7.2 rar 7.3 zip 8 进程管理 8.1 who 8.2 ps 8.3 jobs 8.4 fg 8.5 bg 8.6 kill 8.7 env 8.8 top 9 用户管理 9.1 创建用户 9.2 设置用户组 9.3 设置密码 9.4 切换用户 9.5 root用户 9.6 删除用户 10 网络管理 10.1 i…

Offset Explorer2 监视kafka的利器

kafka作为一个生产者和消费者集为一体的框架,消费者必须一直保持打开的状态,并且每隔一段时间接收一次数据,才能够保持生产者放入的数据及时被处理掉,而生产者则可以每隔一段时间发送一波数据,这样消费者就能够接收到了…

一篇文章带你用Jenkins和Kubernetes搭建DevOps平台

JenkinsKubernetes实现DevOps DevOps 介绍Jenkins环境准备准备JDK下载jdk安装jdk配置jdk环境变量 准备maven下载maven解压maven配置maven配置maven环境变量 安装Docker安装git 安装Jenkins初始化jenkins准备代码仓库和docker镜像仓库准备Kubernetes准备java项目搭建DevOps创建代…

Nacos服务注册和配置中心(Config,Eureka,Bus)1

SCA(Spring Cloud Alibaba)核心组件 Spring Cloud是若干个框架的集合,包括spring-cloud-config、spring-cloud-bus等近20个子项目,提供了服务治理、服务网关、智能路由、负载均衡、断路器、监控跟踪、分布式消息队列、配置管理等领域的解决方案,Spring C…

iOS APP外包开发的语言比较

iOS APP是Apple公司运行在iPhone手机上的APP,开发这样的APP有两种开发语言可以选择,都是由Apple公司提供的语言。其中Objective-C使用时间相对较长,有历史兼容考虑,而Swift是新的开发语言,更符合近些年开发语言的发展理…

Maven

Maven 1. Maven简介2. Maven安装搭建(windows)2.1 下载maven2.2 安装配置maven2.3 配置maven本地仓库 3. Maven安装搭建(linux)3.1 下载maven3.2 安装配置maven3.3 编辑 settings.xml 文件3.4 添加 maven 环境变量内容 4. IntelliJ IDEA创建web项目4.1 创建项目4.2 创建源码目录…