记录一次nginx日志偶现502报错排查

背景

之前的业务链路
负载均衡–>nginx–>cvm(业务后端node)
上云后链路
负载均衡–>nginx–>pod(业务后端node)

上云后nginx日志隔几个小时就出现一波502,查看nginx的日志有两个特征,就是request_time=0,upstream_response_time=0,当时的第一个反应就是nginx这里出了问题,因为后端确实也没有日志。

近一天日志

在这里插入图片描述
发现只要触发502了,502主要集中在1分钟(其实当时从这里就应该敏感的发现fail_timeout=60s)


根据502产生的时间,查询nginx的error日志,如下所示:

error.log日志

在这里插入图片描述
从nginx日志可以看到,upstream的地址竟然一个是ip一个是new_node_vip(因为单独的配置了upstream文件,所以理论上这里是会映射出IP的),然后查询现网status:200的日志。


status:200日志

在这里插入图片描述
到这里虽然知道是upstream 配置的变量没有映射为IP导致的问题。但是还不知道怎么解决。


原因定位

最后还是从nginx的报错信息可以确认是上游也就是node那里发送的断开连接
upstream prematurely closed connection while reading response header from upstream,最后联想到了nginx默认有配置长链接超过60s会发起断开,因为上云后配置的vip只有2个,所以就出现了两个同时达到了max_fails=1的阈值,导致此刻没有upstream的后端地址,最后nginx就返回了502。

问题解决

1、增加max_fails次数,让nginx可以多次重试
2、增加后端pod的数量

参考文章:
nginx长链接导致502

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/21368.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HarmonyOS元服务开发

一、什么是HarmonyOS系统 HarmonyOS是华为开发的一款面向未来的全场景分布式智慧操作系统,将逐步覆盖18N全场景终端设备,用一个软件系统解决大量智能终端体验割裂的问题 1:智能手机 …

flutter开发实战-css的linear-gradient的值转换成LinearGradient

flutter开发实战-css的linear-gradient的值转换成LinearGradient 在开发中遇到了参照前端的css的属性值,需要将css的linear-gradient值转换成LinearGradient,这样可以直接设置相应的值。这里暂时不涉及到,颜色值名称、color-stop1&#xff0…

计算机毕设 大数据房价数据分析及可视化 - python 房价分析

文章目录 1 课题背景2 数据爬取2.1 爬虫简介2.2 房价爬取 3 数据可视化分析3.1 ECharts3.2 相关可视化图表 4 最后 1 课题背景 房地产是促进我国经济持续增长的基础性、主导性产业。如何了解一个城市的房价的区域分布,或者不同的城市房价的区域差异。如何获取一个城…

前端各种方法自我整理

Javascript方法 slice [slaɪs]切片 slice (-2)取出数组中倒数两个植变生成一个新数组 slice(0,3)取出数组下标0到下标3的值,生成新数组 注意:slice不会改变数组的长度 includes [ɪnˈkluːdz]包含 查看数组或字符串内是否有该值&…

MySQL的下载、安装和配置(图文详解)

目录 一、MySQL的4大版本 二、软件的下载 1. 下载地址 2. 打开官网,点击DOWNLOADS 3. 点击 MySQL Community Server 三、MySQL8.0 版本的安装 四、配置MySQL8.0 五、配置MySQL8.0 环境变量 六、MySQL5.7 版本的安装、配置 一、MySQL的4大版本 MySQL Commu…

【C++】红黑树

目录 1、红黑树的概念2、红黑树的性质及定义3、红黑树的插入操作 1、红黑树的概念 红黑树是一种二叉搜索树,但在每个节点上增加一个存储位表示节点的颜色,可以是red或black。通过对任何一条从根到叶子的路径上各个节点着色方式的限制,红黑树…

基于非支配排序遗传算法NSGAII的综合能源优化调度(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

【Nginx】proxy_set_header的变量与X-Forwarded-For伪造客户端IP漏洞

前言 上面突然说,需要检查Nginx反向代理的安全问题并给出了修改方法,小白的我一脸懵逼,明明都是中文,连在一起咋就看不明白了。于是乎,对着修改内容简单学习了一下,在此做个记录,如有问题请大佬…

【USRP X410】LabVIEW参考架构软件,用于使用Ettus USRP X410对无线系统进行原型验证

LabVIEW参考架构软件,用于使用Ettus USRP X410对无线系统进行原型验证 设备 1 MHz to 7.2 GHz,400 MHz带宽,GPS驯服OCXO,USRP软件无线电设备 - Ettus USRP X410集成硬件和软件,可帮助您制作高性能无线系统的原型&…

WAS 9.0 ND 命令行安装-基于LINUX 8

WAS 9.0 安装文件准备如下: gtk.x86_64_1.8.9004.20190423_2015.zip ----IM安装源文件 sdk.repo.8035.java8.linux.zip ----JAVA安装源文件 was.repo.90501.nd.zip ----WAS安装源文件 …

Maven详见及在Idea中的使用方法[保姆级包学包会]

文章目录 Maven详解1.1 目标1.2 Maven概括1.3 多模块开发1.3.1 pom.xml1.3.2 生命周期1.3.3 依赖特性(多模块1)1.3.4 继承特性(多模块2)1.3.5 dependencyManagement标签1.3.6 Maven-聚合(多模块3)聚合 1.3.6.1聚合总结 Maven详解 1.1 目标 maven是什么?maven能干什么?maven…

机器视觉初步13:3D相机介绍

文章目录 1. 结构光(Structured Light)2. 飞行时间(Time of Flight,ToF)3. 双目视觉(Stereo Vision)4. 线扫描(Line Scan)5. 散斑(Speckle) 在工业…