K8s 中 Pod OOMKilled 原因

目录

Exit Code 137

解决方案

JVM 感知 cgroup 限制

使用 JDK9 的容器感知机制尝试

问题分析

容器内部感知 CGroup 资源限制

在 Java10 中，改进了容器集成

JVM 参数 MaxDirectMemorySize

-XX:MaxDirectMemorySize 的默认值是什么？

其他获取 maxDirectMemory 的值的 API 方法

内存分析问题

-XX:+DisableExplicitGC 与 NIO 的 direct memory

我们日常的工作当中，通常应用都会采用 Kubernetes 进行容器化部署，但是总是会出现一些问题，例如，JVM 堆小于 Docker 容器中设置的内存大小和 Kubernetes 的内存大小，但是还是会被 OOMKilled。在此我们介绍一下 K8s 的 OOMKilled 的 Exit Code 编码。

Exit Code 137

  • 表明容器收到了 SIGKILL 信号，进程被杀掉，对应 kill -9，引发 SIGKILL 的是 docker kill。这可以由用户或由 docker 守护程序来发起，手动执行：docker kill

  • 137 比较常见，如果 pod 中的 limit 资源设置较小，会运行内存不足导致 OOMKilled，此时 state 中的 ”OOMKilled” 值为 true，你可以在系统的 dmesg -T 中看到 OOM 日志。

因为我的 heap 大小肯定是小于 Docker 容器以及 Pod 的大小的，为啥还是会出现 OOMKilled？

这种问题常发生在 JDK8u131 或者 JDK9 版本之后所出现在容器中运行 JVM 的问题：在大多数情况下，JVM 将一般默认会采用宿主机 Node 节点的内存为 Native VM 空间（其中包含了堆空间、直接内存空间以及栈空间），而并非是是容器的空间为标准。

例如我的机器：

$ docker run -m 100MB openjdk:8u121 java -XshowSettings:vm -version
VM settings:Max. Heap Size (Estimated): 444.50MErgonomics Machine Class: serverUsing VM: OpenJDK 64-Bit Server VM

以上的信息出现了矛盾，我们在运行的时候将容器内存设置为 100MB，而 -XshowSettings:vm 打印出的 JVM 将最大堆大小为 444M，如果按照这个内存进行分配内存的话很可能会导致节点主机在某个时候杀死我的 JVM。

解决方案

JVM 感知 cgroup 限制

一种方法解决 JVM 内存超限的问题，这种方法可以让 JVM 自动感知 docker 容器的 cgroup  限制，从而动态的调整堆内存大小。JDK8u131 在 JDK9 中有一个很好的特性，即 JVM 能够检测在 Docker 容器中运行时有多少内存可用。为了使 jvm 保留根据容器规范的内存，必须设置标志 -XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeap。

❝

注意：如果将这两个标志与 Xms 和 Xmx 标志一起设置，那么 jvm 的行为将是什么？-Xmx 标志将覆盖-XX:+ UseCGroupMemoryLimitForHeap 标志。

总结一下：

  • 标志 -XX:+UseCGroupMemoryLimitForHeap 使 JVM 可以检测容器中的最大堆大小。

  • -Xmx 标志将最大堆大小设置为固定大小。

  • 除了 JVM 的堆空间，还会对于非堆和 jvm 的东西，还会有一些额外的内存使用情况。

使用 JDK9 的容器感知机制尝试

$ docker run -m 100MB openjdk:8u131 java \-XX:+UnlockExperimentalVMOptions \-XX:+UseCGroupMemoryLimitForHeap \-XshowSettings:vm -version
VM settings:Max. Heap Size (Estimated): 44.50MErgonomics Machine Class: serverUsing VM: OpenJDK 64-Bit Server VM

可以看出来通过内存感知之后，JVM 能够检测到容器只有 100MB，并将最大堆设置为 44M。我们调整一下内存大小看看是否可以实现动态化调整和感知内存分配，如下所示。

$ docker run -m 1GB openjdk:8u131 java \-XX:+UnlockExperimentalVMOptions \-XX:+UseCGroupMemoryLimitForHeap \-XshowSettings:vm -version
VM settings:Max. Heap Size (Estimated): 228.00MErgonomics Machine Class: serverUsing VM: OpenJDK 64-Bit Server VM

我们设置了容器有 1GB 内存分配，而 JVM 使用 228M 作为最大堆。因为容器中除了 JVM 之外没有其他进程在运行，所以我们还可以进一步扩大一下对于 Heap 堆的分配？

$ docker run -m 1GB openjdk:8u131 java \-XX:+UnlockExperimentalVMOptions \-XX:+UseCGroupMemoryLimitForHeap \-XX:MaxRAMFraction=1 -XshowSettings:vm -version
VM settings:Max. Heap Size (Estimated): 910.50MErgonomics Machine Class: serverUsing VM: OpenJDK 64-Bit Server VM

在较低的版本的时候可以使用 -XX:MaxRAMFraction 参数，它告诉 JVM 使用可用内存 /MaxRAMFract 作为最大堆。使用 -XX:MaxRAMFraction=1，我们将几乎所有可用内存用作最大堆。从上面的结果可以看出来内存分配已经可以达到了 910.50M。

问题分析

  1. 最大堆占用总内存是否仍然会导致你的进程因为内存的其他部分（如“元空间”）而被杀死？

答案：MaxRAMFraction=1 仍将为其他非堆内存留出一些空间。

❝

但如果容器使用堆外内存，这可能会有风险，因为几乎所有的容器内存都分配给了堆。您必须将-XX:MaxRAMFraction=2 设置为堆只使用 50% 的容器内存，或者使用 Xmx。

容器内部感知 CGroup 资源限制

Docker1.7 开始将容器 cgroup 信息挂载到容器中，所以应用可以从  /sys/fs/cgroup/memory/memory.limit_in_bytes 等文件获取内存、  CPU 等设置，在容器的应用启动命令中根据 Cgroup 配置正确的资源设置 -Xmx, -XX:ParallelGCThreads 等参数

在 Java10 中，改进了容器集成

  • Java10+ 废除了 -XX:MaxRAM 参数，因为 JVM 将正确检测该值。在 Java10 中，改进了容器集成。无需添加额外的标志，JVM 将使用 1/4 的容器内存用于堆。

  • java10+ 确实正确地识别了内存的 Docker 限制，但您可以使用新的标志 MaxRAMPercentage（例如：-XX:MaxRAMPercentage=75）而不是旧的 MaxRAMFraction，以便更精确地调整堆的大小，而不是其余的（堆栈、本机…）

  • java10+ 上的 UseContainerSupport 选项，而且是默认启用的，不用设置。同时  UseCGroupMemoryLimitForHeap 这个就弃用了，不建议继续使用，同时还可以通过 -XX:InitialRAMPercentage、-XX:MaxRAMPercentage、-XX:MinRAMPercentage 这些参数更加细腻的控制 JVM 使用的内存比率。

❝

Java 程序在运行时会调用外部进程、申请 Native Memory 等，所以即使是在容器中运行 Java  程序，也得预留一些内存给系统的。所以 -XX:MaxRAMPercentage  不能配置得太大。当然仍然可以使用 -XX:MaxRAMFraction=1 选项来压缩容器中的所有内存。

通过前面的讲解我们知道了如何设置和控制 Java 应用对应的堆内存和容器内存的之间的关系，进而防止 JVM 的堆内存超过了容器内存，避免容器出现 OOMKilled 的情况。但是在整个 JVM 进程体系而言，不仅仅只包含了 Heap 堆内存，其实还有其他相关的内存存储空间是需要我们考虑的，一边防止这些内存空间会造成我们的容器内存溢出的场景，正如下图所示。

图片

接下来我们需要进行分析出 heap 之外的一部分就是对外内存就是 Off Heap Space，也就是 Direct buffer  memory 堆外内存。主要通过的方式就是采用 Unsafe 方式进行申请内存，大多数场景也会通过 Direct  ByteBuffer 方式进行获取。好废话不多说进入正题。

JVM 参数 MaxDirectMemorySize

我们先研究一下 jvm 的 -XX:MaxDirectMemorySize，该参数指定了 DirectByteBuffer 能分配的空间的限额，如果没有显示指定这个参数启动 jvm，默认值是 xmx 对应的值（低版本是减去幸存区的大小）。

DirectByteBuffer 对象是一种典型的”冰山对象”，在堆中存在少量的泄露的对象，但其下面连接用堆外内存，这种情况容易造成内存的大量使用而得不到释放

-XX:MaxDirectMemorySize

-XX:MaxDirectMemorySize=size 用于设置 New I/O (java.nio) direct-buffer allocations 的最大大小，size 的单位可以使用 k/K、m/M、g/G；如果没有设置该参数则默认值为  0，意味着 JVM 自己自动给 NIO direct-buffer allocations 选择最大大小。

-XX:MaxDirectMemorySize 的默认值是什么？

在 sun.misc.VM 中，它是 Runtime.getRuntime.maxMemory()，这就是使用-Xmx 配置的内容。而对应的 JVM 参数如何传递给 JVM 底层的呢？主要通过的是 hotspot/share/prims/jvm.cpp。我们来看一下 jvm.cpp 的 JVM 源码来分一下。

  // Convert the -XX:MaxDirectMemorySize= command line flag// to the sun.nio.MaxDirectMemorySize property.// Do this after setting user properties to prevent people// from setting the value with a -D option, as requested.// Leave empty if not suppliedif (!FLAG_IS_DEFAULT(MaxDirectMemorySize)) {char as_chars[256];jio_snprintf(as_chars, sizeof(as_chars), JULONG_FORMAT, MaxDirectMemorySize);Handle key_str = java_lang_String::create_from_platform_dependent_str("sun.nio.MaxDirectMemorySize", CHECK_NULL);Handle value_str  = java_lang_String::create_from_platform_dependent_str(as_chars, CHECK_NULL);result_h->obj_at_put(ndx * 2,  key_str());result_h->obj_at_put(ndx * 2 + 1, value_str());ndx++;}

jvm.cpp 里头有一段代码用于把 -XX:MaxDirectMemorySize 命令参数转换为 key 为 sun.nio.MaxDirectMemorySize 的属性。我们可以看出来他转换为了该属性之后，进行设置和初始化直接内存的配置。针对于直接内存的核心类就在www.docjar.com/html/api/su…[1]

public class VM {// the init level when the VM is fully initializedprivate static final int JAVA_LANG_SYSTEM_INITED     = 1;private static final int MODULE_SYSTEM_INITED        = 2;private static final int SYSTEM_LOADER_INITIALIZING  = 3;private static final int SYSTEM_BOOTED               = 4;private static final int SYSTEM_SHUTDOWN             = 5;// 0, 1, 2, ...private static volatile int initLevel;private static final Object lock = new Object();//......// A user-settable upper limit on the maximum amount of allocatable direct// buffer memory.  This value may be changed during VM initialization if// "java" is launched with "-XX:MaxDirectMemorySize=<size>".//// The initial value of this field is arbitrary; during JRE initialization// it will be reset to the value specified on the command line, if any,// otherwise to Runtime.getRuntime().maxMemory().//private static long directMemory = 64 * 1024 * 1024;

上面可以看出来 64MB 最初是任意设置的。在 -XX:MaxDirectMemorySize 是用来配置 NIO direct memory 上限用的 VM 参数。可以看一下 JVM 的这行代码。

product(intx, MaxDirectMemorySize, -1,"Maximum total size of NIO direct-buffer allocations")

但如果不配置它的话，direct memory 默认最多能申请多少内存呢？这个参数默认值是-1，显然不是一个“有效值”。所以真正的默认值肯定是从别的地方来的。

    // Returns the maximum amount of allocatable direct buffer memory.// The directMemory variable is initialized during system initialization// in the saveAndRemoveProperties method.//public static long maxDirectMemory() {return directMemory;}//......// Save a private copy of the system properties and remove// the system properties that are not intended for public access.//// This method can only be invoked during system initialization.public static void saveProperties(Map<String, String> props) {if (initLevel() != 0)throw new IllegalStateException("Wrong init level");// only main thread is running at this time, so savedProps and// its content will be correctly published to threads started laterif (savedProps == null) {savedProps = props;}// Set the maximum amount of direct memory.  This value is controlled// by the vm option -XX:MaxDirectMemorySize=<size>.// The maximum amount of allocatable direct buffer memory (in bytes)// from the system property sun.nio.MaxDirectMemorySize set by the VM.// If not set or set to -1, the max memory will be used// The system property will be removed.String s = props.get("sun.nio.MaxDirectMemorySize");if (s == null || s.isEmpty() || s.equals("-1")) {// -XX:MaxDirectMemorySize not given, take defaultdirectMemory = Runtime.getRuntime().maxMemory();} else {long l = Long.parseLong(s);if (l > -1)directMemory = l;}// Check if direct buffers should be page aligneds = props.get("sun.nio.PageAlignDirectMemory");if ("true".equals(s))pageAlignDirectMemory = true;}//......
}

从上面的源码可以读取 sun.nio.MaxDirectMemorySize 属性，如果为 null 或者是空或者是 - 1，那么则设置为 Runtime.getRuntime().maxMemory()；如果有设置 MaxDirectMemorySize 且值大于 -1，那么使用该值作为 directMemory 的值；而 VM 的 maxDirectMemory 方法则返回的是 directMemory 的值。

因为当 MaxDirectMemorySize 参数没被显式设置时它的值就是 -1，在 Java 类库初始化时 maxDirectMemory() 被 java.lang.System 的静态构造器调用，走的路径就是这条：

if (s.equals("-1")) {  // -XX:MaxDirectMemorySize not given, take default  directMemory = Runtime.getRuntime().maxMemory();  
}

而 Runtime.maxMemory() 在 HotSpot VM 里的实现是：

JVM_ENTRY_NO_ENV(jlong, JVM_MaxMemory(void))  JVMWrapper("JVM_MaxMemory");  size_t n = Universe::heap()->max_capacity();  return convert_size_t_to_jlong(n);  
JVM_END

这个 max_capacity() 实际返回的是 -Xmx 减去一个 survivor space 的预留大小。

结论分析说明：

MaxDirectMemorySize 没显式配置的时候，NIO direct memory 可申请的空间的上限就是 -Xmx 减去一个 survivor  space 的预留大小。例如如果您不配置 -XX:MaxDirectMemorySize 并配置 -Xmx5g，则 "默认" MaxDirectMemorySize 也将是 5GB-survivor space 区，并且应用程序的总堆+直接内存使用量可能会增长到 5 + 5 = 10 Gb。

其他获取 maxDirectMemory 的值的 API 方法

BufferPoolMXBean 及 JavaNioAccess.BufferPool (通过 SharedSecrets 获取) 的  getMemoryUsed 可以获取 direct memory 的大小；其中 java9 模块化之后，SharedSecrets 从原来的  sun.misc.SharedSecrets 变更到 java.base 模块下的 jdk.internal.access.SharedSecrets；要使用 --add-exports  java.base/jdk.internal.access=ALL-UNNAMED 将其导出到 UNNAMED，这样才可以运行：

public BufferPoolMXBean getDirectBufferPoolMBean(){return ManagementFactory.getPlatformMXBeans(BufferPoolMXBean.class).stream().filter(e -> e.getName().equals("direct")).findFirst().orElseThrow();
}
public JavaNioAccess.BufferPool getNioBufferPool(){return SharedSecrets.getJavaNioAccess().getDirectBufferPool();
}

内存分析问题

-XX:+DisableExplicitGC 与 NIO 的 direct memory

  • 用了 -XX:+DisableExplicitGC 参数后，System.gc() 的调用就会变成一个空调用，完全不会触发任何 GC（但是“函数调用”本身的开销还是存在的哦～）。

  • 做 ygc 的时候会将新生代里的不可达的 DirectByteBuffer 对象及其堆外内存回收了，但是无法对 old 里的 DirectByteBuffer 对象及其堆外内存进行回收，这也是我们通常碰到的最大的问题，如果有大量的 DirectByteBuffer 对象移到了 old，但是又一直没有做 cms gc 或者 full  gc，而只进行 ygc，那么我们的物理内存可能被慢慢耗光，但是我们还不知道发生了什么，因为 heap 明明剩余的内存还很多 (前提是我们禁用了 System.gc)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/218356.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SQL Injection (Blind)`

SQL Injection (Blind)`

SQL Injection (Blind) SQL Injection (Blind) SQL盲注&#xff0c;是一种特殊类型的SQL注入攻击&#xff0c;它的特点是无法直接从页面上看到注入语句的执行结果。在这种情况下&#xff0c;需要利用一些方法进行判断或者尝试&#xff0c;这个过程称之为盲注。 盲注的主要形式有…
阅读更多...
什么是无监督学习

什么是无监督学习

1 概况 1.1 定义 无监督学习&#xff08;Unsupervised Learning&#xff09;是机器学习的一种类型&#xff0c;它涉及从未标记的数据中发现隐藏的模式。与监督学习不同&#xff0c;无监督学习的数据没有显式的标签或已知的结果变量。其核心目的是探索数据的内在结构和关系。无…
阅读更多...
【代码】基于VMD（变分模态分解）-SSA（麻雀搜索算法优化）-LSTM的光伏功率预测模型（完美复现）matlab代码

【代码】基于VMD（变分模态分解）-SSA（麻雀搜索算法优化）-LSTM的光伏功率预测模型（完美复现）matlab代码

程序名称&#xff1a;基于VMD&#xff08;变分模态分解&#xff09;-SSA&#xff08;麻雀搜索算法优化&#xff09;-LSTM的光伏功率预测模型 实现平台&#xff1a;matlab 代码简介&#xff1a;提出了变分模态分解(VMD)和麻雀搜索算法(SSA)与长短期记忆神经网络 (LSTM)相耦合,…
阅读更多...
MUYUCMS v2.1：一款开源、轻量级的内容管理系统

MUYUCMS v2.1：一款开源、轻量级的内容管理系统

MuYuCMS&#xff1a;一款基于Thinkphp开发的轻量级开源内容管理系统&#xff0c;为企业、个人站长提供快速建站解决方案。它具有以下的环境要求&#xff1a; 支持系统&#xff1a;Windows/Linux/Mac WEB服务器&#xff1a;Apache/Nginx/ISS PHP版本&#xff1a;php > 5.6 (…
阅读更多...
车载通信架构 —— 传统车内通信网络MOST总线（光纤传输、专精多媒体）

车载通信架构 —— 传统车内通信网络MOST总线（光纤传输、专精多媒体）

车载通信架构 —— 传统车内通信网络MOST总线（光纤传输、专精多媒体） 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都…
阅读更多...
STK Components 二次开发-创建卫星

STK Components 二次开发-创建卫星

1.卫星数据 可以用stk 里面自带的 参数帮助文档。 也可以自己下载 CelesTrak: Current GP Element Sets 这里你所需要的最新卫星数据全有。 其实创建需要的就是卫星的二根数。 给定二根数也可以。 读取数据库中的卫星数据 这个接口优先下载最新的。 var tleList TwoL…
阅读更多...
Element-Plus 图标自动导入

Element-Plus 图标自动导入

&#x1f680; 作者主页&#xff1a; 有来技术 &#x1f525; 开源项目&#xff1a; youlai-mall &#x1f343; vue3-element-admin &#x1f343; youlai-boot &#x1f33a; 仓库主页&#xff1a; Gitee &#x1f4ab; Github &#x1f4ab; GitCode &#x1f496; 欢迎点赞…
阅读更多...
车载电子电器架构 ——电子电气架构设计方案概述

车载电子电器架构 ——电子电气架构设计方案概述

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 注：本文1万多字，认证码字，认真看！！！ 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。非必要不费力证…
阅读更多...
【涂鸦T2-U】1、开发环境搭建

【涂鸦T2-U】1、开发环境搭建

前言 本章介绍T2-U的开发环境搭建流程&#xff0c;以及一些遇到的问题。 一、资料 试用网址&#xff1a; 【新品体验】涂鸦 T2-U 开发板免费试用 涂鸦官网文档&#xff1a; 涂鸦 T2-U 开发板 T2-U 模组规格书 T2-U 开发板 淘宝(资料较全)&#xff1a; 涂鸦智能 TuyaOS开发…
阅读更多...
【从浅识到熟知Linux】基本指令之mkdir

【从浅识到熟知Linux】基本指令之mkdir

&#x1f388;归属专栏&#xff1a;从浅学到熟知Linux &#x1f697;个人主页&#xff1a;Jammingpro &#x1f41f;每日一句&#xff1a;加油努力&#xff0c;这次写完真的要去干饭了&#xff01; 文章前言&#xff1a;本文介绍mkdir指令用法并给出示例和截图。 文章目录 基本…
阅读更多...
【蓝桥杯】刷题

【蓝桥杯】刷题

刷题网站 记录总结刷题过程中遇到的一些问题 1、最大公约数与最小公倍数 a,bmap(int,input().split())sa*bwhile a%b:a,bb,a%bprint(b,s//b)2.迭代法求平方根(题号1021) #include<stdio.h> #include<math.h> int main() {double x11.0,x2;int a;scanf("%d&…
阅读更多...
【数据结构实验】查找（一）基于散列表的查找算法

【数据结构实验】查找（一）基于散列表的查找算法

文章目录 1. 引言2. 实验原理2.1 散列表2.2 线性探测法2.3 冲突解决 3. 实验内容3.1 实验题目&#xff08;一&#xff09;输入要求&#xff08;二&#xff09;输出要求 3.2 算法实现3.3 代码整合 4. 实验结果 1. 引言 本实验将通过C语言实现基于散列表的查找算法 2. 实验原理 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023