K8S Pod状态为“被驱逐(evicted)”的解决方法

文章目录

  • 驱逐原因
  • 问题复现
  • 解决方案

在Kubernetes中,pod是最小的调度单元。当Pod无法在所分配的节点上正常运行时,它可能会被驱逐(evicted)。这种情况可能是由多种原因引起,比如节点资源不足、Pod超出了所分配的资源限制、镜像拉取失败等。

驱逐原因

  • 节点资源不足:节点资源包括CPU、内存、存储空间等。当节点资源不足以满足Pod的资源需求时,调度器会选择其中一个或多个Pod驱逐出节点。
  • 超出资源限制:Pod可以指定资源上线,例如CPU和内存的限制。如果Pod使用的资源超过指定的限制,该Pod可能会被驱逐。
  • 镜像拉取失败:如果Pod所需的镜像无法拉取或拉取失败,K8S可能会重试一定次数后将其标记为“evicted”状态。

问题复现

(1)查看K8S中Pod的状态,发现部分pod的STATUS显示“evicted”状态:
在这里插入图片描述

(2)使用 kubectl describe 命令查看Pod的状态和事件。

kubectl describe pod <pod-name> -n <namespace-name>
kubectl describe pod knowledge-base-5799896986-zl55n -n asrank
[root@node-1 ~]# kubectl describe pod knowledge-base-5799896986-zl55n -n asrank
Name:           knowledge-base-5799896986-zl55n
Namespace:      asrank
Priority:       0
Node:           node-1/
Start Time:     Fri, 29 Mar 2024 11:12:16 +0800
Labels:         app=knowledge-baseistio.io/rev=defaultpod-template-hash=5799896986security.istio.io/tlsMode=istioservice.istio.io/canonical-name=knowledge-baseservice.istio.io/canonical-revision=latest
Annotations:    kubectl.kubernetes.io/default-container: knowledge-basekubectl.kubernetes.io/default-logs-container: knowledge-baseprometheus.io/path: /stats/prometheusprometheus.io/port: 15020prometheus.io/scrape: truesidecar.istio.io/status:{"initContainers":["istio-init"],"containers":["istio-proxy"],"volumes":["istio-envoy","istio-data","istio-podinfo","istiod-ca-cert"],"ima...
Status:         Failed
Reason:         Evicted
Message:        The node was low on resource: memory. Container knowledge-base was using 43775192Ki, which exceeds its request of 5000Mi. 
IP:             
IPs:            <none>
Controlled By:  ReplicaSet/knowledge-base-5799896986
Init Containers:istio-init:Image:      hub.pmlabs.com.cn/sail/istio/proxyv2:1.10.6Port:       <none>Host Port:  <none>Args:istio-iptables-p15001-z15006-u1337-mREDIRECT-i*-x-b*-d15090,15021,15020Limits:cpu:     2memory:  1GiRequests:cpu:        100mmemory:     128MiEnvironment:  <none>Mounts:/var/run/secrets/kubernetes.io/serviceaccount from default-token-cfzc5 (ro)
Containers:knowledge-base:Image:      hub.pmlabs.com.cn/asrank/knowledge-base:1.01.201Port:       9303/TCPHost Port:  0/TCPLimits:cpu:     24memory:  48GiRequests:cpu:     1memory:  5000MiEnvironment:PROFILE:         prodMYSQL_PASSWORD:  <set to the key 'MYSQL_ROOT_PASSWORD' in secret 'mysql-root-password'>  Optional: falseMounts:/data/ from datasets (rw)/etc/localtime from date-config (rw)/log/ from app-log (rw)/var/run/secrets/kubernetes.io/serviceaccount from default-token-cfzc5 (ro)istio-proxy:Image:      hub.pmlabs.com.cn/sail/istio/proxyv2:1.10.6Port:       15090/TCPHost Port:  0/TCPArgs:proxysidecar--domain$(POD_NAMESPACE).svc.cluster.local--serviceClusterknowledge-base.$(POD_NAMESPACE)--proxyLogLevel=warning--proxyComponentLogLevel=misc:error--log_output_level=default:info--concurrency2Limits:cpu:     2memory:  1GiRequests:cpu:      100mmemory:   128MiReadiness:  http-get http://:15021/healthz/ready delay=1s timeout=3s period=2s #success=1 #failure=30Environment:JWT_POLICY:                    first-party-jwtPILOT_CERT_PROVIDER:           istiodCA_ADDR:                       istiod.istio-system.svc:15012POD_NAME:                      knowledge-base-5799896986-zl55n (v1:metadata.name)POD_NAMESPACE:                 asrank (v1:metadata.namespace)INSTANCE_IP:                    (v1:status.podIP)SERVICE_ACCOUNT:                (v1:spec.serviceAccountName)HOST_IP:                        (v1:status.hostIP)CANONICAL_SERVICE:              (v1:metadata.labels['service.istio.io/canonical-name'])CANONICAL_REVISION:             (v1:metadata.labels['service.istio.io/canonical-revision'])PROXY_CONFIG:                  {}ISTIO_META_POD_PORTS:          [{"containerPort":9303,"protocol":"TCP"}]ISTIO_META_APP_CONTAINERS:     knowledge-baseISTIO_META_CLUSTER_ID:         KubernetesISTIO_META_INTERCEPTION_MODE:  REDIRECTISTIO_META_WORKLOAD_NAME:      knowledge-baseISTIO_META_OWNER:              kubernetes://apis/apps/v1/namespaces/asrank/deployments/knowledge-baseISTIO_META_MESH_ID:            cluster.localTRUST_DOMAIN:                  cluster.localMounts:/etc/istio/pod from istio-podinfo (rw)/etc/istio/proxy from istio-envoy (rw)/var/lib/istio/data from istio-data (rw)/var/run/secrets/istio from istiod-ca-cert (rw)/var/run/secrets/kubernetes.io/serviceaccount from default-token-cfzc5 (ro)
Volumes:istio-envoy:Type:       EmptyDir (a temporary directory that shares a pod's lifetime)Medium:     MemorySizeLimit:  <unset>istio-data:Type:       EmptyDir (a temporary directory that shares a pod's lifetime)Medium:     SizeLimit:  <unset>istio-podinfo:Type:  DownwardAPI (a volume populated by information about the pod)Items:metadata.labels -> labelsmetadata.annotations -> annotationslimits.cpu -> cpu-limitrequests.cpu -> cpu-requestistiod-ca-cert:Type:      ConfigMap (a volume populated by a ConfigMap)Name:      istio-ca-root-certOptional:  falsedate-config:Type:          HostPath (bare host directory volume)Path:          /etc/localtimeHostPathType:  datasets:Type:          HostPath (bare host directory volume)Path:          /var/asrank/knowledge-base/dataHostPathType:  app-log:Type:          HostPath (bare host directory volume)Path:          /var/log/app/asrank/knowledge-baseHostPathType:  default-token-cfzc5:Type:        Secret (a volume populated by a Secret)SecretName:  default-token-cfzc5Optional:    false
QoS Class:       Burstable
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute op=Exists for 2snode.kubernetes.io/unreachable:NoExecute op=Exists for 2s
Events:Type     Reason   Age   From     Message----     ------   ----  ----     -------Warning  Evicted  59m   kubelet  The node was low on resource: memory. Container knowledge-base was using 43775192Ki, which exceeds its request of 5000Mi.Normal   Killing  59m   kubelet  Stopping container knowledge-baseNormal   Killing  59m   kubelet  Stopping container istio-proxy

在Events事件中可以看到,由于该Pod在运行中所需内存超出deployments中request的内存,导致该Pod的container被killed,Pod变为被驱逐(evicted)状态。

Events:Type     Reason   Age   From     Message----     ------   ----  ----     -------Warning  Evicted  59m   kubelet  The node was low on resource: memory. Container knowledge-base was using 43775192Ki, which exceeds its request of 5000Mi.Normal   Killing  59m   kubelet  Stopping container knowledge-baseNormal   Killing  59m   kubelet  Stopping container istio-proxy

解决方案

  1. 分析Pod资源使用情况:检查被驱逐的Pod的资源使用情况,如内存、CPU和磁盘使用率。可以使用kubectl describe pod <pod_name>命令查看Pod的状态和事件。
  2. 调整资源限制:根据实际需求调整Pod的资源限制,如增加内存限制或CPU限制。可以在Pod YAML文件中修改资源限制,然后使用kubectl apply -f <pod_yaml_file>命令更新Pod。
  3. 扩容节点:如果集群中的所有节点都面临资源不足的情况,可以考虑扩容节点以提供更多资源。可以使用云服务提供商的管理控制台或API扩容节点。
  4. 优化应用:优化应用程序以减少资源使用,如减少内存泄漏、优化CPU使用等。
  5. 使用优先级和抢占:为Pod设置优先级,以便在资源紧张时根据优先级驱逐Pod。可以在Pod的YAML文件中设置priorityClassName字段。
  6. 批量清理

根据上述分析,本次事件是由于资源不足导致的。可以根据实际需求调整Pod的资源限制,在Pod的YAML文件中修改资源限制,然后使用kubectl apply -f <pod_yaml_file>命令更新Pod。

有k9s界面的情况下,也可进行如下操作:
(1)基于k9s,输入 :deployments
(2)选择对应的Pod,按 e 键进入编辑模式
(3)修改 resource 资源信息,使得满足程序运行所需资源大小。如:

	requests:cpu: 10memory: 5Gilimits:cpu: 24memory: 48Gi

(4)清理Pod

确认没问题后再做删除被驱逐(evicted)的Pod。

# 查看被驱逐(evicted)的Pod
kubectl get pods -n <namespace-name> |grep  Evicted

在这里插入图片描述

# 执行批量删除
kubectl get pods -n <namespace-name> | grep Evicted | awk '{print $1}' | xargs kubectl delete pod -n <namespace-name>

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/577077.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

picgo报错403 error

文章目录 报错信息原因分析解决方案 报错信息 上传失败 StatusCodeError: 403 - "<?xml version\"1.0\" encoding\"UTF-8\"?>\n\n InvalidAccessKeyId\n The OSS Access Key Id you provided is disabled.\n 原因分析 Message中说该报错的…

javaWeb项目-火车票订票信息系统功能介绍

项目关键技术 开发工具&#xff1a;IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7 框架&#xff1a;ssm、Springboot 前端&#xff1a;Vue、ElementUI 关键技术&#xff1a;springboot、SSM、vue、MYSQL、MAVEN 数据库工具&#xff1a;Navicat、SQLyog 1、Spring Boot框架 …

OSPF GTSM(通用TTL安全保护机制)

目录 GTSM的定义 使用GTSM的目的 GTSM的原理 配置OSPF GTSM实例 组网需求 配置思路 操作步骤 1. 配置各接口的IP地址 2.配置OSPF基本功能 3.配置OSPF GTSM 4. 验证配置结果 GTSM的定义 GTSM&#xff08;Generalized TTL Security Mechanism&#xff09;&#xff0c;…

【js刷题:数据结构数组篇之有序数组的平方】

有序数组的平方 一、题目二、解题方法1、暴力解法2、双指针思路代码 一、题目 给你一个按 非递减顺序 排序的整数数组 nums&#xff0c;返回 每个数字的平方 组成的新数组&#xff0c;要求也按 非递减顺序 排序。 二、解题方法 1、暴力解法 class Solution {sortedSquares(…

二维数组定义 求和,最值,求平均值 JS

定义二维数组 二维数组的求和&#xff0c;最值&#xff0c;求平均值 Eg1 // 二维数组 const matrix [[1, 2, 3],[4, 5, 6],[7, 8, 9] ];// 初始化求和、最大值和最小值 let sum 0; let max Number.MIN_VALUE; let min Number.MAX_VALUE;// 遍历二维数组 for (let i 0; i…

游戏行业行业竞争越来越激烈,遇到DDoS攻击遭受严重损失该如何解决

近年来&#xff0c;我们见证了数字化的快速发展&#xff0c;随着这样的发展&#xff0c;网络的威胁也逐渐增多&#xff0c;在网络攻击门槛不断降低&#xff0c;行业竞争越来越激烈&#xff0c;游戏行业的DDoS攻击如雨点般密集&#xff0c;在整个DDoS攻击的份额中&#xff0c;游…

【JavaSE】java刷题——基础语法熟练应用

前言 通过本篇题目&#xff0c;可以让初学Java的小伙伴们更加熟练Java的基础语法~ 欢迎关注个人主页&#xff1a;逸狼 创造不易&#xff0c;可以点点赞吗~ 如有错误&#xff0c;欢迎指出~ 题1&#xff1a;数字9 出现的次数 题述&#xff1a;编写程序数一下 1到 100 的所有整数中…

简单了解原型模式

什么是原型模式 区别于单例模式&#xff0c;原型模式的一个类可以有多个实例化的对象。 原型模式通过拷贝来产生新的对象&#xff0c;而不是new&#xff0c;并且可以根据自己的需求修改对象的属性。 实现Cloneable接口实现拷贝 而拷贝又分为浅拷贝和深拷贝&#xff0c;两者在…

JVM(一)——内存结构

一. 前言 1、什么是 JVM? 1&#xff09;定义&#xff1a; Java Virtual Machine - java 程序的运行环境&#xff08;java 二进制字节码的运行环境&#xff09; 2&#xff09;好处&#xff1a; 一次编写&#xff0c;到处运行自动内存管理&#xff0c;垃圾回收功能数组下标越…

(科研篇)如何做科研

1.科研周期&#xff1a; 2.CCF列表 1.搜索论文&#xff08;顶会&#xff09; 2.谷歌学术检索 3.如何阅读文献 最重要的部分是abstract introduction 和related work&#xff0c;要明白某个东西的历史&#xff0c;从而进一步发现的缺陷&#xff0c;然后通过实现实验去证明。 通…

【数据结构刷题专题】—— 二分查找

二分查找 二分查找模板题&#xff1a;704. 二分查找 二分查找前提&#xff1a; 有序数组数组中无重复元素 左闭右闭&#xff1a; class Solution { public:int search(vector<int>& nums, int target) {int left 0;int right nums.size() - 1;while (left <…

安装dalton过程中出现的pcre问题

在前面文章中&#xff0c;基于多种流量检测引擎识别pcap数据包中的威胁&#xff0c;并没有详细的说明dalton的安装。由于dalton提供了脚本./start-dalton.sh &#xff0c;执行之后会自动的安装各种依赖以及suricata&#xff0c;zeek&#xff0c;snort的容器环境。但是在实际执行…