K8s 生产排障实战:10 个高频故障与排查命令(建议收藏)
摘要整理 K8s 生产环境十类高频故障:Pending、CrashLoopBackOff、ImagePullBackOff、OOMKilled、Service 不通、Ingress 报错、节点 NotReady、磁盘压力驱逐、滚动发布抖动、DNS 解析失败。每类给出排查命令、常见根因与处理方式,附 kubectl 速查表。排查前的三个基本功kubectl get pod-owide# 看状态与所在节点kubectl describe podpod# 看 Events(80% 的答案在这)kubectl logspod[-p][-c 容器名]# 看当前/上次日志记住一个原则:先看 describe 的 Events,再看日志——调度失败、拉镜像失败、探针失败都写在 Events 里。1. Pod 一直 Pending排查kubectl describe podpod|grep-A10Events常见根因Events 关键字含义Insufficient cpu/memory节点资源不足 → 看 requests 是否过大node(s) had taint节点有污点,Pod 没配 tolerationsdidnt match node selector/affinity亲和性/选择器写错volume node affinity conflictPV 与 Pod 不在同可用区no nodes available节点 NotReady 或全部被占满2. CrashLoopBackOff(反复重启)排查顺序kubectl logspod-p# 1. 上次容器日志(关键)kubectl describe podpod# 2. 看退出码与 OOMKilled退出码速查退出码含义1应用自身报错(配置、依赖、端口占用)137被 SIGKILL:OOM 或 liveness 探针超时被杀143收到 SIGTERM 正常退出(常是优雅停机逻辑有问题)容易忽略的点:livenessProbe配置不当(初始延迟太短、路径写错)会导致应用还没起来就被反复杀死——这类问题日志里看不出报错,只能从 Events 的Killing container发现。3. ImagePullBackOff / ErrImagePullkubectl describe podpod|grep-A5Events常见原因:镜像名/标签写错(最常见)私有仓库没配imagePullSecrets仓库凭证过期节点到仓库网络不通(内网 registry、镜像加速器失效)4. Pod 被 OOMKilledkubectl describe podpod|grep-ioom kubectltoppodpod# 看实际内存判断是泄漏还是峰值超限:持续增长→ 应用内存泄漏(Java 看堆 堆外 DirectByteBuffer)平时正常、高峰被杀→limits太小或流量突增处理:先临时调大limits止血,再定位根因;requests也要设合理,否则调度会超卖。5. Service 访问不通三步定位# 1. Endpoints 是否为空(最常见的坑)kubectl get endpointssvc# 2. 从 Pod 内部测试kubectlexec-itpod--curlsvc-name:port# 3. 看 Service 与 Pod 的标签是否匹配kubectl get svcsvc-oyaml|grepselector kubectl get pod --show-labelsEndpoints 为空 selector 与 Pod 标签不匹配,或 Pod 未 Ready(readiness 没过也不会进 Endpoints)。6. Ingress 返回 404 / 502现象排查方向404host / path 规则不匹配;IngressClass 选错502后端 Service/Endpoints 有问题(回到第 5 条)503后端无可用 Podkubectl get ingress kubectl describe ingressname# 看规则与后端kubectl logs-ningress-nginxingress-pod# 看网关侧错误7. 节点 NotReadykubectl describenodenode|grep-A10Conditions常见原因:kubelet 挂了 →systemctl status kubelet容器运行时异常(containerd/docker)磁盘压力 / 内存压力 → 节点进入 DiskPressure网络插件异常(Calico/Flannel Pod 挂了)注意:节点 NotReady 超过pod-eviction-timeout后,上面的 Pod 会被驱逐,可能引发雪崩。8. 磁盘压力导致 Pod 被驱逐kubectl describenodenode|grep-ipressuredf-h/var/lib/kubelet /var/lib/containerdK8s 默认驱逐阈值:节点可用磁盘低于 10~15% 就开始驱逐。元凶通常是:容器日志(/var/log/pods)、镜像层堆积、core dump。处理:清理:crictl rmi --prune清理无用镜像根治:限制容器日志大小(log-opts max-size)、日志采集后轮转把 kubelet 与镜像目录单独挂盘9. 滚动发布期间流量抖动四个关键配置spec:strategy:rollingUpdate:maxUnavailable:0# 先起新的再停旧的maxSurge:1template:spec:terminationGracePeriodSeconds:30containers:-name:appreadinessProbe:# 真正就绪才接流量httpGet:{path:/healthz,port:8080}initialDelaySeconds:5lifecycle:preStop:exec:{command:[sh,-c,sleep 5]}# 先摘流量再退出再加PDB保护最小可用副本数:apiVersion:policy/v1kind:PodDisruptionBudgetspec:minAvailable:2selector:matchLabels:{app:myapp}10. Pod 内 DNS 解析失败kubectlexec-itpod--cat/etc/resolv.conf kubectlexec-itpod--nslookupkubernetes.default kubectl get pod-nkube-system|grepcoredns kubectl logs-nkube-systemcoredns-pod常见原因:CoreDNS Pod 异常或副本不足ndots:5导致大量无效查询(短域名拼接)节点 conntrack 表满(高并发下 DNS 丢包)网络插件策略拦截kubectl 速查表# 状态与事件kubectl get pod-owide kubectl describe podpodkubectl get events --sort-by.lastTimestamp|tail-20# 日志kubectl logspod-p--tail200kubectl logspod-ccontainer-f# 资源kubectltoppod / kubectltopnode# 网络kubectl get svc,ep,ingress kubectlexec-itpod--sh# 节点kubectl describenodenodekubectl getnode-owide# 排障临时容器(1.23)kubectl debug-itpod--imagebusybox--targetcontainer排查心法先看 Events 再看日志——调度/镜像/探针问题日志里没有对比变更前后——刚发过版?先回滚再说保留现场——重启前先describe、logs -p、必要时kubectl debug别只修一台——集群问题往往成片出现,先看是不是节点级/网络级这些排查链路我整理成了一个小程序上面这些场景的题目(以及更多)我整理成了一个小程序「系统运维面试题学习随手记刷」,295 道题,按 8 个模块分类:中间件 · DevOps · SRE · 云原生 · Linux · AIOps · Shell · 综合开放题题库全部免费,不用登录,每题都有参考答案,就是本文这种排查步骤 回答结构的形式把简历和 JD 粘进去,会出 20 道针对你经历的押题,并给一份适配度分析还有录像练习:摄像头答题 → 回放 → 按要点自评,练表达(本地处理,不上传)微信搜索小程序「系统运维面试题学习随手记刷」你遇到过最离谱的线上故障是什么?评论区聊聊。

相关新闻

PyTorch数字识别毕设系统:可调参、可部署、可答辩

PyTorch数字识别毕设系统:可调参、可部署、可答辩

简介:本资源是一套基于Python与深度神经网络实现的手写数字识别系统,面向计算机专业本科生及人工智能初学者,适用于毕业设计、课程设计等实践场景,解决手写数字图像自动识别这一经典机器学习任务。压缩包共18个文件,约…

2026/9/25 3:32:15 阅读更多 →
如何选择合适的亥姆霍兹线圈绕线材质

如何选择合适的亥姆霍兹线圈绕线材质

选亥姆霍兹线圈的绕线材质,核心就是先把住无磁的**底线,再顺着你实际用的时候的电流、频率、精度要求和使用环境挑适配的材料,别因为选错线,*后磁场均匀度掉下来、线圈用不了多久就出问题。首先得把**不能碰的红线卡死&#xff0c…

2026/9/25 9:28:59 阅读更多 →
飞机型号识别数据集全解析:从目标检测到细粒度分类的实战指南

飞机型号识别数据集全解析:从目标检测到细粒度分类的实战指南

简介:飞机型号识别数据集(04)面向从事目标检测与细粒度图像分类的算法研究者、军工爱好者及高校学生,采集自俄罗斯机场,覆盖苏霍伊、米格、安东诺夫、伊尔、雅克、图波列夫等47种军民机型,可用于飞机检测、…

2026/9/25 4:55:56 阅读更多 →

最新新闻

Windows下MinGW-w64完整包安装教程:从选型、配置到避坑全指南

Windows下MinGW-w64完整包安装教程:从选型、配置到避坑全指南

简介:面向Windows平台C/C开发者的MinGW mingw64完整配置包,适合刚接触GNU工具链、需要快速搭建本地编译环境的初学者。压缩包共2000个文件,约129.46MB,以h/hpp头文件和Python脚本为主,另有c源码、txt说明、shell脚本与…

2026/9/25 22:59:21 阅读更多 →
ModLens Guard 机制源码解读:如何精准嗅探模型有无视觉能力,杜绝无效图片调用

ModLens Guard 机制源码解读:如何精准嗅探模型有无视觉能力,杜绝无效图片调用

ModLens Guard 机制源码解读:如何精准嗅探模型有无视觉能力,杜绝无效图片调用 【免费下载链接】modlens The first vision plugin for DeepSeek Harness, and the vision bridge for every text-only coding agent. Paste an image, get structured JSON…

2026/9/25 22:59:21 阅读更多 →
bb SDK 编程指南:用 BBSdk 以代码驱动你的 AI 编码工作流

bb SDK 编程指南:用 BBSdk 以代码驱动你的 AI 编码工作流

bb SDK 编程指南:用 BBSdk 以代码驱动你的 AI 编码工作流 【免费下载链接】bb The agent IDE that builds itself 项目地址: https://gitcode.com/gh_mirrors/bb14/bb bb 是一款「自我构建的智能体 IDE(agentic IDE)」,而 …

2026/9/25 22:59:21 阅读更多 →
Flutter实战:AI对话App开发环境搭建与核心链路解析

Flutter实战:AI对话App开发环境搭建与核心链路解析

1. 立项复盘:这个AI对话App为什么最终选了Flutter那周产品例会开了二十分钟,需求就一句话:"我们要做一个AI对话App,手机上能用,先上Android和iOS。"听完这句话,我脑子里先闪过三个技术选型&#…

2026/9/25 22:59:21 阅读更多 →
C# + OpenVINO + 异步推理:YOLO 实时检测流水线优化与 FPS 提升实践

C# + OpenVINO + 异步推理:YOLO 实时检测流水线优化与 FPS 提升实践

简介:这份资源是一套C#结合OpenVINO部署YOLO模型并实现异步推理的完整工程与教程资料,面向希望在高帧率场景下(如150FPS以上)做实时目标检测的开发者。资源涵盖模型转换、IR格式优化、C#环境配置及异步推理关键代码,适…

2026/9/25 22:59:21 阅读更多 →
七星卫通技术专业吗

七星卫通技术专业吗

从北斗卫星导航系统完成全球组网,到天通一号卫星移动通信系统建成,国产卫星通信产业从追赶到并跑,从单点突破到体系成型,走过了十余年的攻坚旅程。在这片关乎信息安全、关乎极端场景通信保障的蓝海中,北京七星卫通科技…

2026/9/25 22:58:20 阅读更多 →

日新闻

AI元人文:从工具使用到思维重构的深度探索

AI元人文:从工具使用到思维重构的深度探索

最近半年我一直在琢磨一件事:AI元人文到底是什么?说白了,就是“用元视角重新审视人与AI的关系”,也在“探索AI如何反向逼着我们发现自己的思考边界”。标题里的“元探索”,在我看就是一层套一层的追问——当你用AI解决…

2026/9/25 0:00:41 阅读更多 →
Python+CNN车牌识别实战:从数据预处理到模型训练与部署

Python+CNN车牌识别实战:从数据预处理到模型训练与部署

简介:基于Python与卷积神经网络的车牌识别项目,面向计算机视觉初学者及智能交通开发者,目标是帮助用户掌握从数据预处理、模型构建到实际部署的完整流程。压缩包共25个文件,包含jpg/png图像样本、py训练脚本、md说明文档、dat数据…

2026/9/25 0:00:41 阅读更多 →
Vim基础操作全攻略:保存退出、模式切换与高频命令实战

Vim基础操作全攻略:保存退出、模式切换与高频命令实战

1. 项目概述1.1 核心需求解析今天聊聊Vim。写这个题目的原因是:几乎每个后端开发者、运维人员、数据工程师某天都会遇到一个场景——深夜加班,服务器登录界面只有黑底白字,编辑器只有vi/vim,你必须在五分钟内完成一次配置修改并保…

2026/9/25 0:00:41 阅读更多 →

周新闻

Flutter for OpenHarmony游戏卡片渐变背景实战:从原理到性能优化

Flutter for OpenHarmony游戏卡片渐变背景实战:从原理到性能优化

直接铺开项目本身吧。这几个月我一直在折腾一件事:用Flutter给OpenHarmony做一款游戏集合类的App,说白了就是把若干小游戏塞进一个壳里,用统一入口分发。这个方向本身不算新鲜,真正让我花了不少心思的,是首页那堆游戏卡…

2026/9/25 19:27:14 阅读更多 →
Word表格编号全攻略:从列表编号到题注交叉引用

Word表格编号全攻略:从列表编号到题注交叉引用

写Word文档,最让人头疼的往往是那些“看起来不起眼”的小问题。比如表格编号这事:今天在表后面多加了两个空白行,明天给客户交稿前发现整个章节的编号全部错位,光是挨个改序号就能耗掉大半个下午。我前阵子帮人整理一份上百页的技…

2026/9/25 11:15:26 阅读更多 →
从第一个站到第二个站:独立开发者的静态网站选型与落地实践

从第一个站到第二个站:独立开发者的静态网站选型与落地实践

1. 项目概述1.1 核心需求解析做独立开发者这几年,说实话,第一个网站上线的那天晚上我兴奋得没睡着。但等它跑了半年,流量惨淡、功能臃肿、代码自己都懒得看第二遍之后,我才慢慢琢磨明白一个道理:第一个网站是练手&…

2026/9/25 20:29:09 阅读更多 →

月新闻

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能分类:[AI/大模型]细分主题:AI 增强型 CI/CD 流水线自动化与 GitOps 实践:Agent 工作流、工具调用与任务拆解:从原型到生产的验收清单很多团队在尝试用大…

2026/9/25 20:29:43 阅读更多 →
容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场分类:[工程技术]细分主题:Kubernetes 生产环境运维与排障实战:可复制的项目复盘模板与决策记录大部分团队的事故复盘报告,最后都变成了躺在 Confluence 或钉…

2026/9/25 20:29:31 阅读更多 →
容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步分类:[工程技术]细分主题:Docker 容器化技术与镜像安全管理:核心链路的逐步实现与关键代码取舍面对一个积累了五六年历史包袱的单体架构应用(包含 Web 接口、后台…

2026/9/25 19:27:26 阅读更多 →