线上故障排查实战:5 个经典场景的完整排查链路(运维面试必问)
线上故障排查实战:5 个经典场景的完整排查链路(运维面试必问)CPU 飙高、容器 OOM、磁盘满了、502/504、慢查询突增——这 5 个场景几乎覆盖了 80% 的线上故障。本文给出每个场景的完整排查链路、止损动作和面试答法,文末附自用刷题小程序。为什么面试官爱问你怎么排查因为排查过程最能看出一个人的基本功:知不知道先止损还是先定位每一步为什么看这个指标(而不是背命令)有没有机制沉淀(而不是重启解决)下面 5 个场景,每个都按「现象 → 排查链路 → 根因分类 → 止损 → 预防」拆开讲。场景一:CPU 飙到 100%排查链路# 1. 确认范围:是单机还是整个集群?load 多高?topuptime# 2. 定位进程(按 CPU 排序)top-P# 3. 定位线程(Java 应用关键一步)top-Hppid# 4. 线程号转十六进制printf%x\ntid# 5. 抓栈(Java)jstackpid|grep-A30hex# 通用手段:看热点函数perftop-ppid根因分类现象可能根因用户态高(us)业务死循环、频繁 GC、锁竞争内核态高(sy)系统调用频繁、上下文切换、软中断(si 高 网络)频繁 GCjstat -gcutil pid 1000看 FGC 次数与耗时止损与预防先保留现场(抓栈、dump),再重启/降级能限流先限流,别让雪崩扩散预防:CPU 告警、压测覆盖、代码评审面试加分点“我会先区分用户态还是内核态——这决定了是查代码还是查系统调用;另外我会先抓栈保留现场再重启,否则根因就丢了。”场景二:容器反复重启(OOMKilled)排查链路# 1. 看 Pod 状态与退出原因kubectl describe podpod|grep-A5Last State# 2. 看退出码# 137 OOM 或被 kill;1 应用报错;143 SIGTERM# 3. 看上次容器日志kubectl logspod-p# 4. 进容器看进程内存kubectlexec-itpod--top关键判断是内存泄漏还是峰值超限?持续增长 → 泄漏(查堆内存、堆外内存)平时正常、高峰被杀 → limits 太小或流量突增Java 堆外内存容易被忽略:DirectByteBuffer、Netty、JNI止损与预防止损:调大 limits、限流、重启预防:压测摸清峰值、加内存监控、JVM 参数调优场景三:磁盘满了第一步:区分两种满df-h# 空间满df-i# inode 满(大量小文件)这两种满的处理方式完全不同。第二步:定位大目录du-sh/*2/dev/null|sort-rh|head常见元凶:日志、core dump、容器日志(/var/lib/docker/containers)、K8s(/var/log/pods)。经典陷阱:删了文件,空间没释放文件被进程持有句柄,rm只解除目录引用,inode 仍被占用。lsof|grepdeleted# 找到持有进程# 处理:重启/reload 该进程;日志类可 kill -USR1 让其重开日志预防logrotate 轮转 max-size/max-file磁盘与 inode 双告警应用侧禁止往 stdout 打海量 debug 日志场景四:网关 502 / 504两者本质不同状态码含义排查方向502upstream 没接住请求后端进程挂了、端口不通、连接被拒504连上了但处理超时后端慢:慢查询、下游依赖、GC 停顿排查链路# 1. 看网关错误日志tail-f/var/log/nginx/error.log# 502 → connect() failed / connection refused# 504 → upstream timed out# 2. 绕过网关直连后端,确认是网关还是服务问题curl-vhttp://backend-ip:port/health# 3. 看连接数是否打满ss-snetstat-an|grepport|wc-l止损与预防502:先恢复后端(重启/扩容),再查为什么挂504:先看后端耗时分布(是全部慢还是个别接口),必要时降级非核心依赖预防:健康检查、超时与重试配置、连接池监控场景五:MySQL 慢查询突然增多排查顺序(很重要)先看变更:最近有没有发布、加索引、数据量增长、流量突增定位 TOP SQL:-- 慢查询日志按耗时排序mysqldumpslow-s t/var/log/mysql/slow.log|head看执行计划:EXPLAINSELECT...;-- 重点:type(ALL 全表扫)、rows(扫描行数)、Extra(filesort/temporary)看锁与连接:show processlist、show engine innodb status常见根因索引失效:函数操作、隐式类型转换、前导通配符、不满足最左前缀深分页:limit 100000, 20→ 游标分页或延迟关联大事务、锁等待止损与预防应急:kill 慢查询、限流、降级非核心查询根治:加/改索引、SQL 改写、历史数据归档预防:慢 SQL 门禁进发布流程、定期巡检 TOP SQL面试怎么答:一个通用框架不管问哪个场景,按这个结构答就不会乱:现象与影响面 → 止损动作 → 定位过程(逐步缩小范围) → 根因 → 改进与沉淀四个加分点:先止损后根因——说清为什么先做这个动作说判断依据——不是背命令,而是看到 A 说明 B,所以查 C给量化结果——“P99 从 800ms 降到 120ms”讲沉淀——文档、SOP、监控告警、演练机制反面例子:“重启一下就好了” —— 面试官听到这句基本就结束追问了。这些排查链路我整理成了一个小程序上面这些场景的题目(以及更多)我整理成了一个小程序「系统运维面试题学习随手记刷」,295 道题,按 8 个模块分类:中间件 · DevOps · SRE · 云原生 · Linux · AIOps · Shell · 综合开放题题库全部免费,不用登录,每题都有参考答案,就是本文这种排查步骤 回答结构的形式把简历和 JD 粘进去,会出 20 道针对你经历的押题,并给一份适配度分析还有录像练习:摄像头答题 → 回放 → 按要点自评,练表达(本地处理,不上传)微信搜索小程序「系统运维面试题学习随手记刷」你遇到过最离谱的线上故障是什么?评论区聊聊。

相关新闻

《辐射4》次世代控制台召唤原理与稳定实践指南

《辐射4》次世代控制台召唤原理与稳定实践指南

1. 次世代更新带来的控制台生态剧变:从“能用”到“慎用”的分水岭《辐射4》次世代更新(Next Generation Update)不是一次简单的画质升级,它是一次底层架构的重写。我第一时间在PS5和Xbox Series X上反复测试过——原版PC端那些随…

2026/11/22 11:56:23 阅读更多 →
YOLOv8智能小车实战:从数据集到边缘部署的完整指南

YOLOv8智能小车实战:从数据集到边缘部署的完整指南

简介:这套资源面向需要快速上手目标检测与小车识别场景的开发者,提供已训练好的YOLOv8智能小车检测权重、完整数据集以及训练评估图表。检测模型可直接加载使用,数据集图片为jpg,并同时提供xml与txt两种标注格式,分别存…

2026/11/22 9:34:28 阅读更多 →
基因融合检测全解析:从产生机制到RNA-seq鉴定方法

基因融合检测全解析:从产生机制到RNA-seq鉴定方法

基因融合这个概念,第一次接触的人多半会觉得它离自己很远——听起来像是只有肿瘤基因组学或者罕见病研究里才会用到的冷门术语。但实际情况恰恰相反:只要你做过RNA-seq数据分析、跑过融合基因检测流程、或者哪怕只是看过几份肿瘤患者的临床报告&#xff…

2026/11/22 7:38:02 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻