1. Linux故障排查的核心思路与基本原则作为一名在Linux系统运维领域摸爬滚打十年的老手我处理过上千次系统故障。与Windows不同Linux故障往往不会弹出友好提示框而是通过日志、返回码和异常行为默默抗议。掌握系统化的排查方法比记住具体命令更重要。排查Linux故障时我始终坚持三个黄金原则先看现象再动手记录完整的错误表现包括时间戳、触发条件、报错信息从简单到复杂先检查网络连接、磁盘空间等基础项再深入内核参数保持现场完整性在不确定的情况下先用screen或tmux创建隔离环境重要提示永远不要在root用户下直接执行来源不明的修复命令这相当于把系统管理员权限交给未知脚本。2. 高频故障场景与速查指南2.系统启动故障排查当系统无法启动时我通常会按照以下顺序排查BIOS/UEFI阶段检查硬件自检是否通过听蜂鸣声/看指示灯确认启动设备顺序是否误设USB优先GRUB引导阶段按e编辑启动项临时去掉splash quiet参数查看详细日志尝试init/bin/bash进入应急shell内核加载阶段观察卡在哪个驱动加载环节常见于显卡、RAID驱动使用dmesg | grep -i error过滤关键错误初始化系统阶段systemd系统查看journalctl -xbSysVinit系统检查/var/log/boot.log2.2 性能问题诊断流程上周刚处理过一个生产环境CPU跑满的案例我的标准排查动线是快速定位异常进程top -c -o %CPU pidstat 1 5分析线程级资源占用ps -eLf | grep PID perf top -p PID检查系统负载均衡mpstat -P ALL 1 lscpu深入进程行为分析strace -ff -p PID ltrace -p PID3. 日志分析的进阶技巧3.1 必须掌握的日志工具链基础查看less /var/log/syslog # Debian系 less /var/log/messages # RHEL系实时监控tail -f /var/log/nginx/error.log | grep -v favicon.ico高级过滤journalctl --since 2023-07-01 --until 2023-07-02 _UID10003.2 日志关联分析实战去年处理过一个分布式系统的诡异故障最终通过日志关联找到根源提取时间窗口sed -n /Jul 15 14:00/,/Jul 15 14:30/p /var/log/cluster.log timewindow.log多日志源关联paste (cat nginx.log) (cat app.log) | awk /502/{print $1,$NF}异常模式识别awk {print $1} auth.log | sort | uniq -c | sort -nr | head4. 网络故障的深度排查4.1 分层诊断法我习惯按照OSI模型自底向上排查物理层ethtool eth0 mii-tool eth0网络层ip -s link show dev eth0 tc -s qdisc show dev eth0传输层ss -tulnp conntrack -L应用层curl -v http://localhost:8080/api tcpdump -i any -w capture.pcap4.2 典型网络问题案例最近遇到的三个经典网络故障MTU不匹配导致大包丢失ping -M do -s 1472 192.168.1.1ARP缓存污染arp -vn | grep incomplete ip neigh flush dev eth0连接跟踪表溢出sysctl net.netfilter.nf_conntrack_max dmesg | grep nf_conntrack5. 存储问题排查大全5.1 磁盘I/O性能分析我的标准诊断工具包# 实时IO监控 iotop -oP iostat -x 1 # 深度分析 blktrace -d /dev/sda -o trace btt -i trace.blktrace5.2 文件系统故障处理遇到文件系统错误时我的应急流程强制卸载umount -l /mnt进入单用户模式systemctl rescue修复检查fsck -y /dev/sdb1 xfs_repair /dev/sdc1坏块检测badblocks -v /dev/sdd smartctl -t long /dev/sde6. 内核级问题诊断6.1 内核日志分析关键命令组合dmesg -T --levelerr,warn journalctl -k --since 1 hour ago cat /proc/kmsg | grep -i oops6.2 内核参数调优经常需要调整的参数示例# 防止进程OOM被杀 sysctl vm.overcommit_memory2 # 提升文件描述符限制 sysctl fs.file-max2097152 # 缓解SYN洪水攻击 sysctl net.ipv4.tcp_syncookies17. 安全相关故障排查7.1 权限问题诊断常见症状排查# 检查文件权限 namei -l /path/to/file # 查看SELinux上下文 ls -Z /var/www/html # 审计日志分析 ausearch -m avc -ts recent7.2 入侵检测流程我的应急响应checklist检查异常进程ps auxf | grep -E (\./|tmp|var/tmp)分析网络连接lsof -i -n -P netstat -tulnpe验证文件完整性rpm -Va debsums -c8. 自动化排查工具集8.1 我的常用诊断脚本系统健康检查脚本片段#!/bin/bash echo Memory free -h echo -e \n Disk df -hT -x tmpfs -x devtmpfs echo -e \n Load uptime8.2 开源诊断工具推荐经过实战检验的工具perf系统级性能分析sysdig全系统监控bpftrace动态追踪nmon资源监控mtr网络诊断9. 疑难杂症处理经验9.1 玄学问题解决思路遇到无法解释的现象时我的三板斧环境隔离用Docker重现问题最小化复现剥离所有非必要组件二分回滚通过版本控制逐步定位9.2 硬件相关故障特征这些现象往往指向硬件问题随机性的段错误segfaultECC内存报错磁盘SMART预警网卡CRC错误计数增长10. 建立个人知识库10.1 我的故障记录模板## 问题描述 [现象、时间、影响范围] ## 排查过程 1. 第一线索 2. 验证步骤 3. 转折点 ## 根本原因 [技术层面的根本原因] ## 解决方案 [具体可操作的修复步骤] ## 经验总结 [下次如何更快发现/预防]10.2 推荐的知识管理工具Obsidian本地知识图谱Joplin跨平台笔记Cheat.sh命令行速查tldr简化版man手册经过多年实践我发现最有效的学习方式是把每个解决的故障都记录下来。当类似问题再次出现时这个私人知识库能节省大量时间。最近我正在用Ansible把常见修复方案自动化这样下次遇到已知问题一个playbook就能搞定。