1. 管道与重定向真正进入“组合拳”的第一道门1.1 重定向的符号到底在重什么很多人学完和之后只知道“大于号是覆盖写入双大于号是追加写入”但并不知道背后的数据流逻辑。我建议先把这件事想明白Linux里一切皆文件而每个命令执行时操作系统会给它开三个默认通道——标准输入、标准输出、标准错误。标准输出是命令正常打印出来的内容比如ls列出的文件名标准错误是命令运行时打出的报错信息比如“Permission denied”标准输入则是命令等待你给的原料。和干的事就是把这个“标准输出”默认指向屏幕的通道改指向一个文件。我可以给你一个很典型的场景echo backup start /var/log/backup.log这条命令执行完屏幕上什么都看不到因为echo的输出被写进了文件。第二次再跑用追加避免把上一次的记录覆盖掉。这个细节如果没搞懂后面所有用到重定向的脚本都会写得稀里糊涂。1.2 标准错误为什么要单独处理普通用户最容易踩的第一个坑是分不清“标准输出”和“标准错误”。举个例子find / -name *.conf /tmp/conf_list.txt如果当前用户对某些目录没有读取权限find会打印一堆错误。你本意是想把文件列表收集到 txt 里结果错误信息还是哗哗地冲到屏幕上。这时候应该把标准错误也重定向走find / -name *.conf /tmp/conf_list.txt 2121的意思是把第 2 号通道标准错误指向第 1 号通道标准输出当前的去向。因为1已经指向了文件所以错误也会进同一个文件。也可以分开收集find / -name *.conf /tmp/conf_list.txt 2 /tmp/error.log同样是2把错误单独放进另一个文件日志收集时就能直接看失败的原因。日志里如果出现大量权限错误说明命令要么该用管理员身份跑要么需要把搜索范围缩小。1.3 管道和 xargs把命令连成流水线管道符|是把前一个命令的输出当作后一个命令的输入。它的价值在于让单条命令各司其职再拼成一条完整的处理链。ps aux | grep nginx这条命令是排查进程时用得最多的ps aux列出所有进程grep拿着这个列表筛选出包含 nginx 的行。但管道有个限制它传的是“文本输出”而不是“参数列表”。如果你想让后一个命令把前一个输出的每一行当成一个参数去执行就要用xargs。find /data/logs -name *.tmp -print0 | xargs -0 rm -f-print0配合-0是为了处理文件名里带空格的情况xargs拿到的是以空字符分隔的文件名列表比默认的按行拆分可靠得多。没有这一步文件名里只要有一个空格命令就会把同一个文件拆成两个参数轻则报错重则删错东西。1.4 磁盘空间不足时先这样定位大文件这是一套组合命令我到现在还在用。当系统报“No space left on device”的时候第一反应不是到处乱删而是按目录逐层往下找df -h # 先看各分区剩余空间 du -sh /data/* | sort -rh # 再看 /data 下哪个目录最占空间du -sh把每个目录的总大小列出来sort -rh按人类可读的数字从大到小排序。如果发现logs目录最大就往里再走一层du -sh /data/logs/* | sort -rh | head -20前二十个最大的文件或目录一下子就能看到。整套思路就是“分区 → 目录 → 子目录 → 文件”逐级缩小范围比直接翻文件快得多。1.5 管道里的两个经典隐坑第一个坑管道是在子shell里执行的你在管道后面对变量的修改外面拿不到。比如echo test | read VAR echo $VAR # 输出是空的这不是read的锅而是管道左右两边各自处于独立的进程中子进程设置的环境变量不会传回父进程。需要这种场景时用或者把结果重定向到临时文件再读会更好理解。第二个坑你既想看命令输出存在文件里又想在屏幕上实时观察。直接会吞掉屏幕输出只留一个会丢掉文件记录。这时用teeping -c 4 127.0.0.1 | tee /tmp/ping_result.txttee像一根三通管数据会同时流向屏幕和指定文件调试脚本时非常实用。2. grep、sed、awk文本处理三件工具的取舍逻辑2.1 grep 负责做减法只留下你关心的行grep干的事很简单按行筛数据保留下包含指定模式的行。但很多人的用法停留在grep 关键字 文件名稍微进阶一点的操作就够解决大半问题grep -E ERROR|FATAL /data/logs/app.log # 同时匹配多个关键词 grep -v ^# /etc/nginx/nginx.conf # 排除注释行看有效配置 grep -c ERROR /data/logs/app.log # 只统计出现次数不打印内容 grep -rl 127.0.0.1 /data/config/ # 列出包含该字符串的文件名其中-E表示使用扩展正则表达式|在正则里表示“或”。我刚学的时候经常忘记加-E然后奇怪为什么|不起作用。这个细节是很多人都踩过的我这里先点出来。-v是反向匹配用于过滤掉不想看的行。在看配置文件时非常方便把所有注释和空行全部扔掉剩下就是真正生效的配置。2.2 sed 负责做增删改不打开文件也能改文件sed全称是 Stream Editor流编辑器。它一条一条读入内容处理完再输出天然适合脚本场景。最常见的用法有三个sed -n 20,40p /data/logs/app.log # 只查看第20到40行-n关闭默认输出 sed -i s/192.168.1.10/192.168.1.20/g config.conf # 全局替换IP sed -i /^#/d config.conf # 删除以#开头的行-i是直接修改原文件不加-i的话结果只会打印到屏幕上文件不变。新手练习时建议先不加-i确认输出符合预期了再补上去否则替换错了想还原就很麻烦了。这里说一个经验改完配置后如果程序还报错先用sed -n 1,50p config.conf把文件开头几十行原样看一遍很多时候问题出在你不记得文件原本长什么样而不是替换规则写错了。2.3 awk 负责做统计把文本当表格看awk默认按空格或制表符把一行拆成多个字段$1是第一列$NF是最后一列。它的核心价值在于“按列计算”这是grep和sed做不到的。举个例子某个访问日志里每一行格式是IP、时间、访问路径、状态码、响应大小。现在想看总共产生了多少流量awk {sum $5} END {print sum} access.log$5是第五列每读一行就累加到 sum 里全部读完后打印总和。再比如按状态码统计访问次数awk {print $4} access.log | sort | uniq -c | sort -rn这段命令先把第四列状态码全部打印出来sort排序uniq -c统计每个值的数量最后sort -rn按数量倒序排列。日志里谁被访问得最多、哪些状态码出现频率高一眼就清楚了。2.4 三件工具组合出的标准日志分析套路实际碰到问题的时候很少只用一个工具。下面是一个我常用的排查套路先找错误类型再提取出错的具体位置grep -E ERROR|Exception /data/logs/app.log | awk {print $3} | sort | uniq -c | sort -rn解析一下grep先把包含错误信息的行筛出来awk取出第三列通常是错误类型或异常类别sort | uniq -c按错误类型聚合并计数sort -rn把出现次数最多的放在最上方。整个链路下来不再需要打开日志文件肉眼翻几百页问题高发点自然就浮出水面。2.5 什么时候不该用三件套而是换脚本若处理的是结构化数据、多表关联、复杂嵌套逻辑或者要对结果反复修正继续用awk拼长命令会变得难维护、易出错。我的建议是单次交互式分析尽量在这三个工具里完成一旦逻辑需要循环、条件分支多、错误处理严格就写 Python 或 Perl 脚本把日子留给自己别为难一条命令行。工具链的价值在于快速得出结果而不是炫技。3. 权限、用户与“chmod 777”埋下的雷3.1 权限位的基础rwx 和 421ls -l输出第一列是一串字符比如-rw-r--r--。这一共 10 位第 1 位是文件类型-普通文件d目录后面 9 位分成三组分别代表属主、属组、其他用户的权限。每组三个字符r读、w写、x执行。而数字权限的本质就是把每组权限换算成二进制。r是 4w是 2x是 1组合相加rwx 7可读可写可执行r-x 5可读可执行不可写r-- 4只读所以chmod 755 file就是属主 7rwx、属组 5r-x、其他人 5r-x。这是个非常通用的权限配置目录和可执行文件都适合。3.2 chmod 777 为什么让人头疼chmod 777意味着任何人包括非本机用户、被入侵的进程都可以读写执行。放在单机测试环境里也许无所谓但一放到真实部署环境就是灾难的开始。举个例子某个 Web 服务目录被设成 777 后任何能向服务器提交文件的人都可以把恶意脚本扔进去并执行进程权限往往就是运行该服务的用户整个范围就会被扩大。我见过不少被搬进目录的木马事件排查到最后根因基本都是“临时图方便777 一下”。合理的做法是先想清楚这个目录或文件“该给谁用”再给最小权限。配置文件一般 644脚本和二进制可执行文件 755只有需要写入的目录才放宽到 775 或 760。3.3 用户与组把一群人放进同一个写权限组权限位里“属组”那一段对应的就是一个用户组。多个用户想共同维护一个目录最可靠的做法不是把它们全变成目录所有者也不是给目录开 777而是建组、加人、给组权限。实操步骤如下groupadd deployers useradd -m -G deployers alice useradd -m -G deployers bob mkdir /data/shared chown root:deployers /data/shared chmod 2775 /data/sharedchown的作用是修改文件或目录的属主和属组接下来chmod 2775里的2先记一下稍后解释775表示属主和组内成员都可读写执行其他人只能读和执行。3.4 特殊权限位目录上的 s 和 t前面2775里的2是设置 SGIDSet Group ID。对目录来说SGID 的效果是在这个目录下新建的文件会继承目录的属组而不是创建者自己的默认组。这个特性在多人协作目录里非常关键。没有 SGIDalice 建的文件属组是 alicebob 就算在同一个目录也未必能改。设了 SGID目录下所有新文件的属组都自动变成 deployers组内成员就能按组权限协同操作。还有一位是 Sticky Bit体现为权限位的t。最常见的例子是/tmpdrwxrwxrwt。它的约束是目录内文件允许每个人读写但只有文件属主或 root能删除。这就是为什么/tmp里大家能放文件却不能随手删别人的临时文件。3.5 权限排查的完整思路权限出问题时别急着改权限先理清现状ls -ld /data/shared # 确认目录权限位 ls -l /data/shared # 看文件属主和属组 id alice # 看 alice 属于哪些组 groups bob # 看 bob 的组列表按顺序核对用户是不是目录属主 → 不是的话用户在不在属组里 → 如果两者都不沾那就只能走“其他人”那一段权限。一次权限报错90% 都是“中间那段权限没给对”而不是真的需要 777。4. 进程与系统状态排查“变卡了”的标准动作4.1 先看资源再下结论服务器变卡的第一反应不该是重启而是先确认哪项资源被占满了。四个基础命令各管一摊free -h # 看内存和交换分区 df -h # 看磁盘剩余空间 top # 看实时CPU、内存占用最高的进程free -h里的-h是 human-readable自动以 G 或 M 为单位显示。重点看两行Mem的实际可用值以及Swap的使用情况。Swap 一旦持续飙高说明物理内存已经不够用系统正在拿磁盘当内存用性能自然会掉下来。top输出前几行是整体负载下面的列表是具体进程。按Shift P按 CPU 排序按Shift M按内存排序。这个交互界面里的快捷键比直接看默认顺序高效得多。4.2 ps 和 top 各自的应用场景top适合实时观察但它是动态的不适合脚本获取“当前这一刻”的进程快照。ps则相反一次执行、一次输出。排查时更推荐ps -ef | grep java-e表示列出所有进程-f表示显示完整格式包括父进程 PIDPPID。找到进程的 PID 后如果还想看那个进程的实时资源占用再执行top -p 12345-p指定 PID只追踪这一个进程的资源变化省去了在全部进程里翻找的麻烦。4.3 kill 信号别一上来就 -9kill的本意不是“杀死”而是向进程发送一个信号。默认发送的是 TERM15号进程收到后可以做收尾工作保存状态、释放资源、关闭文件。这属于“礼貌地请它退出”。如果进程没反应才开始考虑kill -9。9号信号是 SIGKILL强制结束内核直接回收进程资源不给进程任何善后机会。问题在于进程正在写的文件可能损坏依赖它的其他任务会突然中断。我处理进程问题的顺序一般是kill 12345 # 先发 TERM sleep 2 kill -0 12345 echo 进程还活着 # 确认是否还在 kill -9 12345 # 确认还活着才强制结束kill -0看起来像“杀死 0 号进程”实际意思是发送空信号只用来探测进程是否存在。这个技巧很适合脚本里判断进程状态。4.4 前台、后台与 nohup终端里直接跑一个命令窗口会被占住这叫前台执行。想让它滚到后台最简单的是在命令末尾加sleep 1000 此时终端会返回一个 PID程序在后台继续跑。用jobs可以查看当前 shell 的后台任务fg把它拉回前台Ctrl Z把前台任务挂起bg让挂起的任务在后台继续跑。不过这些手段有个前提任务和当前终端会话绑定你一关终端窗口后台任务常常跟着结束。真正需要长期在后台跑的服务建议配合nohupnohup /data/app/start.sh /data/logs/run.log 21 nohup的作用是让进程忽略终端挂断信号这样即使终端关闭进程也会继续跑。日志存到指定文件21把错误也一起写进去否则出错信息丢了排错很费劲。4.5 一次高CPU占用问题的定位流程高 CPU 问题我建议按下面这个流程走基本能一步不落top # 找出CPU占用最高的PID ps -fp PID # 查看这个PID对应的完整命令行假设发现是个 java 进程但不知是哪个服务继续看它启动时加载的配置ls -l /proc/PID/cwd # 查看进程的工作目录 cat /proc/PID/cmdline # 查看进程的完整启动命令/proc目录是操作系统暴露给用户层的进程信息接口cwd是进程当前所在目录cmdline是启动参数。一套操作下来占 CPU 的“真身”就清楚了。不要只盯着kill -9先弄清楚它是什么再决定要不要结束。5. 打包压缩与定时任务部署和备份的固定组合5.1 把 tar 的每个字母拆开看tar是 Linux 上使用频率最高的归档工具但新手最容易把一堆参数背混。我建议把常用写法拆开理解tar -czvf backup.tar.gz /data/app/logs-c是 create创建新归档“-z表示使用 gzip 压缩生成的是.tar.gz文件-v是 verbose运行时把处理过的文件列出来-f后面跟文件名。拆开想先归档再压缩。解压时对应tar -xzvf backup.tar.gz -C /tmp/-x是 extract 解压-C指定解压到哪个目录。只是查看压缩包里有啥不需要解开tar -tzf backup.tar.gz-t是 list 列表模式列出归档内容。四个字母各管一事比死记一长串参数可靠。5.2 tar 与 zip 的取舍tar是 Linux 原生习惯擅长保留权限位、属主和时间戳这对备份恢复场景很重要。zip的优势是跨平台兼容Windows 用户拿到就能解压。跨平台传文件时用 zip服务器内部备份、迁移数据时用 tar两者不冲突。用 zip 解压 tar.gz 也可以但会丢失部分文件属性和权限信息反过来也一样。一个项目里最忌讳的是混用统一压、统一解恢复时才不会出意外。5.3 crontab 的时间写法和常见错误定时任务用crontab -e编辑每行一条。格式是五个字段加一条命令分 时 日 月 周 命令比如30 2 * * * /data/scripts/backup.sh表示每天凌晨 2 点 30 分执行备份脚本。五个星号分别占位*表示“每个”。我见过最多的问题是顺序搞反把小时当成第一字段结果任务一小时跑一次而不是一天一次。另一个高频坑是cron 执行环境里 PATH 变量很精简可能找不到你平时用的命令位置。脚本里最好写全路径或者在脚本开头重新设置 PATH否则你会看到任务明明在跑却总是不干活还没任何报错。5.4 日志按日期备份、自动清理的完整例子备份最常见的需求是按日期归档日志同时只保留最近 N 天。一个脚本可以这样写#!/bin/bash DATE$(date %Y%m%d) tar -czf /data/backup/logs_${DATE}.tar.gz /data/app/logs 2/dev/null find /data/backup -name logs_*.tar.gz -mtime 7 -exec rm {} \;第一行把日期存进变量文件名里带上日期就不会互相覆盖。第二行用 tar 打包2/dev/null表示把与备份主流程无关的提示信息丢弃。第三行用find找出 7 天前的备份文件-exec rm {} \;逐个删除。注意 crontab 里如果直接写带%的命令%会被特殊处理需要转义成\%。上面的脚本把处理逻辑都写进.sh文件里就完全避开了这个编码问题这是更省心的做法。5.5 systemctl 与服务管理现代 Linux 发行版管理服务优先使用systemctlsystemctl status nginx systemctl start nginx systemctl restart nginx systemctl enable --now nginxenable表示开机自启加--now表示立即生效不用再单独执行一次start。查开机启动项列表用systemctl list-unit-files | grep enabled需要看清楚哪些服务是开机自启的。不是每个发行版都默认使用 systemctl老系统可能需要用service但思路完全一致启动、停止、查询状态、开启自启。服务管理最重要的是知道它提供什么能力、什么时候被拉起而不是只把命令背下来。6. 容易被忽略的几个日常习惯6.1 Tab 补全与历史命令检索键盘上最被低估的键一定是 Tab。输入命令名、文件名、目录名时按两下 Tabshell 会尽力补全补全不了就列出所有可选项。手敲一长串目录路径的坏习惯从这里就可以戒掉。历史命令方面history显示全部历史记录!123重新执行编号为 123 的命令。更顺手的是Ctrl R进入反向搜索模式敲几个关键字就能找到之前执行过的命令。翻了几页记录都找不到的那条接着按Ctrl R继续往前搜。6.2 用 less 替代 cat看长文件不再痛苦cat适合看短文件文件一长内容直接飙过去根本来不及看。less可以逐屏翻页支持上下方向键、空格翻页、/搜索关键字、q退出。less /var/log/messages进入 less 后按/ERROR输入关键字直接跳到匹配位置n跳到下一个匹配N跳到上一个。这个交互逻辑跟很多编辑器一致基本上手就会。看日志时先用less定位再用grep针对性筛选效率高很多。6.3 alias 给常用指令设短别名每次都要敲一长串复杂命令时可以设置别名alias llls -alF alias ..cd .. alias knginxsystemctl restart nginx但alias定义只在当前会话里生效关掉终端就没用了。想永久保留把这个文件里注册的配置放到用户目录下的 shell 配置文件里比如.bashrc再执行source ~/.bashrc重载。设置别名的原则是只给高频且不容易误伤的命令起名。真不要把rm直接 alias 成rm -rf一旦哪天回过神来想正常删除时手误的后果是谁都不愿意面对的。6.4 man 和 --help先学会查再学会记记不住命令参数永远不是问题问题是不知道该去哪查。man 命令名打开该命令的手册包含全部参数说明和示例如果手册太长先用/搜关键词一般搜 “example” 能直接命中实用示例。多数命令还提供--help或-h输出精简帮助信息适合快速瞄一眼。操作不熟悉的命令前我通常的做法是先man再看配置文件最后在实际环境之外整理好再决定执行。这一套流程可以覆盖绝大多数“怕敲错命令”的顾虑。6.5 我的实操体会与收尾建议这篇从管道重定向一直写到这里覆盖的指令并不算多但每一条都是日常真正高频使用的。我在实际使用中最深的感受是Linux 不是背出来的而是“遇到问题 → 拆解 → 组合指令 → 解决问题”练出来的。今天记录的这些技巧很多都是反复踩坑之后才内化的细节比如21要不要写、cron 里%为什么要转义、kill -9为什么不建议顺手就敲。如果你正处在掌握了基础但又总觉得“不够用”的阶段建议从这一篇里挑两个场景先动手复现自己搭一个定时备份日志的任务再写一条日志分析的管道命令把 grep、awk、sort 串起来跑一遍。多走几轮这些指令就不再是零散的知识点而是你手里实实在在的排查能力了。