如果你经常在 Linux 终端里跟配置文件、日志文件打交道一定遇到过需要批量替换字符串的场景。手动打开文件一个个改费时费力不说还容易遗漏。这时候 sed 就是最趁手的工具。sed 是 Linux 下经典的流编辑器全称 Stream Editor它的核心能力就是逐行读取文本、按规则修改、再输出。其中文本替换是它最常用的功能一条sed s/old/new/g命令就能搞定全局替换既支持简单字符串也支持正则表达式还能精确控制替换的范围和条件。这这篇文章我会从 sed 的底层工作原理讲起再把替换语法逐项拆开配合大量可复现的命令示例把我实际使用中踩过的坑和总结的技巧都分享出来。无论你是刚接触命令行的新手还是想提升效率的老手都能从中找到用得上的内容。1. sed 文本替换的核心价值与应用场景1.1 为什么需要 sed 而不是手动编辑日常工作中最常见的需求就是批量修改配置。比如 Redis 配置里有一百处127.0.0.1需要改成实际内网 IP用 Vim 打开手动改容易看花眼还可能出现漏改。用 sed 一条命令几秒钟就把所有目标串替换干净而且过程可以重复执行、可以脚本化这比打开编辑器高效得多。更关键的是 sed 适合在自动化脚本里使用比如发布流程中自动修改配置文件、部署脚本中动态生成配置这些场景都离不开 sed。sed 的另一个优势是它处理的是流不是整个文件一次性加载。所以哪怕文件有几 GBsed 也能扛得住内存占用很稳定。这一点在处理日志文件替换时特别有用普通的编辑器根本打不开这么巨大的文件而 sed 处理起来游刃有余。也正是因为它是面向流的原本就是为管道操作设计的你可以直接把别的命令输出喂给 sed比如echo some text | sed s/text/replaced/这种组合方式让它在脚本里异常灵活。1.2 适合哪些人和哪些场景运维和 DevOps 人员批量修改服务器上的配置、处理部署脚本、清理日志敏感信息。开发人员在代码生成工具、构建脚本中用 sed 动态替换模板变量。数据分析师快速清洗文本数据比如统一日期格式、脱敏手机号。普通 Linux 用户想在不打开编辑器的情况下快速修改小文件。一句话总结只要是文本批量替换的需求sed 几乎都能覆盖。它是 Linux 命令行的基石之一学会之后工作效率会有一个肉眼可见的提升。2. sed 的工作机制与替换原理拆解2.1 流式处理与模式空间的运转过程sed 不像很多编辑器那样把整个文件加载到内存它是逐行处理。每次读取一行文本放到一个叫“模式空间”的缓冲区里然后执行你给的各个编辑命令处理完就把模式空间里的内容输出到标准输出接着读取下一行。这个逻辑就是 sed 的核心。举个例子运行sed s/foo/bar/ file时sed 打开文件先读第一行到模式空间执行替换命令如果这行里有 foo 就换成 bar然后打印处理后的整行再读第二行……循环直到文件尾。这个过程就是流式的所以性能非常高内存占用固定基本不受文件大小影响。这里有个容易忽略的细节sed 默认会把每一行都打印到屏幕因为 sed 有一个隐式的打印动作。如果你不想让未修改的行出现需要配合-n参数和p命令来控制比如sed -n s/foo/bar/p就表示“只把发生替换的行打印出来”。理解了这个机制后面调试命令时会少走很多弯路。2.2 替换命令的核心三部分替换命令的标准格式是sed s/原字符串/新字符串/标志这里的小写s是 substitute 的头字母这一行命令可以拆成三部分原字符串、新字符串、标志。原字符串部分是可以使用正则表达式的这也是 sed 最强大的地方。我经常见有人在这里犯迷糊以为只能写纯文本导致明明该替换的内容就是匹配不上。第一部分正则模式。你可以写^date表示行首的 date写[0-9]\{4\}表示四位数字。注意 sed 默认使用基础正则表达式BRE花括号{}、圆括号()这些字符需要加反斜杠才能起到特殊作用。如果你觉得别扭可以用-E参数切换到扩展正则表达式ERE像[0-9]{4}这样写就没问题了强烈建议平时用-E能省很多转义的麻烦。第二部分替换内容。这里要特别留意和反向引用。代表整个匹配到的字符串比如sed s/abc/[]/g会把所有 abc 变成 [abc]。反向引用则用\1、\2表示第几个括号里捕获的内容配合-E使用非常方便。比如要把日期格式从2024-01-01换成01/01/2024可以写成sed -E s/([0-9]{4})-([0-9]{2})-([0-9]{2})/\2\/\1\/\3/。第三部分标志。最常用的是g表示全局替换否则 sed 默认只替换每一行第一个匹配到的字符串。还有p打印、i忽略大小写、w file把结果写入文件等。实际工作中g几乎必加不加的话很容易出现漏改的情况。2.3 为什么默认只替换每行的第一处这其实是 sed 的一个设计选择它认为用户可能只想对每行的首次出现进行操作。如果你不加g那s/foo/bar/就是每行只换一次。但很多人写命令时凭直觉觉得替换就该全部替换结果发现只换了第一处就以为命令有问题。我建议在没有特殊需求时习惯性加上g养成肌肉记忆。只有在确实需要“每行只改第一处”时才省掉g。3. 从零开始sed 替换的完整实操指南3.1 环境准备与最基础的命令格式sed 是标准 GNU 工具几乎所有 Linux 发行版都默认自带。你可以先确认版本sed --version如果是 macOS则用的是 BSD sed语法略有差异比如-i参数必须带后缀。我的示例基于 GNU sed也就是 Linux 环境。对于 Windows可以通过 WSL 或者 Git Bash 来使用。我先给出几个最基础的例子你可以直接复制到终端里试# 把文件中的 foo 全部替换成 bar并直接修改文件 sed -i s/foo/bar/g test.txt # 只打印替换结果不改动原文件 sed s/foo/bar/g test.txt # 从管道读取内容处理 echo hello foo world | sed s/foo/bar/这里插一个重要的安全提示-i表示直接编辑源文件。如果你想先看效果千万不要加-i先用普通模式跑一遍确认输出正确后再加-i真正执行。我刚开始用 sed 时吃过亏一个命令把配置文件改坏了后来养成习惯先跑不带-i的命令再把输出重定向到临时文件检查最后再改原文件。3.2 正则表达式的常用替换示例我们先准备一个模拟文件 demo.txtAlice, 25, aliceexample.com Bob, 30, bobexample.com Carol, 28, carolexample.com下面我连续演示几组实用替换把所有小写邮箱开头的名字变成大写首字母sed -E s/\b([a-z])([a-z]*)/\U\1\L\2/g demo.txt这里的\U和\L是 GNU sed 的大小写转换扩展macOS 上不支持需要留意。如果你的环境不支持可以用更笨的办法sed -E s/\b([a-z])/\u\1/g demo.txt\u表示把下一个字符转成大写这个相对通用一些。只替换每行第二个匹配的字符串sed s/[0-9]\/[$]/2 demo.txt这里的2表示只对每行第二次出现的数字加方括号。sed 的标志位除了g、p之外还可以指定数字指定第几个匹配要替换。这个功能比你想的要实用比如想改某一列却不想误伤其他列时可以配合模式定位。行范围和地址匹配替换sed 还支持在替换前指定行号或模式范围。比如只替换第 2 行到第 3 行的内容sed 2,3s/example/test/g demo.txt或者从某模式出现的位置开始替换sed -E /Alice/,/Carol/s/example/test/g demo.txt这种“地址匹配”特别适合处理结构化文本比如只改每一节的标题行或者某个模块内的配置段。3.3 进阶功能多条件替换与延迟修改sed 可以连续执行多个替换命令用分号分隔或者用多个-e参数sed -e s/Alice/张三/g -e s/Bob/李四/g demo.txt这种写法可读性比写在一堆 awk 里好得多。我经常用它在一个命令里同时完成多种替换比如既要改人名又要改邮箱域名。如果替换规则有先后依赖关系就按顺序写清楚sed 是严格从左到右执行的。另外sed 还支持“只替换匹配过的行”。看这个sed -E /^LANG/s/en_US/zh_CN/g /etc/default/locale意思是在所有以LANG开头的行里做替换其他行不处理。这相当于给替换命令加了一个前置条件非常常见。你用这种写法修改系统配置文件时不用先把不需要改的行挑出来一条命令就同时完成了“定位”和“修改”。4. 各大坑与排查实录遇到问题怎么找方向4.1 替换不生效的常见原因我遇到过非常多的朋友明明命令看起来没问题就是替换不了最后发现是分隔符的问题。标准写法是s/foo/bar/但如果你的原文或替换内容里有斜杠/比如要替换路径/usr/bin直接写会让语法崩掉。解决办法是用其他分隔符比如#或|sed -i s#/usr/bin#/usr/local/bin#g file这是最容易踩的坑。记住s后面紧跟的字符就是分隔符随便换只要前后一致就行。第二个常见问题是正则写错了。基础正则和扩展正则行为不一样很多人以为和{2}在 BRE 里就是字面意思结果什么都匹配不到。建议统一用-E不清楚符号含义时先拿最小测试验证。第三个问题是文件的换行符。如果你处理的文件是 Windows 的\r\n行尾$锚点可能匹配不到预期位置。这时可以用sed s/\r//先清掉回车再继续操作。4.2 误删除内容和备份技巧使用-i时最好先备份GNU sed 让你可以带后缀直接生成备份sed -i.bak s/foo/bar/g file这个命令会在原文件旁边生成一个file.bak然后才修改原文件。我第一次用这个参数后改坏了也能一键恢复从此就再也不敢裸用-i了。尤其是在处理数据库配置、重要脚本时多加一个.bak后缀也就多敲两下键盘却能救回一次灾难。如果已经把原文件覆盖了又没有备份遇到这种情况我建议立刻停止手头操作去文件系统快照或者版本控制里找回。所以更根本的防线是尽量把重要配置纳入 git 管理这样即使 sed 出了问题git checkout -- file就能恢复。4.3 匹配多行文本时怎么办sed 默认是逐行处理的不适合直接做跨行替换。但有些需求绕不开比如把第一行末尾的某个符号和第二行开头的某个符号一起换掉。这种情况我会用 Perl 而不是 sed比如perl -0777 -pe s/\n\s/ /g file-0777让 Perl 把整个文件当作单行串处理跨行替换就容易了。如果你必须用 sed就只能先借助N命令把两行合并到模式空间里sed -E N; s/foo\nbar/foobar/g这个写法对多行场景能用但逻辑复杂除非没有 perl不然不推荐。4.4 性能考量与超大文件处理处理超大文件时sed 本身性能很好但要注意一点不要在一个 sed 命令里写太多复杂分支否则会拖慢节奏。一次处理 10 万行日志替换几个短模式也就零点几秒。如果你发现 sed 特别慢常见原因有正则回溯复杂、用了太多.*这类贪婪匹配或者明明可以固定模式却写成可变长度。用更精确的量词能大幅提升速度。另一个容易忽略的点是把输出重定向到原文件会导致文件清空。因为 shell 在打开重定向时会先截断文件所以这时候 sed 还没读到内容就没东西了。正确做法是sed s/foo/bar/g file tmp mv tmp file这也是一种比较保险的写法。用-i的话就省心些但还是建议先用普通模式验证。5. 脚本化与扩展把 sed 变得更强大5.1 在 Shell 脚本中使用变量替换shell 变量在单引号里不会被扩展所以刚开始写脚本的人容易在这里卡壳。比如OLDfoo NEWbar sed s/$OLD/$NEW/g file这样是不行的因为$OLD在单引号里就是字面量。你需要让变量能够被 shell 展开同时又要保证 sed 语法正确这时可以用双引号sed s/$OLD/$NEW/g file但这里有个陷阱如果$OLD或$NEW里有/或又会引起语法混乱。一种更稳妥的方式是用 Perl 或 awk 的变量传递但在 sed 里只能用临时转义。我的建议是遇到这种场景优先用环境变量配合sep分隔符sed s#$OLD#$NEW#g file前提是$OLD和$NEW中没有#。如果真有你可以临时换成其他不冲突的分隔符。我通常写个函数来做转义保证特殊字符安全escape_sed_replacement() { printf %s $1 | sed s/[/\]/\\/g }这样脚本才更健壮。这也是我吃过亏后总结出来的。5.2 多文件批量替换技巧只处理一个文件太屈才了sed 很容易扩展成批量操作。比如批量把所有.txt文件里的foo换成barsed -i s/foo/bar/g *.txt如果文件数量特别多或者需要递归进入子目录可以配合findfind . -name *.txt -exec sed -i s/foo/bar/g {} \;或者用更简洁的find ... | xargs sed -i但是注意文件名里有空格时要用-print0与xargs -0。我在实际项目里批量替换过几千个 Java 文件里的包名用这条命令只花了几秒效率比在 IDE 里手动做高得多。5.3 与其他命令的管道组合sed 最迷人的地方就是它可以自由地和其他命令组合。比如先用grep找行再用sed替换最后用sort排序grep ERROR app.log | sed s/\[.*\]//g | sort | uniq -c这串命令一下就能统计出每种错误类型下出现次数最多的信息。sed 在管道中的位置非常灵活你完全可以把它当成一个“文本修改滤镜”。尤其是日志处理时后面再接awk提取字段几乎能应对所有清洗需求。6. 我的一些经验总结和后续可以扩展的方向6.1 平时用 sed 的几条个人心得第一趁手组合是sed -nE加-i.bak。-n避免无关输出-E减少正则转义痛苦-i.bak防止误操作无法恢复。这条组合已经成为我写 sed 命令的肌肉记忆。第二不要试图拿 sed 做所有的事。遇到多行替换、循环嵌套修改我会直接上 Perl 或 awk而不是硬解。第三重要修改前先跑一个干跑版本看输出与预期一致后再真正执行。这就像改代码前跑一遍测试一样能省很多事。6.2 扩展方向上的一些可能性你可以继续学习 sed 的地址栈、N/P/D命令、分支控制这些都是进阶玩法。比如用 sed 模拟循环输出、实现简单的文本状态机。甚至可以把 sed 当成一个 mini 编程语言来写复杂逻辑。社区里有人用 sed 写过多行 HTML 解析。不过就我自己而言日常 90% 的 sed 需求都是文本替换把这一块吃透已经能解决绝大多数实际问题。后续你可以再探索 awk 的字段处理两者结合你会发现命令行文本操作基本没有死角。最后再分享一个小技巧所有 sed 命令都尽量写成一行方便记录和分享但太长时要学会拆分和加注释。我会把复杂命令保存在脚本文件里并写明注释这样下次用到时还能看懂当初的思路。