前两年给一台二手业务机加存储的时候机箱里那块老 RAID 卡突然开始掉盘日志里一堆 I/O error重启几次才能认回来。当时手头还有四块计划外空出来的 4TB 机械盘预算又不允许再买一张像样的硬 RAID 卡我就索性把整台机器的存储层推倒重来用 Linux 自带的 mdadm 把这几块盘组成了软 RAID 磁盘阵列。这套东西跑到现在快两年经历过一次真实的掉盘、一次在线扩容、两次换盘重建算是把软 RAID 从能跑起来到敢托付数据之间的路都踩了一遍。这篇就把整个构建过程、中间做的取舍、实测出来的数据和踩过的坑完整写出来包含每一步的命令和结果你可以直接照着复现。先说清楚定位软 RAID 磁盘阵列指的是不依赖独立 RAID 控制卡而是由操作系统内核Linux 下是 md 模块也就是常说的 mdadm 这套工具链来负责条带化、镜像和奇偶校验的阵列方案。它和服务器上常见的硬 RAID 卡比如各类 PERC 卡、服务器自带的阵列控制器走的是两条完全不同的路。如果你手里有一台普通 PC、一台老服务器或者一堆闲置硬盘想凑出一个带冗余的存储池又不想被某张卡的型号、驱动和厂商工具绑死那这套方案值得你花一个下午认真做一遍。下面所有内容都基于 Linux 环境核心工具是 mdadm我会把每个决定背后的理由讲透而不只是甩一串命令。1. 为什么我绕开了硬 RAID 卡把阵列做在系统层很多人一提到磁盘阵列第一反应就是买卡觉得没有硬件控制器就不叫正经 RAID。我在动手前也纠结过这个问题最后落点在软 RAID 上不是因为它更高级而是因为在这台机器的具体场景里它的几个特性正好压过了硬件方案。1.1 硬 RAID 卡真正的代价在哪里硬 RAID 的优点是实打实的校验计算由卡上的专用芯片完成不占用主 CPU有一块独立的缓存配电池或超级电容后可以开写缓存加速随机写性能提升非常明显对操作系统完全透明装驱动、认一个逻辑盘就完事。这些都是软 RAID 比不了的。但它的代价同样实打实。第一是绑定。阵列的元数据写在卡里或者盘上卡私有的格式里一旦卡坏了你没法把盘拔下来插到另一台没有同型号卡的机器上直接读——你得去找一张同系列甚至同固件版本的卡来接盘这在紧急恢复的时候非常要命。我有一个朋友就遇到过整机报废、卡停产最后只能满世界收二手同型号卡来救数据的事故。第二是成本与闲置一张正经带缓存和掉电保护的卡不便宜而我这里只有四块盘投入产出比很低。第三服务器上那些阵列卡对盘的兼容性、对非原厂盘的挑剔程度也是实际运维里经常要处理的麻烦。1.2 软 RAID 用 CPU 换来的自由软 RAID 把这些约束全解开了。阵列的元数据默认写在每块成员盘靠后的区域里1.2 版本元数据意味着这四块盘拔下来插到任何一台装了 mdadm 的 Linux 机器上mdadm --assemble --scan就能把阵列重新拼起来不依赖任何特定硬件。我实测过把整组盘从一台机器挪到另一台完全不同的机器只要内核认识这些盘阵列就能直接上线这个自由度是硬卡给不了的。代价就是要占用 CPU。不过说句实在话对于现在动辄十几核的 CPURAID5 的奇偶校验计算量根本不算什么负担。我实测在做重建和跑满带宽写入时单核占用也就在 20%~40% 之间波动远没到影响业务的程度。真正需要担心 CPU 的是那种高并发随机写、又对延迟极敏感的场景那种情况下硬卡的写缓存优势才体现得出来。1.3 什么场景该用软的什么场景别碰我的结论是分场景的直接给个对照场景特征更适合软 RAID更适合硬 RAID盘数量2~6 块中小规模8 块以上大规模预算紧张盘都是闲置或二手充足愿意购卡随机写密集度低到中等顺序读写为主高并发随机写数据重要性有独立备份兜底单机也要高可用迁移/恢复要求希望盘可跨机器带走可接受同型号卡依赖系统环境Linux可控内核任意系统包括部分受限环境一句话总结软 RAID 适合预算有限、盘不多、以顺序读写和归档/备份/媒体库为主的场景并且你必须已经有独立备份。RAID 从来不是备份这句话在软 RAID 上尤其要刻在脑子里后面第 6 节我会专门展开。2. 动手前的功课RAID 0/1/5/6/10 在软实现下的真实差距选级别是整个项目里最不该拍脑袋的一步。网上讲 RAID 级别区别的文章一抓一大把但大多数只讲理论容量和能不能坏一块盘很少讲软实现下那些级别实际的性能表现和重建代价。我先把这张基础表摆出来再逐个说软实现里的门道。2.1 容量与容错的基础换算假设你手上有 4 块 4TB 的盘可用容量和容错能力是这样的级别最少盘数4×4TB 可用容量可容忍故障盘数读性能写性能RAID 0216TB0坏一块全丢最高最高RAID 128TB两两镜像每组 1 块高中RAID 5312TB1高中偏低RAID 648TB2高低RAID 1048TB每组 1 块高中高容量公式记住就行RAID0 是 N 倍RAID1 是 N/2RAID5 是 N-1RAID6 是 N-2RAID10 是 N/2。别小看这个换算很多人配 4 块盘上 RAID6结果发现只剩一半容量还不如直接上 RAID10白搭两块盘的校验开销。2.2 RAID5 的写惩罚和那个绕不开的写洞RAID5 之所以写性能上不去是因为每次写一个条带块都要经历读旧数据、读旧校验、算新校验、写新数据、写新校验这一套动作一次逻辑写放大成多次物理 IO这就是写惩罚。对于随机小写RAID5 的写性能可能只有单盘的几分之一但对顺序大块写因为校验可以批量算影响就小得多。更隐蔽的是所谓的write hole写洞如果在更新数据块和校验块的过程中断电两者可能处于不一致状态。硬卡有掉电保护的写缓存可以把这批操作原子化软 RAID 默认没有。mdadm 的做法是引入write-intent bitmap写意图位图它会记录哪些区域正在被写重建时只重建被标记过的区域既加速了重建也降低了不一致的风险。代价是每次写都要更新位图对纯随机写的性能有一定损耗。我的配置里 bitmap 是开着的因为重建速度对我的实际体验影响更大这个取舍后面会再讲。2.3 RAID6、RAID10 到底怎么选RAID6 多了一块校验能扛两块盘同时坏代价是写惩罚更重重建时需要读取全部剩余盘做两次校验运算重建时间更长、对性能的冲击更明显。什么时候值得上 RAID6我的经验是盘数在 8 块以上或者单盘容量特别大导致重建时间极长的时候。因为盘多了以后重建过程中再坏一块的概率是显著上升的这正是重建窗口越大风险越高的统计学来源这时候第二重校验的价值才真正体现。四块盘的小阵列RAID6 用一半容量换来的额外保障性价比不如 RAID10。RAID10 则是另一种思路先两两镜像再在镜像组之间条带化。它既有 RAID1 的容错又有 RAID0 的性能重建时只需要从镜像的另一半复制数据速度快、对阵列影响小。四盘场景下我最后选的就是 RAID10理由很直接——重建快、写性能好、逻辑简单坏一块盘马上就能补齐不用经历 RAID5 那种长时间性能塌方。2.4 我的最终选择与理由综合下来我给这台机器定的是4 块 4TB 组 RAID10。放弃 RAID5 是因为它在重建期间性能下降太明显而且四盘 RAID5 的容量优势12TB vs 8TB对我来说不是刚需放弃 RAID6 是因为四盘上它太浪费RAID0 直接排除没有冗余的阵列我不会拿来存任何还想留住的东西。如果你手上只有 3 块盘那基本只能在 RAID5 和 RAID1单盘之间选如果有 5~6 块盘且容量优先RAID5 或 RAID6 的吸引力就上来了。选级别这件事没有标准答案但**先算清容量、再评估写入模式、最后看重建成