云原生分布式块存储性能调优实录从 NVMe-oF 协议到 Linux IO 调度算法选型在云原生基础设施演进到深水区的今天承载核心关系型数据库如 MySQL Cluster, PostgreSQL on K8s、分布式消息中间件Kafka, Pulsar以及 AI 向量数据库Milvus, Qdrant的持久化存储底座对底层块存储Block Storage的 IOPS 与时延提出了极其苛刻的要求。传统的云盘或基于 iSCSI / TCP 协议的分布式块存储如老旧的 Ceph RBD在面对每秒数十万 IOPS 的随机读写冲击时往往暴露出严重的 CPU 中断开销大、协议栈封装深以及内核 IO 调度锁争抢等问题导致 P99 写延迟动辄超过 10ms~20ms严重制约了数据库的 TPS 吞吐。为了彻底榨干现代 PCIe Gen4/Gen5 NVMe 固态硬盘与 RDMA 网络的物理极限我们在生产集群中落地了基于NVMe-oFNVMe over FabricsRDMA 协议的超高性能分布式块存储并对 Linux 内核的 Block IO 调度栈进行了全链路调优。一、从 iSCSI 到 NVMe-oF 的物理架构代际跨越传统分布式块存储之所以在低延迟场景下遭遇瓶颈根源在于传统的 SCSI / iSCSI 协议架构SCSI 协议栈的单队列锁竞争SCSI 规范最初为机械硬盘设计仅支持单一的命令提交队列Single Command Queue所有 CPU 核心在发起 IO 时必须争抢全局自旋锁。TCP/IP 协议栈的多次内存拷贝与上下文切换每次 IO 请求都需要经过内核态与用户态的多次memcpy并在网卡中断处理中耗费大量 CPU 周期。NVMe-oFNVMe over RDMA/RoCEv2则彻底重构了存储传输路径[Kubernetes 容器内应用 (MySQL)] │ (发起 POSIX Direct I/O) ▼ [Linux Kernel Block Layer] │ (多队列 blk-mq: 每个 CPU Core 独占队列) ▼ [NVMe-oF Initiator Driver] │ (零拷贝 Direct Memory Access) ▼ [RDMA RoCEv2 网卡 (100Gbps)] │ (硬件级单边 RDMA Read/Write 绕过对端 CPU) ▼ [分布式存储 NVMe-oF Target 阵列]NVMe-oF 的决定性优势多队列并发Multi-Queue Architecture原生支持高达 64K 个独立 IO 队列每个队列支持 64K 深度。每个物理 CPU 核心拥有专用的 IO 提交SQ与完成CQ队列完全消除了锁竞争RDMA 硬件内核旁路Kernel Bypass Zero-Copy数据直接通过 RDMA 网卡在客户端内存与存储端 NVMe 之间进行直接 DMA 传输无需经过两端操作系统的 TCP/IP 协议栈与 CPU 搬运单次 IO 网络往返延迟由原本的 800$\mu s$ 骤降至12$\mu s$微秒级。二、Linux 内核 IO 调度器IO Scheduler选型与调优在 Linux 5.x/6.x 内核中多队列块层blk-mq成为了标准。然而许多默认的 Linux 发行版依然为块设备启用了mq-deadline或bfq调度器。1. 为什么 NVMe 必须选择none调度器bfq和mq-deadline试图在内核中对请求进行重新排序Reordering与合并Merging这对于机械硬盘或低速 SATA SSD 能够减少磁头寻道时间但在微秒级响应的 NVMe-oF 存储设备上NVMe 硬盘内部拥有强大的多通道并发主控芯片。内核层的任何重排与锁检查不仅毫无收益反而会凭空增加 50$\mu s$~100$\mu s$ 的 CPU 延迟开销因此必须强制将 NVMe 块设备的 IO 调度器设置为none完全旁路内核调度# 查看当前块设备的调度器 cat /sys/block/nvme0n1/queue/scheduler # 针对所有 NVMe 块设备强制启用 none 调度器 echo none /sys/block/nvme0n1/queue/scheduler2. 内核队列参数深度调优通过 udev 规则在宿主机启动时固化高性能参数# /etc/udev/rules.d/99-nvme-io.rules ACTIONadd|change, KERNELnvme[0-9]*n[0-9]*, ATTR{queue/scheduler}none, \ ATTR{queue/nomerges}2, \ # 彻底禁用请求合并追求极限延迟 ATTR{queue/nr_requests}1024, \ # 扩容队列深度至 1024 ATTR{queue/rq_affinity}2, \ # 强制中断由发起 IO 的同一个 CPU 核心处理提升 L1/L2 缓存命中率 ATTR{queue/add_random}0, \ # 禁用为内核熵池贡献随机数消除熵池锁 ATTR{queue/iostats}0 # 在极致性能模式下关闭统计计数器三、Kubernetes CSI 插件与 Local PV / VolumeMode 深度集成为了让 Kubernetes 上的数据库能够最大化利用块存储性能我们在 PVC 中使用了volumeMode: Block原生裸块模式绕过文件系统的 VFS 封装开销apiVersion: v1 kind: PersistentVolumeClaim metadata: name: mysql-nvme-raw-pvc namespace: database spec: accessModes: - ReadWriteOnce volumeMode: Block # 显式声明为裸块存储杜绝 ext4/xfs 文件系统元数据锁 resources: requests: storage: 2Ti storageClassName: csi-nvmeof-rdma在 MySQL Pod 中直接以 raw block 形式挂载并由 InnoDB 引擎直接接管裸设备apiVersion: apps/v1 kind: StatefulSet metadata: name: mysql-cluster namespace: database spec: template: spec: containers: - name: mysql image: registry.internal/database/mysql:8.0.35-optimized volumeDevices: - name:>