mmap 内存映射：背景、原理

1. mmap 出现的背景在 mmap 出现之前进程读写文件主要依赖 read / write 这类传统 I/O 接口。以读取文件为例一次典型的 read 调用通常要经历两次数据拷贝磁盘数据通过 DMA 拷贝到内核页缓存内核把页缓存中的数据拷贝到用户态缓冲区(buf)然后应用程序再从用户态缓冲区buf读取数据这种方式存在几个明显问题多次用户态与内核态之间的数据拷贝CPU 开销较大read 每次只能处理用户指定的字节数处理大文件时需要反复调用系统调用开销高对于数据库、文件搜索、进程间共享数据等场景read / write 的抽象不够高效。为了提高文件访问性能并复用操作系统已有的页缓存机制POSIX 标准引入了mmap。Linux、Unix 以及类 Unix 系统都支持通过mmap将文件或设备映射到进程地址空间使进程可以像访问内存一样访问文件内容。2. mmap 的原理与详细机制2.1 核心思想mmap的本质是在内核中建立一种映射关系把文件的内容映射到进程的虚拟地址空间。映射建立后进程通过普通内存读写指令即可访问文件数据而不必再显式调用read / write。整个过程依赖操作系统的虚拟内存管理单元MMU和页缓存机制。2.2 详细机制调用mmap后内核并不会立刻把文件内容全部读入内存而是先创建一段虚拟内存区域记录该区域对应的文件、偏移量、映射长度、权限等信息。这个过程大致如下进程调用mmap内核在进程地址空间中找到一块合适的空闲虚拟地址区域内核创建VMAVirtual Memory Area记录映射的文件、页缓存、权限等元数据mmap返回虚拟地址但此时文件内容还没有真正加载进程第一次访问该虚拟地址时由于对应物理页尚未建立映射会触发缺页中断缺页处理程序根据VMA找到对应的文件页将文件内容从磁盘读入页缓存内核把进程虚拟页映射到页缓存所在的物理页进程随后再次访问该地址时即可直接读写页缓存中的内容。例如读取一个文件的前 4096 字节时内核可能只加载第一页其余部分仍然留在磁盘上直到被访问时才按需加载。这就是 mmap 的“惰性加载”机制。2.3 整体流程示意是否调用 open 打开文件调用 mmap 建立映射内核创建虚拟内存区域 VMA进程访问映射地址是否发生缺页中断从磁盘读入页缓存建立虚拟页与物理页映射进程读写内存调用 msync 同步脏页调用 munmap 解除映射2.4 页缓存复用传统read方式中磁盘数据先进入页缓存再拷贝到用户缓冲区而mmap映射建立后进程用户地址空间直接映射到页缓存。这样至少减少了一次从内核态到用户态的 CPU 拷贝因此常被称为“零拷贝”技术之一更准确地说是减少了 CPU 参与的数据拷贝。2.5 文件映射与匿名映射mmap可以映射两类完全不同的“对象”理解这一点能帮助区分它最常见的用法。文件映射把磁盘文件的内容映射到进程虚拟地址空间。映射建立后读写某个虚拟地址就等于读写文件对应位置的内容。它需要一个有效的文件描述符fd例如先open(data.txt, O_RDWR)再把fd传给mmap。匿名映射不关联任何文件只是请求内核分配一块初始内容为 0 的内存区域。因为没有对应的磁盘文件所以fd通常传-1并通过MAP_ANONYMOUS标志创建。常见用途是给进程分配大块内存、父子进程创建共享内存等。Linux 上还有更传统的匿名映射写法打开/dev/zero后映射它效果类似MAP_ANONYMOUS但现在推荐直接使用MAP_ANONYMOUS。2.6 共享映射与私有映射MAP_SHARED多个进程映射同一文件同一区域时对内存的修改会写回文件并被其他映射该文件的进程看到。MAP_PRIVATE对映射区域的修改不会写回文件而是触发写时复制COW。进程初次写入私有映射页时内核会复制一份页缓存页进程修改的是自己的副本。MAP_SHARED同时写一个文件会冲突吗会MAP_SHARED本身不提供同步保护。它只保证“所有映射最终看到同一份页缓存”但不保证多个进程并发写同一区域时结果正确。常见问题如下两个进程写同一区域时后写入的会覆盖先写入的内容一个进程正在更新文件时另一个进程可能读到中间状态如果进程同时用write()/lseek()和mmap操作同一个文件安全性和一致性更难保证。如何处理并发写冲突先加锁再进入关键区进程在修改MAP_SHARED区域前先对共享文件范围加flock()、fcntl()记录锁或使用共享内存中的 POSIX 互斥锁 / 信号量保证同一时刻只有一个进程写关键区域在锁保护下修改映射内存只有拿到锁的进程才去更新映射区域避免并发写相互覆盖也避免其他进程读到中间状态需要持久化时仍在持锁状态下调用msync(addr, len, MS_SYNC)把脏页同步写回文件确保数据落盘后再释放锁。因此正确的执行顺序是加锁 → 修改共享内存 →msync同步落盘 → 解锁。加锁解决并发写的一致性msync解决数据持久化而且msync应放在锁内执行避免“已解锁但仍未落盘”或“落盘过程中又发生并发写”的窗口问题。3. mmap、munmap、madvise 等接口说明以下接口声明主要参考 Linux 环境其他类 Unix 系统略有差异但语义基本一致。3.1 mmap函数原型#includesys/mman.hvoid*mmap(void*addr,size_tlength,intprot,intflags,intfd,off_toffset);参数说明addr期望映射到的虚拟地址通常传 NULL由内核自动选择合适地址length映射长度单位字节内核会向上对齐到页大小prot内存保护权限可为以下值的按位或PROT_READ可读PROT_WRITE可写PROT_EXEC可执行PROT_NONE不可访问flags映射类型与行为MAP_SHARED共享映射写入会写回文件MAP_PRIVATE私有映射写入触发写时复制MAP_ANONYMOUS匿名映射不关联文件MAP_FIXED要求映射到 addr 指定的地址需谨慎使用MAP_POPULATE预填充页表减少后续缺页fd要映射的文件描述符匿名映射时通常传 -1offset文件内的偏移量必须是页大小的整数倍。返回值成功返回映射区域的起始地址失败返回MAP_FAILED并设置 errno。调用 mmap 后若文件大小小于映射长度访问超出文件实际大小的页可能触发 SIGBUS如果映射区域不可访问也可能触发 SIGSEGV。3.2 munmap函数原型#includesys/mman.hintmunmap(void*addr,size_tlength);作用解除 addr 开始的 length 字节的映射。解除后进程再访问该地址属于未定义行为。进程退出时所有映射也会被自动解除但显式调用 munmap 有利于及时释放地址空间和资源。返回值成功返回 0失败返回 -1 并设置 errno。3.3 msync函数原型#includesys/mman.hintmsync(void*addr,size_tlength,intflags);作用把 MAP_SHARED 映射中的脏页同步写回文件确保数据落盘。flags 可取值MS_ASYNC异步写回MS_SYNC同步写回调用返回时数据已经写入存储设备MS_INVALIDATE使其他映射该文件的缓存副本失效。对于需要保证数据持久化的场景应在修改共享映射后调用 msync。3.4 madvise函数原型#includesys/mman.hintmadvise(void*addr,size_tlength,intadvice);作用向内核提供映射区域的使用建议帮助内核优化页面调度。常用建议包括MADV_SEQUENTIAL程序将顺序访问该区域内核可以增加预读MADV_RANDOM程序将随机访问该区域内核可以减少预读MADV_WILLNEED建议内核提前载入指定页面减少后续缺页MADV_DONTNEED表示该区域近期不再需要内核可以回收对应页面MADV_NORMAL默认访问模式。madvise 只是优化建议不会影响程序正确性。3.5 其他相关接口mremap调整已有映射区的大小Linux 扩展接口mlock/munlock锁定映射区域防止被换出到交换分区remap_file_pagesLinux 早期提供的非线性文件映射接口现已不推荐使用。4. mmap 与 read 的对比下面从数据拷贝、系统调用、适用场景等角度对比 mmap 与 read。对比项readmmap数据拷贝次数通常涉及磁盘到页缓存、页缓存到用户缓冲区两次拷贝页缓存直接映射到用户地址空间减少一次 CPU 拷贝系统调用频率每次读取都需要调用 read大文件场景调用次数多建立映射后即可通过内存访问无需反复系统调用内存占用方式用户缓冲区显式分配数据按需读取依赖虚拟内存和页缓存按需加载对小文件随机访问每次 read 有固定调用开销通常更高效尤其是频繁随机访问对顺序大文件读写缓存命中率可控性能稳定可能触发大量缺页中断性能未必优于 read文件变化一致性每次 read 都能读到最新文件内容映射期间文件被外部截断可能导致 SIGBUS错误处理返回 -1 并设置 errno调用方可立即处理访问非法映射地址时可能触发 SIGSEGV 或 SIGBUS总体而言mmap适合频繁随机访问、进程间共享、需要把文件当内存使用的场景read更适合简单顺序读写、缓冲区较小的场景。实际选择时需要根据访问模式和文件大小进行测试。5. mmap 与 read 代码对比下面的示例分别演示使用 read 和 mmap 读取同一个文件并打印文件总字节数。代码基于 Linux / POSIX 接口可通过 gcc 编译运行。5.1 使用 read 读取文件#includestdio.h#includestdlib.h#includefcntl.h#includeunistd.h#includesys/stat.hintmain(intargc,char*argv[]){if(argc2){fprintf(stderr,Usage: %s file\n,argv[0]);return1;}intfdopen(argv[1],O_RDONLY);if(fd0){perror(open);return1;}structstatst;if(fstat(fd,st)0){perror(fstat);close(fd);return1;}size_ttotal0;charbuf[4096];ssize_tn0;while((nread(fd,buf,sizeof(buf)))0){total(size_t)n;}if(n0){perror(read);close(fd);return1;}printf(read total bytes: %zu\n,total);close(fd);return0;}5.2 使用 mmap 读取文件#includestdio.h#includestdlib.h#includefcntl.h#includeunistd.h#includesys/stat.h#includesys/mman.hintmain(intargc,char*argv[]){if(argc2){fprintf(stderr,Usage: %s file\n,argv[0]);return1;}intfdopen(argv[1],O_RDONLY);if(fd0){perror(open);return1;}structstatst;if(fstat(fd,st)0){perror(fstat);close(fd);return1;}if(st.st_size0){printf(mmap total bytes: 0\n);close(fd);return0;}void*addrmmap(NULL,(size_t)st.st_size,PROT_READ,MAP_PRIVATE,fd,0);if(addrMAP_FAILED){perror(mmap);close(fd);return1;}// 建立映射后可以像访问内存一样访问文件内容。// 这里仅演示访问映射区域例如读取第一个字节。volatileunsignedcharfirst_byte((unsignedchar*)addr)[0];(void)first_byte;printf(mmap total bytes: %lld\n,(longlong)st.st_size);if(munmap(addr,(size_t)st.st_size)0){perror(munmap);close(fd);return1;}close(fd);return0;}5.3 代码对比说明read 示例需要手动维护缓冲区并循环调用 read直到读完整个文件mmap 示例只需要调用一次 mmap 建立映射之后就可以用指针或数组方式访问文件内容访问结束后调用 munmap 解除映射mmap 方式代码更接近内存操作适合随机访问场景read 方式对顺序读取更直观也更容易控制每次读取大小。6. 注意事项与总结使用 mmap 时需要注意以下几点对 MAP_SHARED 映射的修改不会立即写回磁盘需要调用 msync 或等内核回写映射期间如果文件被其他进程或程序截断访问被截断的页可能触发 SIGBUSoffset 必须是页大小的整数倍否则 mmap 会失败匿名映射通常用MAP_PRIVATE | MAP_ANONYMOUS在父子进程间可共享内存但写时复制后各自独立32 位系统地址空间有限超大文件可能无法一次性完整映射mmap 建立映射需要占用虚拟地址空间大量小映射也会带来 VMA 管理开销。总的来说mmap 通过把文件映射到进程地址空间复用了操作系统的页缓存机制减少了传统 read 方式中的 CPU 拷贝和系统调用频率。它不是所有场景下都优于 read但在随机访问、进程间共享、文件当内存使用等场景中非常有效。理解 background、缺页机制、共享与私有映射的差异以及 mmap、munmap、msync、madvise 等接口的语义是高效使用 mmap 的关键。