本文是drm_gem_object三类访问视图中的第一类(三类视图的划分见 GEM 概述 §4)。这一视图的访问方是用户态进程的 CPU,入口是对 DRM 设备 fd 的mmap(2);对象内承载它的字段是vma_node,对象外的协作者是设备级的drm_vma_offset_manager及其底层的drm_mm范围分配器。1. 为什么需要伪偏移mmap(2)只接受一个 fd 和一个文件内偏移。同一进程的所有 GEM 对象共享同一个 DRM 设备 fd,仅凭 fd 无法指明要映射哪个对象,handle 又是进程私有的整数,不能直接放进 mmap 的参数。GEM 的做法是在设备级维护一个偏移空间:为每个需要 CPU 映射的对象在其中分配一段按页对齐的区间,记录在obj->vma_node中;用户态把这段区间的起始地址作为 mmap 的 offset 传入,内核再按 offset 反查对象。这个偏移不对应任何物理地址,只是设备 fd 偏移空间中的一个键,因此称为伪偏移(fake offset)。偏移空间由drm_gem_init()以DRM_FILE_PAGE_OFFSET_START和DRM_FILE_PAGE_OFFSET_SIZE初始化,在 64 位系统上从字节偏移 4 GiB 处开始,大小约 1 TiB,内部由drm_mm管理区间分配。2. 用户态:两步调用以 dumb buffer 为例,CPU 映射分两步:先用 ioctl 取得伪偏移,再以该偏移调用 mmap。// include/uapi/drm/drm_mode.hstructdrm_mode_map_dumb{__u32 handle;// 输入:GEM handle__u32 pad;__u64 offset;// 输出:mmap 使用的伪偏移};/* 第一步:取得伪偏移 */structdrm_mode_map_dumbmap={.handle=handle};intret=drmIoctl(fd,DRM_IOCTL_MODE_MAP_DUMB,&map);/* 第二步:以伪偏移调用 mmap */void*ptr=mmap(NULL,size,PROT_READ|PROT_WRITE,MAP_SHARED,fd,map.offset);GPU 驱动通常另有私有 ioctl 完成第一步,例如 amdgpu 的DRM_IOCTL_AMDGPU_GEM_MMAP(union drm_amdgpu_gem_mmap,偏移由out.addr_ptr返回)。两者返回的都是obj->vma_node在偏移空间中的起始地址,第二步完全相同。与创建、销毁 dumb buffer 的 ioctl 一样,MAP_DUMB不带DRM_RENDER_ALLOW,在 render node 上返回-EACCES;驱动私有的 mmap ioctl 一般允许在 render node 上使用。3. 第一步:取得伪偏移drm_mode_mmap_dumb_ioctl()→drm_mode_mmap_dumb()[未实现 dumb_create 时返回-ENOSYS]→ driver->dumb_map_offset()[驱动提供时使用,如 amdgpu_mode_dumb_mmap]→ 否则drm_gem_dumb_map_offset()[通用实现]→drm_gem_object_lookup()[handle → obj,refcount 加一]→drm_gem_is_imported(obj)?[导入对象返回-EINVAL]→drm_gem_create_mmap_offset()[vma_node 尚未分配时在偏移空间中插入区间]→drm_vma_node_offset_addr(&obj->vma_node)→drm_gem_object_put()几个要点:分配是惰性且幂等的。drm_vma_offset_add()在drm_mm_node_allocated()为真时直接返回,因此同一对象多次调用MAP_DUMB得到同一个偏移。通用实现在首次请求时才分配区间;TTM 则在ttm_bo_init_reserved()中对ttm_bo_type_device与ttm_bo_type_sg类型的 BO 立即分配,amdgpu 的amdgpu_mode_dumb_mmap()只读取已有偏移。驱动可以拒绝 CPU 映射。amdgpu_mode_dumb_mmap()对 userptr BO 和带AMDGPU_GEM_CREATE_NO_CPU_ACCESS标志的 BO 返回-EPERM。通用实现拒绝导入对象。导入对象的后备存储属于导出方,CPU 访问应当经 dma-buf fd 的 mmap 进行,见本章 3.5 的“与另外两类视图的衔接”。4. 第二步:mmap 反查对象DRM 设备 fd 的file_operations.mmap通常为drm_gem_mmap()(amdgpu 的amdgpu_driver_kms_fops也是如此):sys_mmap()→drm_gem_mmap()→drm_gem_object_lookup_at_offset(filp,vma->vm_pgoff,vma_pages(vma))→drm_vma_offset_lock_lookup()→drm_vma_offset_exact_lookup_locked()[要求 vm_pgoff 恰为某个区间的起始页]→kref_get_unless_zero(&obj->refcount)[对象正在释放时视为不存在,返回-EINVAL]→drm_vma_offset_unlock_lookup()→drm_vma_node_is_allowed(node,priv)[当前 drm_file 无权限时返回-EACCES]→drm_gem_mmap_obj(obj,drm_vma_node_size(&obj->vma_node)<<PAGE_SHIFT,vma)→ 映射长度超过对象大小时返回-EINVAL →drm_gem_object_get(obj)[该 VMA 持有一个对象引用,vm_close 时释放]→ vma->vm_ops=funcs->vm_ops → 有 funcs->mmap:由驱动建立映射 → 否则:设置 VM_IO|VM_PFNMAP|VM_DONTEXPAND|VM_DONTDUMP 与 write-combine 页属性,缺页时由 vm_ops->fault 填页 →drm_gem_object_put(obj)[释放 lookup 取得的引用]funcs->mmap与funcs->vm_ops的分工见 gem_object_funcs 第 4 节。5. 权限与生命周期谁能映射。vma_node内部维护一棵允许访问的drm_file树:drm_gem_handle_create_tail()调用drm_vma_node_allow()把当前drm_file加入,drm_gem_object_release_handle()调用drm_vma_node_revoke()将其移除。因此只有持有该对象 handle 的drm_file才能映射它,伪偏移本身不需要保密,其他进程即使得知偏移值也会在drm_vma_node_is_allowed()处被拒绝。映射与 handle 的关系。drm_gem_mmap_obj()让每个 VMA 持有一个对象引用,所以关闭 handle 之后,已建立的映射仍然有效,对象至少要等到munmap之后才可能释放。这是 gem_object 生命周期 第 8 节“关了 handle 对象未必销毁”的典型情形。后备存储移动时。对象被迁移或换出时,已建立的 CPU 页表项必须失效,下次访问重新缺页。偏移空间的所有映射都挂在设备的address_space上,驱动可调用drm_vma_node_unmap()按该对象的偏移区间执行unmap_mapping_range(),TTM 在ttm_bo_unmap_virtual()中即是如此。6. 本节各篇小节内容3.3.1 drm_vma_offset_manager:偏移窗口与访问控制三个结构、用到的drm_mm接口、区间与允许列表的 API、查找与释放的竞争3.3.2 amdgpu 的 CPU 映射:从 GEM_MMAP 到缺页TTM 创建时分配偏移、mmap 的三层叠加、不可见 VRAM 的缺页处理、搬迁后的映射失效偏移窗口底层的drm_mm是 DRM 的通用范围分配器,vma manager 只用到它的一小部分(3.3.1 第 2 节)。它的完整设计与实现放在第 5 章,与drm_buddy对照阅读:drm_mm 范围分配器:设计与接口、drm_mm 实现分析。
本文是drm_gem_object三类访问视图中的第一类(三类视图的划分见 GEM 概述 §4)。这一视图的访问方是用户态进程的 CPU,入口是对 DRM 设备 fd 的mmap(2);对象内承载它的字段是vma_node,对象外的协作者是设备级的drm_vma_offset_manager及其底层的drm_mm范围分配器。1. 为什么需要伪偏移mmap(2)只接受一个 fd 和一个文件内偏移。同一进程的所有 GEM 对象共享同一个 DRM 设备 fd,仅凭 fd 无法指明要映射哪个对象,handle 又是进程私有的整数,不能直接放进 mmap 的参数。GEM 的做法是在设备级维护一个偏移空间:为每个需要 CPU 映射的对象在其中分配一段按页对齐的区间,记录在obj->vma_node中;用户态把这段区间的起始地址作为 mmap 的 offset 传入,内核再按 offset 反查对象。这个偏移不对应任何物理地址,只是设备 fd 偏移空间中的一个键,因此称为伪偏移(fake offset)。偏移空间由drm_gem_init()以DRM_FILE_PAGE_OFFSET_START和DRM_FILE_PAGE_OFFSET_SIZE初始化,在 64 位系统上从字节偏移 4 GiB 处开始,大小约 1 TiB,内部由drm_mm管理区间分配。2. 用户态:两步调用以 dumb buffer 为例,CPU 映射分两步:先用 ioctl 取得伪偏移,再以该偏移调用 mmap。// include/uapi/drm/drm_mode.hstructdrm_mode_map_dumb{__u32 handle;// 输入:GEM handle__u32 pad;__u64 offset;// 输出:mmap 使用的伪偏移};/* 第一步:取得伪偏移 */structdrm_mode_map_dumbmap={.handle=handle};intret=drmIoctl(fd,DRM_IOCTL_MODE_MAP_DUMB,&map);/* 第二步:以伪偏移调用 mmap */void*ptr=mmap(NULL,size,PROT_READ|PROT_WRITE,MAP_SHARED,fd,map.offset);GPU 驱动通常另有私有 ioctl 完成第一步,例如 amdgpu 的DRM_IOCTL_AMDGPU_GEM_MMAP(union drm_amdgpu_gem_mmap,偏移由out.addr_ptr返回)。两者返回的都是obj->vma_node在偏移空间中的起始地址,第二步完全相同。与创建、销毁 dumb buffer 的 ioctl 一样,MAP_DUMB不带DRM_RENDER_ALLOW,在 render node 上返回-EACCES;驱动私有的 mmap ioctl 一般允许在 render node 上使用。3. 第一步:取得伪偏移drm_mode_mmap_dumb_ioctl()→drm_mode_mmap_dumb()[未实现 dumb_create 时返回-ENOSYS]→ driver->dumb_map_offset()[驱动提供时使用,如 amdgpu_mode_dumb_mmap]→ 否则drm_gem_dumb_map_offset()[通用实现]→drm_gem_object_lookup()[handle → obj,refcount 加一]→drm_gem_is_imported(obj)?[导入对象返回-EINVAL]→drm_gem_create_mmap_offset()[vma_node 尚未分配时在偏移空间中插入区间]→drm_vma_node_offset_addr(&obj->vma_node)→drm_gem_object_put()几个要点:分配是惰性且幂等的。drm_vma_offset_add()在drm_mm_node_allocated()为真时直接返回,因此同一对象多次调用MAP_DUMB得到同一个偏移。通用实现在首次请求时才分配区间;TTM 则在ttm_bo_init_reserved()中对ttm_bo_type_device与ttm_bo_type_sg类型的 BO 立即分配,amdgpu 的amdgpu_mode_dumb_mmap()只读取已有偏移。驱动可以拒绝 CPU 映射。amdgpu_mode_dumb_mmap()对 userptr BO 和带AMDGPU_GEM_CREATE_NO_CPU_ACCESS标志的 BO 返回-EPERM。通用实现拒绝导入对象。导入对象的后备存储属于导出方,CPU 访问应当经 dma-buf fd 的 mmap 进行,见本章 3.5 的“与另外两类视图的衔接”。4. 第二步:mmap 反查对象DRM 设备 fd 的file_operations.mmap通常为drm_gem_mmap()(amdgpu 的amdgpu_driver_kms_fops也是如此):sys_mmap()→drm_gem_mmap()→drm_gem_object_lookup_at_offset(filp,vma->vm_pgoff,vma_pages(vma))→drm_vma_offset_lock_lookup()→drm_vma_offset_exact_lookup_locked()[要求 vm_pgoff 恰为某个区间的起始页]→kref_get_unless_zero(&obj->refcount)[对象正在释放时视为不存在,返回-EINVAL]→drm_vma_offset_unlock_lookup()→drm_vma_node_is_allowed(node,priv)[当前 drm_file 无权限时返回-EACCES]→drm_gem_mmap_obj(obj,drm_vma_node_size(&obj->vma_node)<<PAGE_SHIFT,vma)→ 映射长度超过对象大小时返回-EINVAL →drm_gem_object_get(obj)[该 VMA 持有一个对象引用,vm_close 时释放]→ vma->vm_ops=funcs->vm_ops → 有 funcs->mmap:由驱动建立映射 → 否则:设置 VM_IO|VM_PFNMAP|VM_DONTEXPAND|VM_DONTDUMP 与 write-combine 页属性,缺页时由 vm_ops->fault 填页 →drm_gem_object_put(obj)[释放 lookup 取得的引用]funcs->mmap与funcs->vm_ops的分工见 gem_object_funcs 第 4 节。5. 权限与生命周期谁能映射。vma_node内部维护一棵允许访问的drm_file树:drm_gem_handle_create_tail()调用drm_vma_node_allow()把当前drm_file加入,drm_gem_object_release_handle()调用drm_vma_node_revoke()将其移除。因此只有持有该对象 handle 的drm_file才能映射它,伪偏移本身不需要保密,其他进程即使得知偏移值也会在drm_vma_node_is_allowed()处被拒绝。映射与 handle 的关系。drm_gem_mmap_obj()让每个 VMA 持有一个对象引用,所以关闭 handle 之后,已建立的映射仍然有效,对象至少要等到munmap之后才可能释放。这是 gem_object 生命周期 第 8 节“关了 handle 对象未必销毁”的典型情形。后备存储移动时。对象被迁移或换出时,已建立的 CPU 页表项必须失效,下次访问重新缺页。偏移空间的所有映射都挂在设备的address_space上,驱动可调用drm_vma_node_unmap()按该对象的偏移区间执行unmap_mapping_range(),TTM 在ttm_bo_unmap_virtual()中即是如此。6. 本节各篇小节内容3.3.1 drm_vma_offset_manager:偏移窗口与访问控制三个结构、用到的drm_mm接口、区间与允许列表的 API、查找与释放的竞争3.3.2 amdgpu 的 CPU 映射:从 GEM_MMAP 到缺页TTM 创建时分配偏移、mmap 的三层叠加、不可见 VRAM 的缺页处理、搬迁后的映射失效偏移窗口底层的drm_mm是 DRM 的通用范围分配器,vma manager 只用到它的一小部分(3.3.1 第 2 节)。它的完整设计与实现放在第 5 章,与drm_buddy对照阅读:drm_mm 范围分配器:设计与接口、drm_mm 实现分析。