Neon pageserver layer文件

发布时间：2026/10/13 5:38:12

Neon pageserver layer文件
Pageserver Layer 文件完整分析一、Layer 文件类型1. 按内容分类类型说明文件命名格式示例ImageLayer单个 LSN 的完整页面快照key_start-key_end__LSN000000067F...70B6-000000067F...80B6__00000000346BC568DeltaLayerLSN 范围内的增量修改key_start-key_end__start_LSN-end_LSN000000067F...20B6-000000067F...30B6__000000578C6B29-0000000057A500512. 按 Key 范围分类L0 vs L1// pageserver/src/tenant/layer_map.rs:793 pub fn is_l0(key_range: RangeKey, is_delta_layer: bool) - bool { is_delta_layer key_range (Key::MIN..Key::MAX) }类型Key 范围LSN 范围特征L0 Delta全量Key::MIN ~ Key::MAX窄范围新冻结的层churn 快L1 Delta部分范围宽范围compaction 后生成Image Layer部分范围单点 LSN快照作为重建终止点Key 结构18 字节spcnode(4) dbnode(4) relnode(4) forknum(1) segno(5) 18 bytes二、Layer 的生命周期状态状态机┌─────────────────────────────────────────────────────────────────────────────┐ │ Layer 状态转换 │ │ │ │ ┌──────────┐ WAL 写入 ┌──────────┐ 冻结 ┌──────────┐ │ │ │ Open │───────────────│ InMemory │───────────│ Frozen │ │ │ │ (活跃) │ │ (内存) │ │ (只读) │ │ │ └──────────┘ └──────────┘ └────┬─────┘ │ │ ▲ _FLUSH │ │ │ │ │ │ │ │ ┌──────────┐ ▼ │ │ │ │ OnDisk │──────────────────┐ │ │ │ │ (本地) │ │ │ │ │ └────┬─────┘ │ │ │ │ ┌─────────────────┘ │ │ │ │ │ 上传完成 │ │ │ │ ▼ │ │ │ │ ┌──────────┐ │ │ │ │ │ Resident │──────────────────────────────┘ │ │ │ │ (驻留) │ 读取时保持 │ │ │ └────┬─────┘ │ │ │ │ 驱逐磁盘压力 │ │ │ ▼ │ │ │ ┌──────────┐ │ │ │ │ Evicted │── 按需下载 ──Resident │ │ │ │ (已驱逐) │ │ │ │ └──────────┘ │ │ │ │ │ │ GC 删除 │ │ └──────已删除 │ │ │ └─────────────────────────────────────────────────────────────────────────────┘状态说明状态说明是否可读取是否可写入Open/InMemory活跃内存层接受 WAL 写入✅✅Frozen已冻结的内存层只读✅❌OnDisk (Resident)已刷新到本地磁盘驻留✅❌Evicted已从本地磁盘驱逐文件已删除⚠️需先下载❌Deleted被 GC 删除❌❌三、Layer 文件在磁盘上的组织目录结构.neon/ └── tenants/ └── tenant_id/ └── timelines/ └── timeline_id/ ├── 00000001...Image_0000000160 # Image Layer ├── 00000001...Delta_0000000150-0000000160 # L1 Delta Layer ├── 00000001...Delta_0000000160-0000000170 # L1 Delta Layer ├── 00000000...Delta_0000000170-0000000180 # L0 Delta全 key 范围 ├── 00000000...Delta_0000000180-0000000190 # L0 Delta全 key 范围 └── ...文件命名解析Image LayerImage Layer: ┌─────────────────────────────────────────────────────────────────────┐ │ 000000067F000032BE0000400000000070B6-000000067F000032BE0000400000000080B6__00000000346BC568 │ │ └───────────────────────┬───────────────────────┘ └────────────────┘ │ │ │ │ │ Key 范围 │ LSN │ │ (部分范围) │ │ └─────────────────────────────────────────────────────────────────────┘Delta LayerDelta Layer: ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ 000000067F000032BE0000400000000020B6-000000067F000032BE0000400000000030B6__000000578C6B29-0000000057A50051 │ │ └───────────────────────┬───────────────────────┘ └──────────────────┬──────────────────┘ │ │ │ │ │ │ Key 范围 │ LSN 范围 │ │ │ (全量L0, 部分L1) │ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘四、Layer 的读取流程GetPageLSN 请求处理// pageserver/src/tenant/storage_layer/layer.rs pub(crate) async fn get_or_maybe_download(self) - ResultResidentLayer, ... { // 1. 检查是否已驻留 // 2. 如果已驱逐从 S3 下载 // 3. 返回 ResidentLayer 保护对象 }读取路径GetPageLSN(key, lsn) 请求 │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 1. 检查 InMemory Layer最快 │ │ ·如果命中 →直接返回 │ │ ·如果未命中 →继续 │ └───────────────────┬─────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 2. 遍历 LayerMap从新到旧 │ │ ·查找包含 (key, lsn) 的 Layer │ │ ·优先查找 Image Layer终止点 │ │ ·收集 Delta Layer 中的 WAL 记录 │ └───────────────────┬─────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 3. 检查 Layer 是否驻留 │ │ ·如果 Resident →直接读取 │ │ ·如果 Evicted →从 S3 下载on-demand │ └───────────────────┬─────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 4. WAL Redo页面重建 │ │ ·从 Image Layer 获取基础页面 │ │ ·按 LSN 顺序重放 Delta Layer 中的 WAL 记录 │ │ ·返回重建后的页面 │ └─────────────────────────────────────────────────────────────┘五、Layer 的压缩CompactionL0 → L1 压缩压缩前多个 L0 Delta: ┌─────────────────────────────────────────────────────────────┐ │ L0-1: key全量, lsn100-110 (4MB) │ │ L0-2: key全量, lsn110-120 (4MB) │ │ L0-3: key全量, lsn120-130 (4MB) │ └─────────────────────────────────────────────────────────────┘ │ │ Compaction ▼ 压缩后L1 Delta Image: ┌─────────────────────────────────────────────────────────────┐ │ Image: keyA-B, lsn130 (32MB, 完整快照) │ │ Image: keyC-D, lsn130 (32MB, 完整快照) │ │ L1-1: keyA-B, lsn100-130 (8MB, 合并后增量) │ │ L1-2: keyC-D, lsn100-130 (8MB, 合并后增量) │ └─────────────────────────────────────────────────────────────┘关键参数compaction_threshold: L0 层数量阈值默认 10compaction_target_size: 单个 L1 层的目标大小默认 128MBimage_creation_threshold: Image Layer 生成阈值默认 3六、Layer 的驱逐Eviction驱逐条件// pageserver/src/disk_usage_eviction_task.rs // 驱逐策略LRU 热度感知 fn select_eviction_candidate( candidates: [Layer], heat_scores: HashMapLayerName, f32, min_resident_size: u64, ) - OptionLayer { // 1. 排除必须保留的层热度 ≥0.7 且在最小保留内 // 2. 优先驱逐热度最低且久未访问的层 }驱逐流程磁盘使用率 阈值如 80% │ ▼ ┌─────────────────────────────────────────────────────┐ │ 1. 选择待驱逐层LRU 热度 │ │ ·热度低heat_score 0.3 │ │ ·久未访问 │ │ ·非 Image LayerImage 层更稳定 │ └────────────────────────┬────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ 2. 删除本地文件标记为 Evicted │ │ ·文件从本地磁盘删除 │ │ ·S3 中仍有备份 │ │ ·LayerMap 中仍保留元数据 │ └────────────────────────┬────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ 3. 释放磁盘空间 │ │ ·resident_physical_size 减少 │ │ ·检查是否需要继续驱逐 │ └─────────────────────────────────────────────────────┘七、Layer 的垃圾回收GCGC 条件// GC 可删除层的条件 // 1. 层的所有 LSN GC horizon默认 64MB WAL // 2. 有更新的 Image Layer 覆盖该层 // 3. 没有分支需要该层分支创建点之后GC 流程当前状态 LSN: 0 ───── 100 ───── 200 ───── 300 ───── 400 [Image] [Delta] [Delta] [InMemory] GC Horizon 400 - 150 250 可删除的层 ✅ Image(LSN100) →被 Delta(LSN100-200) Delta(LSN200-300) 覆盖 ✅ Delta(LSN0-100) →早于 GC Horizon ❌ Delta(LSN200-300) →包含 GC Horizon 后的数据 ❌ Delta(LSN300-400) →包含 GC Horizon 后的数据 ❌ InMemory →活跃数据不能删除八、总结Layer 文件全景图┌─────────────────────────────────────────────────────────────────────────────┐ │ Pageserver Layer 全景 │ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ 内存层InMemory │ │ │ │ ·Open: 接受 WAL 写入 │ │ │ │ ·Frozen: 只读等待 flush │ │ │ └─────────────────────────┬───────────────────────────────────────────┘ │ │ │ flush │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ 本地磁盘层OnDisk │ │ │ │ │ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ L0 Delta │ │ L1 Delta │ │ Image Layer │ │ │ │ │ │ (全 key 范围) │ │ (部分 key) │ │ (单 LSN) │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ ·新冻结的层 │ │ ·compaction │ │ ·快照 │ │ │ │ │ │ ·churn 快 │ │ 生成 │ │ ·终止点 │ │ │ │ │ │ ·窄 LSN 范围 │ │ ·宽 LSN 范围 │ │ ·部分 key │ │ │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ │ │ │ │ │ │ 状态Resident驻留 / Evicted已驱逐 │ │ │ └─────────────────────────┬───────────────────────────────────────────┘ │ │ │ upload │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ 对象存储S3 │ │ │ │ ·所有层的最终持久化存储 │ │ │ │ ·不可变文件创建后不修改 │ │ │ │ ·本地驱逐后按需下载 │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ LayerMap层映射 │ │ │ │ ·记录所有层的元数据key 范围、LSN 范围、文件大小 │ │ │ │ ·按 (key, lsn) 索引支持快速查找 │ │ │ │ ·不存储层文件内容仅存储索引 │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────────────────┘关键指标指标典型值说明Image Layer 大小16-128 MB取决于 key 范围L1 Delta 大小16-128 MBcompaction 目标大小L0 Delta 大小1-16 MB单个 freeze 产生Key 大小18 bytesspcnodedbnoderelnodeforksegnoLSN 大小8 bytesu64冻结阈值checkpoint_distance默认 128MB WALGC Horizongc_horizon默认 64MB WAL这个分析覆盖了 Layer 文件的类型、状态、命名、读取、压缩、驱逐和 GC 的完整机制。

相关新闻

SpringBoot游戏化在线考试系统设计与实践

SpringBoot游戏化在线考试系统设计与实践

1. 项目概述：当在线考试遇上游戏化设计去年接手了一个教育机构的系统升级需求，他们希望把传统的纸质考试搬到线上，但面临两个核心痛点：考生参与度低（尤其是青少年群体），以及防作弊机制薄弱。经过…

2026/10/8 5:56:09 阅读更多 →
GPT-5.6 API价格下调：开发者成本优化与实战接入指南

GPT-5.6 API价格下调：开发者成本优化与实战接入指南

最近，AI圈子里最热闹的话题，可能不是某个新模型的发布，而是OpenAI对GPT-5.6模型进行了一次堪称“腰斩”级别的价格下调。对于开发者而言，这绝不仅仅是一个简单的降价新闻。它传递了一个更强烈的信号：大模型API正在从“…

2026/10/11 23:08:44 阅读更多 →
病毒检测签名技术：从原理到企业级实践

病毒检测签名技术：从原理到企业级实践

1. 病毒检测签名的本质与作用病毒检测签名（Virus Detection Signature）是安全软件识别恶意程序的核心依据，相当于给每个病毒建立独特的"指纹库"。当我在安全实验室分析新型勒索软件时，首先会提取其代码特征、行为模式等…

2026/10/10 19:21:49 阅读更多 →

最新新闻

大厂Python编码规范的核心要点与工程实践

大厂Python编码规范的核心要点与工程实践

1. 为什么大厂如此重视Python编码规范？第一次接触Google的Python代码时，我盯着那些整齐划一的import分组和严格的命名规则发了半天呆。当时很不理解为什么要把时间花在这些"表面功夫"上，直到后来自己维护了三个月前的代码才恍然大悟…

2026/10/13 5:37:33 阅读更多 →
Mac上用FFmpeg调用VideoToolbox硬编H264/H265实战指南

Mac上用FFmpeg调用VideoToolbox硬编H264/H265实战指南

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 5:37:33 阅读更多 →
索洛模型弹性与收敛速度：从公式推导到例题实战

索洛模型弹性与收敛速度：从公式推导到例题实战

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 5:37:33 阅读更多 →
检测跟踪文献综述写作指南：从技术脉络到落地选型

检测跟踪文献综述写作指南：从技术脉络到落地选型

简介：这份《检测跟踪文献综述》面向计算机视觉、智能视频监控方向的学生与研究人员，系统梳理运动目标检测与跟踪领域的技术脉络，帮助读者快速建立从传统监控到智能分析的整体认知。资源包内含1个docx文档，约24KB，以综述…

2026/10/13 5:37:33 阅读更多 →
智能体技能层设计实战：从动态加载到插件化架构

智能体技能层设计实战：从动态加载到插件化架构

写代码这事儿，最怕的不是逻辑复杂，而是什么都从零开始。前阵子给一个智能体项目做功能扩展，核心模块本身不复杂，真正耗时的是那些围绕主流程的周边能力：查天气、算时间、调API、处理文件格式。每加一个新需求&#xff…

2026/10/13 5:37:33 阅读更多 →
K8s监控告警实战：Prometheus组件规划与Helm部署指南

K8s监控告警实战：Prometheus组件规划与Helm部署指南

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 5:36:33 阅读更多 →

日新闻

物联网系统集成避坑指南：从选型到验收的关键要点

物联网系统集成避坑指南：从选型到验收的关键要点

做了这么多年物联网系统集成的项目，我最大的感受是，大部分坑不是出在技术前沿，而是出在一些看起来很平常的地方。设备选了便宜的、协议没问清楚、现场没摸透、验收标准写得含糊——这些细枝末节，最后都会变成延期、超支和扯皮的大…

2026/10/13 0:00:57 阅读更多 →
ESP32舵机控制全攻略：从PWM原理到高级玩法与常见故障排查

ESP32舵机控制全攻略：从PWM原理到高级玩法与常见故障排查

如果你玩ESP32有一阵子了，很难不碰到舵机控制这道坎。做智能小车要转方向，做机械臂要抬关节，做云台要偏航俯仰，背后都是同一个东西在干活：舵机。而我见过太多人卡在“代码能编译、舵机就是不听话”这个阶段&#xff0c…

2026/10/13 0:00:57 阅读更多 →
CAN总线原理与STM32实战：抗干扰、仲裁、错误处理全解析

CAN总线原理与STM32实战：抗干扰、仲裁、错误处理全解析

1. 为什么CAN总线至今仍是工业现场的“硬通货”？——从汽车底盘到智能温室的真实需求你有没有拆过一辆老款燃油车的中控台？或者调试过某高校实验室里那台跑着Modbus协议却频频丢帧的PLC控制柜？又或者，在某个农业物联网项目里&…

2026/10/13 0:00:57 阅读更多 →

周新闻

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

简介：基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码，面向计算机相关专业课程设计与期末大作业学生，以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程，…

2026/10/13 2:54:56 阅读更多 →
影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化，十个新手有八个栽在"往输入框里填东西"这件事上：要么填不进去，要么填了一半，要么直接把原来内容追加在后面。这背后的根因&…

2026/10/12 0:16:38 阅读更多 →
影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀：什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面，跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/13 1:58:08 阅读更多 →

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 21:05:09 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 14:48:49 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 18:11:17 阅读更多 →