【免费下载链接】PgQuePgQue – Zero-bloat Postgres queue built on top of on battle-proven Skypes PgQ. One SQL file to install, pg_cron to tick https://pgque.dev项目地址https://gitcode.com/gh_mirrors/pg/PgQue点击查看免费下载PgQue 是一个零膨胀zero-bloat的 Postgres 事件队列单个 SQL 文件安装用pg_cron驱动 tick 心跳。膨胀问题被架构设计消除了但队列监控一点都不能省——ticker 停摆、消费者卡死、死信堆积都会让队列静默失速。本文带你接入 5 个必须告警的队列健康指标并用 3 条只读 SQL 揪出卡住的消费者。一、为什么 PgQue 仍需要监控真正的风险点不是膨胀大多数 Postgres 队列靠SKIP LOCKED 删行取任务长跑之后死元组越堆越多、VACUUM 越追越累。PgQue 的热路径从不删行而是靠TRUNCATE 轮转回收空间所以事件表天然不膨胀——上图来自仓库的 xmin-horizon 基准实验benchmark/xmin-horizon/即使在长事务钉死 xmin 的极端场景下PgQue 的死元组依然是 0。但轮转有一个前提只有所有消费者都读过去之后那张子表才能被 TRUNCATE。一个停掉的消费者会把最旧的 tick 钉死轮转被无限跳过事件表从此无限增长。换句话说保护磁盘的不是磁盘告警而是消费者健康告警。还有一条铁律ticker 停摆 没有 tick 没有批次 永远收不到消息receive永远返回 0 行。这也是监控的第一优先级。名词解释见 docs/concepts.md。二、只读监控角色 4 个观察函数PgQue 内置了一组只读观察函数全部授权给pgque_reader角色——监控账号不需要任何写权限-- 给监控账号只读角色即可安全无副作用 grant pgque_reader to metrics;函数回答的问题pgque.get_queue_info()队列还在流动吗ticker 停了吗pgque.get_consumer_info()每个消费者跟得上吗谁卡住了pgque.get_batch_info(batch_id)某个在途批次卡在哪一步pgque.status()ticker / 维护任务调度好了吗仅 admin完整的列说明与全部只读查询见官方文档 docs/monitoring.md。三、5 个必须告警的队列健康指标#指标来源告警条件后果1Ticker 心跳get_queue_info().ticker_lag持续超过ticker_idle_period默认 1 分钟不产生批次消息永不投递2消费者延迟get_consumer_info().lag/pending_events多个采样周期持续增长追不上实时流量积压扩大3卡住的消费者last_seen增长 last_tick冻结队列last_tick_id在推进而它不动钉死最旧 tick阻塞 TRUNCATE磁盘无限增长4死信队列深度pgque.dead_letter行数持续增长或期望为 0时非零下游反复失败重试耗尽5表轮转健康queue_switch_time长期不推进旧子表无法 TRUNCATE存储只增不减指标 1Ticker 心跳ticker_lagPgQue 默认每 100 ms 打一个 tick空闲队列至少每ticker_idle_period默认 1 分钟也会打一个。所以ticker_lag 持续爬过 1 分钟基本就是 ticker 死了。第一步先查pgque.status()确认 ticker 与 maintenance 任务是否还在调度——这是所有故障排查的第一问。指标 2消费者延迟lag 与 pending_events健康系统里lag和last_seen都保持低位、pending_events接近 0。一旦持续上涨先问一个问题是太慢还是死了如果是太慢消费者还活着、只是并行度不够加消费者即可把积压排空指标 3卡住的消费者最危险它的签名很明确last_seen持续增长但last_tick纹丝不动而队列的last_tick_id在正常推进通常还伴随pending_events上涨。崩溃、死锁、部署事故都会造成这种状态——而且它不会自愈必须人工介入。下一节专门讲怎么揪出来。指标 4死信队列深度DLQ depth消息重试耗尽默认 5 次后会落进pgque.dead_letter。死信堆积 下游在反复失败select dl_queue_id, count(*) as dlq_depth from pgque.dead_letter group by dl_queue_id order by dlq_depth desc;非零本身不一定是故障可能只是偶发但增长趋势必须告警。定位原因用pgque.dlq_inspect(orders, 20)看最近 20 条的dl_reason即可。指标 5表轮转健康queue_switch_timeget_queue_info()里的queue_switch_time是上次轮转的时间。它长期不推进尤其是指标 3 触发时说明旧子表还被某个慢消费者钉着——存储只增不减这是磁盘告警的真正前兆。四、实战三步揪出卡住的消费者第 1 步全局扫描按落后 tick 数排序。把消费者位置和队列最新 tick 连起来看冻结的last_tick会立刻暴露select c.queue_name, c.consumer_name, c.last_seen, c.last_tick, q.last_tick_id, q.last_tick_id - c.last_tick as ticks_behind, c.pending_events from pgque.get_consumer_info() c join pgque.get_queue_info() q using (queue_name) order by ticks_behind desc nulls last;ticks_behind持续上涨的那一行就是嫌疑人。第 2 步检查在途批次。若嫌疑消费者的current_batch长期非 NULL有批次一直没 ack用pgque.get_batch_info(batch_id)看它的lag和seq_end - seq_start——批次活了多久、覆盖多大事件跨度。第 3 步处置。能救就修复消费者进程、观察last_tick恢复推进救不活就退订让轮转恢复select pgque.unsubscribe(orders, dead_consumer);注意不打算重启的死消费者必须退订否则它会永远钉住这个队列的存储。进阶玩法实验性的 devel/sql/experimental/observability.sql 提供了stuck_consumers(threshold)按阈值直接列出卡住的消费者、queue_health()一键体检表和otel_metrics()OTel 指标导出接 Prometheus/Grafana 前建议先通读一遍源码。五、监控接入清单建一个只读metrics角色grant pgque_reader——零写权限把上面 5 个指标接进采样器10~30 秒一次按趋势告警不按单点——PgQue 不内置 SLA绝对阈值按自己的 tick 速率和流量调第一优先级永远是pgque.status()ticker 没跑其他指标全归零想深入调 tick 周期与延迟的关系看 docs/latency-and-tuning.md全部函数签名查 docs/reference.md。一句话总结PgQue 让膨胀不再是你的问题但消费者活着吗、ticker 在跳吗这两件事必须靠你的告警来回答。赞分享【免费下载链接】PgQuePgQue – Zero-bloat Postgres queue built on top of on battle-proven Skypes PgQ. One SQL file to install, pg_cron to tick https://pgque.dev项目地址https://gitcode.com/gh_mirrors/pg/PgQue点击查看免费下载相关推荐5分钟掌握Apache Kafka 3.1消费者健康监控从Lag指标到活跃度告警全方案5分钟掌握Apache Kafka 3.1消费者健康监控从Lag指标到活跃度告警全方案 Apache Kafka 3.1作为高性能分布式消息系统消费者健康监消息队列流处理数据集成存储igel社区贡献指南如何参与开源机器学习项目开发igel社区贡献指南如何参与开源机器学习项目开发 igel是一款令人愉悦的机器学习工具无需编写代码即可训练、测试和使用模型。作为开源项目igel欢迎所有开终极Flow监控告警指南10个必备的类型检查服务健康监控方案终极Flow监控告警指南10个必备的类型检查服务健康监控方案 Flow作为JavaScript的静态类型检查工具能显著提升开发效率和代码质量。本文将分享10开发工具静态分析代码质量创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考