订单与库存互调为何会卡死：用 Trace 找循环依赖并改成事件驱动

发布时间：2026/10/25 8:31:35

订单与库存互调为何会卡死：用 Trace 找循环依赖并改成事件驱动
订单与库存互调为何会卡死用 Trace 找循环依赖并改成事件驱动先确认订单与库存是否形成循环等待如果 Order Service 同步等待 Inventory Service而库存处理又回调订单查询两个线程池可能在流量上升时互相占住。504、低 CPU 和线程池满只能提示等待不能直接写成线上结论。在测试环境构造一条循环调用用jstack和 SkyWalking 对齐调用方向、超时与线程状态。并发、响应时间和错误率都从演练采集# 提取 Order Service 节点的线程转储快照 jstack pid /tmp/order_thread_dump.txt # 分析 Order Service 中处于 WAITING/BLOCKED 状态的 Dubbo 线程 cat /tmp/order_thread_dump.txt | grep DubboServerHandler -A 10 | grep java.lang.Thread.State | sort | uniq -c # 检索 SkyWalking 慢追踪链条上的调用环路 curl -s http://skywalking.internal/api/trace/search \ -d {serviceId:order-service,status:ERROR} | jq .下面是构造循环调用时可能出现的等待栈。它只能说明线程正在等待 RPC必须再与另一侧线程栈和 Trace 对齐DubboServerHandler-sample-endpoint-thread daemon TIMED_WAITING java.lang.Thread.State: TIMED_WAITING (parking) at sun.misc.Unsafe.park(Native Method) at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.parkNanos.java:215) at com.alibaba.dubbo.rpc.protocol.dubbo.DubboInvoker.doInvoke(DubboInvoker.java:108) at com.architecture.inventory.api.InventoryService.deductStock(Native Method) at com.architecture.order.service.OrderServiceImpl.createOrder(OrderServiceImpl.java:88)统计两个服务中等待相关 RPC 的线程数并记录线程池上限。若订单侧等待InventoryService.deductStock()同时库存侧等待OrderService.validateOrderDiscount()且可用线程持续降到无法处理回调才形成循环等待证据。循环依赖为何会耗尽两侧线程池在单体架构时代两个 Service 之间互相Autowired循环调用Spring 尚能通过三级缓存进行 Bean 循环依赖解耦或在运行时同线程直接调用。然而一旦将单体拆分为分布式微服务循环调用就会演变为分布式资源死锁Distributed Thread Deadlock。当并发流量陡增时订单服务的线程池被 200 个请求占据并向库存服务发起deductStock()RPC库存服务处理时又反向调用订单服务的validateOrderDiscount()。当正向请求占住订单线程而库存又同步回调订单两个池都可能等待对方释放资源。线程数量与超时从演练配置读取是否形成循环要用 Trace 和线程栈确认。候选重构事件驱动与显式状态机降低循环等待风险的直接做法是保持同步依赖单向反向通知可评估事件或查询副本。引入消息后还要处理重复、乱序、积压和补偿不能只看线程池变化。一种候选方案是事务消息配合本地消息表把反向同步调用改为异步事件。它提供的是可恢复的最终一致流程仍需验证重复、乱序、积压与对账。核心重构代码实现package com.architecture.order.event; import org.apache.rocketmq.client.producer.LocalTransactionState; import org.apache.rocketmq.client.producer.TransactionListener; import org.apache.rocketmq.common.message.Message; import org.apache.rocketmq.common.message.MessageExt; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.stereotype.Service; import org.springframework.transaction.annotation.Transactional; Service public class OrderEventDrivenService implements TransactionListener { private static final Logger log LoggerFactory.getLogger(OrderEventDrivenService.class); private final LocalOrderRepository orderRepository; public OrderEventDrivenService(LocalOrderRepository orderRepository) { this.orderRepository orderRepository; } /** * 1. 执行本地订单创建事务反向通知由事件链路处理 */ Override Transactional public LocalTransactionState executeLocalTransaction(Message msg, Object arg) { try { String orderPayload new String(msg.getBody()); log.info(开始执行本地订单落库事务, Payload: {}, orderPayload); // 本地落库初始状态设置为 PRE_CREATED orderRepository.savePendingOrder(orderPayload); // 本地事务成功提交 RocketMQ 半消息 return LocalTransactionState.COMMIT_MESSAGE; } catch (Exception e) { log.error(本地订单创建失败, 回滚 MQ 半消息, e); return LocalTransactionState.ROLLBACK_MESSAGE; } } /** * 2. MQ 事务状态回查逻辑 */ Override public LocalTransactionState checkLocalTransaction(MessageExt msg) { String orderId msg.getKeys(); boolean exists orderRepository.checkOrderExists(orderId); return exists ? LocalTransactionState.COMMIT_MESSAGE : LocalTransactionState.ROLLBACK_MESSAGE; } }在库存服务端可以消费OrderCreatedEvent异步扣减并让该处理函数不再回调订单服务。系统中的其他调用仍需通过 Trace 扫描package com.architecture.inventory.event; import org.apache.rocketmq.spring.annotation.RocketMQMessageListener; import org.apache.rocketmq.spring.core.RocketMQListener; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.stereotype.Service; Service RocketMQMessageListener( topic ORDER_CREATED_TOPIC, consumerGroup inventory_deduct_group ) public class AsyncInventoryDeductConsumer implements RocketMQListenerString { private static final Logger log LoggerFactory.getLogger(AsyncInventoryDeductConsumer.class); Override public void onMessage(String orderCreatedEventJson) { log.info(异步接收到订单创建事件, 开始无锁化扣减库存: {}, orderCreatedEventJson); // 执行本地库存扣减逻辑如果失败发布 INVENTORY_DEDUCT_FAILED 事件供订单服务兜底退款 // 此处理路径不发起反向同步 RPC失败进入明确的补偿与对账流程 } }用同一演练验证解耦结果在 Staging 使用固定请求集比较循环 RPC 与事件驱动方案。负载大小按环境容量设置还要验证消息重复、乱序和消费失败指标采集来源要回答的问题请求响应时间与超时数负载工具、入口 Trace事件链路是否改善入口等待同时引入新的排队延迟两侧 RPC 活跃与等待线程线程池指标、线程转储反向同步等待是否仍会耗尽可用线程订单、库存最终状态业务库、消息消费和对账记录重复、乱序或消费失败后能否收敛到合法状态循环调用与消息积压Trace 拓扑、Broker 指标循环是否消失压力是否只是转移到消息队列分布式服务拆分的三项检查避免双向同步 RPC发现A - B且B - A时先确认能否调整领域边界或把反向依赖改为事件、查询副本等单向接口。读写分离与数据冗余如果库存服务需要验证订单的折扣应该在库存服务本地的缓存/数据库中冗余必需的折扣快照字段而不是在运行时跨网络去 RPC 查订单服务。评估异步最终一致性跨服务变更可考虑事务消息或 TCC但要先定义幂等、补偿和对账方式。异步不能消除问题只是把一致性处理移到可管理的位置。

相关新闻

JMeter插件安装与使用全攻略：从Plugins Manager到Standard Set核心组件

JMeter插件安装与使用全攻略：从Plugins Manager到Standard Set核心组件

1. 项目概述：为什么我们需要为JMeter安装插件？ 如果你正在用JMeter做接口测试或者性能压测，用了一段时间后，是不是总觉得官方自带的那些元件有点不够用？比如，想更直观地看响应时间的分布，想用更…

2026/10/24 15:02:08 阅读更多 →
Arduino智慧交通沙盘：从零搭建物联网科创项目全攻略

Arduino智慧交通沙盘：从零搭建物联网科创项目全攻略

如果你正在为学校的科创比赛、毕业设计或创客项目寻找一个既有技术含量又能快速出成果的选题，那么“智慧交通”绝对是一个黄金方向。它听起来高大上，但实现起来真的那么遥不可及吗？很多人一听到“智慧交通”就联想到复杂的算法、昂贵的设备和…

2026/10/24 7:24:08 阅读更多 →
Vue3 构建产物过大：先查副作用声明、导入方式和环境变量

Vue3 构建产物过大：先查副作用声明、导入方式和环境变量

Vue3 构建产物过大：先查副作用声明、导入方式和环境变量 Vue3 包体过大先打开构建分析图，别上来就改 Rollup 参数。组件库导入、重复依赖、副作用声明和路由拆分各有证据，逐项验证。 Vue3 官方在设计之初就提出了极致的“按需编译”与“编译期…

2026/10/25 8:19:17 阅读更多 →

最新新闻

Electron桌面应用开发实战：从环境搭建到打包发布全流程

Electron桌面应用开发实战：从环境搭建到打包发布全流程

做前端这些年，我大部分时间都在跟浏览器标签页打交道，直到第一次把桌面应用跑起来，才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词，最开始是在某段时间频繁出现在同事的讨论里，一个用HTML…

2026/10/24 11:09:31 阅读更多 →
滑盖智能锁T109深度解析：结构原理、安装调试与故障排查

滑盖智能锁T109深度解析：结构原理、安装调试与故障排查

简介：亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档，主要面向智能锁安装人员、终端用户及售后维护者，帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件，大小4.37MB，内容结构清晰&#xff…

2026/10/24 17:47:00 阅读更多 →
PMSM弱磁控制原理与Simulink建模：高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模：高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统，整车要求空载跑到8m/s，电机转速已经拉到额定点，驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令，转速纹丝不动，三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/10/24 18:34:36 阅读更多 →
C++核心知识点：从内存管理到STL的实战指南

C++核心知识点：从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年，用它写过嵌入式驱动、做过游戏服务端，也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词，我其实挺感慨的——这门语言的难点从来不是语法多，而是知识点之间的耦合太深…

2026/10/24 9:46:55 阅读更多 →
T109滑盖智能锁怎么装？安装调试与故障排查全攻略

T109滑盖智能锁怎么装？安装调试与故障排查全攻略

简介：亚太天能T109滑盖智能锁产品说明书以PDF格式发布，适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开，先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能，再给出完整安装步骤&…

2026/10/25 3:12:30 阅读更多 →
LLM知识降熵：从信息垄断到理解权下放

LLM知识降熵：从信息垄断到理解权下放

你有没有过这种经历：翻开源码注释、论文摘要或者一份专业报告，每个字都认识，连在一起却像天书。想找人聊聊，身边要么没人懂，要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型，几秒钟之后&a…

2026/10/24 21:09:59 阅读更多 →

日新闻

周新闻

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/24 9:15:56 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/24 11:09:35 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/25 7:47:32 阅读更多 →