服务调用链路优化：微服务拆分与服务合并的工程实践

1. 先聊聊服务调用链路这回事我这两年接手了一个典型的微服务系统二十多个服务互相调来调去表面看着一切正常直到有一次促销活动把系统压垮了。排查的时候我盯着监控面板一条订单请求从网关进去经过用户服务、商品服务、库存服务、订单服务、支付服务再回调几个异步任务完整链路串下来竟然有十四跳。当时我脑子里冒出来的第一个念头就是这哪是微服务架构这分明是套娃。先说清楚一个概念所谓服务调用链路就是一次业务请求从入口到最终落库中间经过了哪些服务、每个服务处理了多长时间、网络开销占了多少、有没有串行等待可以改成并行或异步。Java后端在微服务架构下这个链路往往是最容易被忽略、又最能体现架构水平的地方。链路太长延迟按指数级叠加链路太复杂任何一个节点抖动都可能拖垮整条业务链路太隐蔽出了问题排查起来能让人崩溃一整天。这个标题里的“服务拆分与服务合并”其实是两个方向完全相反的动作。拆分是把大服务拆小追求独立性、扩展性和团队自治合并是把过碎的服务重新聚拢追求调用效率、一致性和运维复杂度。很多人把这俩当成非黑即白的选择题但实际做架构的人都知道这是个动态平衡的过程。真正的链路优化往往就是在拆和合之间反复试探找到那个最适合当前业务阶段和团队规模的甜点区。这篇文章想聊的就是我在实际项目中踩过的坑、做过的取舍和沉淀下来的方法论。不管是正在规划微服务架构的新项目还是已经在运行但调用链路一路放飞自我的老系统应该都能在里头找到点有用的东西。2. 微服务拆分当初为什么拆后来为什么疼2.1 拆分的出发点没错错的是没控制好度微服务拆分的初衷大家都清楚独立部署、独立扩展、故障隔离、技术异构。比如某个服务流量突然暴涨可以只给这一个服务多开几个实例不用把整个单体应用全部扩容比如某个团队可以独立发版不用跟其他团队挤在同一个发布窗口里博弈。我见过一个很有意思的案例。某公司最初是一个单体应用RPC调用全在本地方法里一次下单操作在代码层面调用几个内部类就搞定了性能极好。后来业务起来之后团队为了“架构现代化”一口气把系统拆成了三十几个微服务每个服务都独立建库、独立部署。拆完以后确实每个服务都能独立迭代了但下单链路从原来的一次本地方法调用变成了跨越六七个服务的远程调用。每个远程调用少说三五毫秒多则几十毫秒叠加起来之后单次下单接口的P99延迟从原来的三十毫秒直接飙升到四百毫秒。这就是典型的“为了拆而拆”。拆分的每一个动作都有收益但每一个动作也都有成本。收益是架构上的成本是性能上的。链路每多一跳就多一次网络往返、多一次序列化和反序列化、多一次潜在的超时重试、多一个可能出故障的点。2.2 什么样的服务拆了才有意义我后来整理了一套自己的判断标准未必是所有场景的最优解但至少能帮你在拍脑袋之前冷静三秒钟。第一条看变更频率。两个模块如果经常需要一起改、一起发版那它们拆开不但没有好处还会制造出繁琐的跨服务联调工作。反过来如果模块A一周发布三次模块B一个月才发布一次这俩东西放在同一个服务里就是在互相绑架拆开才是合理的。第二条看数据边界。一个服务能不能拆核心要看它管的数据是不是真正独立的。如果两个模块操作的是同一张表、同一个事务那硬拆只会把本地事务变成分布式事务把简单问题复杂化。数据边界清晰的模块拆出来才不会有剪不断理还乱的依赖关系。第三条看性能需求差异。有的功能对延迟极其敏感有的功能就是批处理性质的异步任务两者混在一个服务里扩容和调优都得互相迁就拆开才能各自按需分配资源。第四条是团队边界。微服务一个不成文的潜规则是“一个服务最好由一个团队长期负责”。如果拆出来的服务没人长期维护那就是在制造技术债。2.3 拆分过程中踩过的具体坑拆分的时候有个特别容易忽略的问题数据库连接数。服务拆开以后每个服务都要独立建库但数据库连接池的资源是有限的。比如原来一个应用占一百个连接拆成十个服务后每个服务各占一百个总的连接数直接翻了十倍数据库先扛不住了。这个坑我在真实项目里见过不止一次有人是为了解决连接数问题又引入了中间件层做连接复用复杂度反而上去了。另一个坑是事务边界。单体时代我们用Transactional轻轻松松搞定的事务拆成跨服务调用之后要么退化成分布式事务方案要么就得重新设计业务逻辑把强一致性改成最终一致性。很多团队在拆分的时候根本没想到这一层等拆完发现下单流程里到处都要异步补偿数据一致性瞬间变得千疮百孔。还有发布节奏的坑。服务拆多了以后一个需求可能要同时改四五个服务的代码这四五个服务各自的发布窗口、回归测试、上线审批都不一样原本一个版本搞定的事现在要拉通好几个团队排期。很多公司把服务拆了一地之后效率不仅没提升反而因为协调成本大幅度下降。这也是后来为什么大家都在谈“合并”的原因之一。3. 服务合并把链路重新做短3.1 什么时候该考虑合并如果你的系统出现了下面这些信号我建议你认真考虑一下合并的事。信号一链路深度失控。一条核心业务请求要穿过八跳以上才能完成而且每一跳只是做了个简单的数据查询或字段转换没有什么独立的业务价值。这种情况下链路深度带来的延迟累积已经远远大于服务拆分带来的收益。信号二跨服务调用变成了“远程本地调用”。我见过有同事把一个服务里的一段逻辑原封不动搬到另一个服务里然后在原来那个服务里通过Feign调过去。代码完全没变只是从方法调用变成了HTTP调用多了网络开销和序列化开销换来的所谓“服务独立”没有任何实质意义。信号三数据一致性极度别扭。两个服务的数据强相关必须保证同时更新或者同时不更新但拆开之后只能靠分布式事务或者手工补偿去维护。这种硬拆的代价非常大把两个服务合并回一个事务问题会瞬间消失。信号四基础设施成本过高。微服务越多对应的注册中心、配置中心、监控告警、日志采集的接入成本就越高。到了某个量级光是运维这些服务的成本就抵得上微服务带来的所有好处的总和。3.2 合并的策略和实施要点合并听起来简单就是把两个服务合成一个但实际上操作起来需要非常谨慎。第一步是理清依赖关系。两个服务之间如果有循环依赖说明边界划分本身就有问题合并之前必须先梳理清楚谁依赖谁。第二步是数据库合并这是最麻烦的环节。两个服务各自有库合并后要么做数据迁移到同一个库要么保留分库但把应用层合并成同一个部署单元。前者干净但风险大后者见效快但长期还是有网络开销。我当时更多选择后者过渡先把应用层合并减少调用链路跳数数据层后续再慢慢处理。第三步是接口层梳理。两个服务合并后原先服务A调服务B的那个Feign接口就变成了本地方法调用可以直接去掉网络开销和超时重试的复杂度。但要注意内部接口的语义可能是为网络调用设计的该精简的参数和返回值要顺手精简一下别把远程调用时代留下的冗余带进单体逻辑里。第四步是容量评估。合并后的服务会承载更大的流量和更多的职责之前的部署规格、线程池配置、连接池大小都得重新评估别合并完代码发现扛不住流量还得紧急扩容回两个服务。这里要特别提醒一下合并不等于开倒车。不是说合并就是回到单体时代而是基于当前的业务状态和团队规模重新找到那个收益最大化的服务粒度。微服务不是越多越好也不是越少越好是刚刚好最好。3.3 合并的真实收益测算我曾经在一个模拟项目里做过一次小范围合并验证。当时有四个服务分别是会员信息、会员等级、会员积分、会员通知。这四个服务之间的调用非常频繁因为一个用户中心的页面需要同时加载基础资料、等级信息和积分余额一次页面请求要串行调三次远程服务。我把会员等级和会员积分合并进会员信息服务从一个独立的通知服务保留拆分状态把原来三次串行远程调用变成了一次加上本地并行查询缓冲。改造完成后该接口的P99延迟从两百多毫秒降到了五十毫秒左右而且因为少了两次网络调用超时和重试引发的故障告警数量直接降了七成。这个案例不是说要照搬而是说明链路跳数对延迟的影响往往比我们预想的大得多。4. 调用链路优化的几个务实手段4.1 同步调用改异步化链路太长的时候一个很实用的优化手段是把链路上非关键路径的同步调用改成异步。打个比方用户下单成功后要发短信、要更新会员积分、要推送消息给运营后台。这些动作如果全部同步阻塞在请求链路上下单接口的响应时间就会被这些边角逻辑无限拉长。正确做法是把这些非核心动作丢到消息队列或者线程池里异步执行主链路只要保证订单数据落库和库存扣减成功就立即返回给用户。用户在页面上看到的下单成功不需要等短信发送完毕。异步化的核心难点在于对账和补偿异步任务可能失败失败之后怎么重试、怎么监控、怎么人工介入这需要在业务设计的时候就考虑清楚。优化前链路是下单接口 → 扣库存 → 落订单 → 发短信 → 更新积分 → 发站内信 → 返回成功全程同步。优化后链路是下单接口 → 扣库存 → 落订单 → 返回成功异步任务 → 发短信 → 更新积分 → 发站内信。主链路响应时间降一半是保守估计。4.2 并行调用的收益计算除了异步化把链路上本来就互不依赖的串行调用改成并行也是一个立竿见影的优化思路。比如上面提到的一个页面要同时加载用户基础资料、等级信息和积分余额这三个数据互不依赖完全可以并发去拉。我算过一笔账假设单个远程调用平均耗时五十毫秒三个串行就是一百五十毫秒。改成并行之后总耗时就约等于最慢的那一个也就是五十毫秒左右。三个变三个并行的效果是响应时间从一百五降到了五六十毫秒如果链路里更多互不依赖的调用效果更明显。Java后端做并行调用最简单的方案是使用CompletableFuture。把多个相互独立的远程调用用supplyAsync包装起来再用allOf聚合等待。要注意的是并行调用会增加线程开销也可能会因为线程池配置不当引发资源竞争。建议使用独立的线程池做并行调用别把业务线程池和并行调用线程池混在一起。4.3 缓存策略怎么介入链路调用链路的另一个常见优化点是缓存。链路长往往意味着每个服务都要查一次数据库如果某个环节的数据短时间不会变化或者允许短暂的不一致就可以在上游服务甚至网关层直接加缓存把下游的调用直接砍掉。比如用户等级信息一天更新一次就够的业务场景完全可以在会员信息服务里做本地缓存配合Redis做二级缓存。缓存命中之后查询等级的那个远程调用或数据库查询就直接省掉了。缓存策略的关键是选对数据和定好过期时间。对于频繁更新、强一致性的数据不建议加缓存加了反而会后患无穷。4.4 连接池与超时参数的敏感点链路优化的很多问题其实还藏在一些不起眼的配置里。比如HTTP连接池的连接复用、空闲连接回收、超时时间设置。Feign默认超时配置在复杂链路下经常引发连锁超时——服务A调服务B超时了服务A的重试把流量又打到服务B服务B这个时候可能正在处理其他请求反而被这波重试给压垮了。我踩过的坑是超时时间统一设置比如全部设成三秒。结果发现上游的一个慢查询把下游的请求全部拖到了超时边缘下游开始大量重试服务端堆积大量半开连接最终引发雪崩。正确的做法是按链路每一跳单独评估超时核心链路设置更短的超时和禁掉重试非核心链路反而放宽。还有个容易踩的点是线程池隔离如果所有调用共用一个线程池一种慢调用会占满所有线程导致其他所有快接口全部阻塞。用独立的线程池把不同类型的调用隔离开来这是很基础但很重要的一步。4.5 可观测性链路优化的地基链路优化措施做得再多没有可视化工具都等于白做。调完一个服务接口延迟到底降了没有链路里哪一跳是最耗时的只有接入了全链路追踪才能回答这些问题。Java后端常用的方案有很多核心思路是给每个请求分配一个全局唯一的TraceID经过每个服务时记录对应的Span然后把所有Span串起来形成一棵调用树。有了链路追踪之后你才能回答以下几个问题这个接口经过了几跳哪一跳耗时最长哪些调用其实可以并行哪些调用前人已经优化过了哪一种数据适合加缓存这些判断的依据都来自链路数据而不是拍脑袋。5. 实际项目的链路优化复盘5.1 一个典型的优化前链路为了把上面这些思路串起来我用一个模拟项目“某订单系统”来复盘一下。这个系统的下单接口优化前的调用链是这样的用户通过网关发起下单请求网关先调用认证服务做Token校验然后调用商品服务查询商品详情接着调用库存服务扣减库存再调用订单服务创建订单订单服务内部又同步调用支付服务发起预支付支付服务回调之后订单服务还要同步调用优惠券服务核销优惠券最后调用通知服务发送下单成功消息。这条路走完已经过了七个服务而且大部分步骤是串行的。再加上网关、注册中心、配置中心这些基础设施的间接依赖一条下单请求牵扯到的组件数量接近二十个。页面上看下单接口的P99延迟在七百毫秒到一秒钟之间用户体验极差。5.2 优化方案的具体动作针对这条链路我做了几件具体的事。第一件把认证服务从主链路上摘掉。Token校验改成网关层拦截用本地缓存校验JWT签名不再发起远程调用。这个动作直接砍掉了一跳。第二件商品详情的读取加缓存。商品详情数据本来就是读多写少在网关和商品服务之间插入一层Redis缓存大部分请求直接命中缓存不用打到数据库。第三件库存扣减和订单创建之间原来用的是同步RPC我改成了本地事务加消息队列。订单服务先创建订单并发送扣减库存的消息消息异步消费去扣减库存。库存扣减略微有延迟但下单接口的响应时间大幅下降。这种改法适合库存占用不需要秒级一致的场景如果库存是强一致要求那就得保留同步扣减。第四件优惠券核销和通知发送全部改成异步丢到消息队列里慢慢消费失败就走重试和人工处理流程。第五件把支付服务的预支付调用从串行改成并行。创建订单和预支付这俩动作其实不互相依赖前提是订单号先生成用 CompletableFuture 并行发起节省了一半时间。第六件全局超时和线程池重新评估。每一步调用都单独设超时核心链路禁掉重试非核心链路重试次数减到一次调用线程池按业务领域隔离。5.3 优化后的成果和总结完成这些改造之后下单接口的P99延迟从七百多毫秒降到了两百毫秒以内平均耗时从三百毫秒降到七十毫秒左右。整个链路的跳数从七跳降到了三跳而且这三跳里还有一跳已经变成了网关本地处理。系统稳定性也明显改善之前因为同步调用超时引发的雪崩告警基本消失了。这个项目的经历让我对“服务拆分与服务合并”有了一个更务实的理解。拆分本质上是在投资未来买的是独立性和扩展性合并和链路优化本质上是在偿还过去把那些过度设计和不必要的中间环节拿掉。好的架构是每一次拆和每一次合都有明确的理由而不是跟风。6. 常见问题与排查技巧实录6.1 链路变慢但找不到瓶颈这是排查里最磨人的问题。接口平均耗时正常但偶尔出现几个超长尾请求查监控看不出个所以然。我的经验是优先看GC日志Full GC或CMS的并发失败会导致几百毫秒的STW这在请求链路上表现就是随机出现的长尾。第二个嫌疑对象是网络抖动tcp重传、连接池预热、服务端线程池饥饿都会造成偶发性耗时剧增。第三个嫌疑是日志系统同步打印大日志在IOPS很低的时候非常耗时这个容易被忽略。建议在链路追踪里把“异常耗时请求”单独拉出来跟正常请求做对比看差别出在哪一跳。实质性的排查工作要一次做透不要被平均指标迷惑。6.2 服务合并之后反而更慢了这种情况我遇到过合并的不只是应用层还把数据库表也赶到了同一个库但是没有做索引的重新评估。两个服务的查询逻辑合并到一个服务之后如果原来的查询条件语义有差异索引使用不当会导致全表扫描。合并之后更慢先别急着否定这个方向优先看数据库慢查询日志和执行计划大概率出在SQL和索引上。还有一个可能是合并后的服务承接了原来两个服务各自的流量峰值但部署的实例数没有成倍增加导致单机CPU打满响应自然变慢。合并之后一定要重新压测以新版服务的独立容量指标作为部署规模的依据不能拿合并前的数据来估算。6.3 异步化导致的数据不一致这是异步改造绕不开的问题。我踩过的坑是消息发送成功但消费方处理失败又没有做好重试和补偿机制最终导致用户收到下单成功通知但积分没有累积。解决思路分两层。第一层是保障消息尽量不丢生产端用事务消息或本地消息表消费端做好幂等。第二层是做好兜底巡检定期对账发现不一致的订单自动补偿。完全避免不一致不现实目标是把不一致的时间窗口压到最小把不一致的影响范围控制在局部。6.4 拆分合并后团队研发效率的评估最后说一个容易被忽略的问题。评价拆分也好、合并也好不能只看接口延迟这类技术指标还要看研发效率和交付质量。如果一个服务拆了以后看代码要跨N个仓库才能看懂一条业务全貌研发效率不升反降那这个拆分就是失败的。合并的目的除了降低调用延迟也包括降低认知负担。保持“服务内聚性”和“跨服务松散耦合”的平衡才是微服务架构持续演进的核心。我在实际项目里经常用的一个方法是每隔半年做一次“服务边界评审”把每个服务的依赖关系、调用频次、链路深度全部梳理一遍看看有没有已经暴露出来的拆错或合错的地方。架构不是一锤定音而是在持续调整中慢慢逼近最优解。