基于ZooKeeper的在线状态漂移检测与选主实现

1. 先聊清楚微信个人号多设备场景下的“在线状态漂移”是什么1.1 多个实例同时工作为什么会产生状态分歧如果你搭过微信个人号相关的中台服务一定遇过这种奇怪现象后台明明显示账号在线消息流水也正常可业务侧就是反馈漏消息、重复消息。查到最后往往是同一个号被两个进程同时管理着A 进程刚发完一条消息B 进程又把它顶下线微信端的在线状态像拉锯一样来回横跳。我们内部把这种现象叫做“在线状态漂移”——主控权从一个实例转移到另一个实例但没有经过双方确认谁都觉得当前自己才有资格操作这个账号。这种场景在带多设备、多进程的 IM 个人号管理系统里非常常见客服工作台、消息聚合、自动化备份都可能让同一套凭据同时暴露给多个节点。理想情况下同一时间只能有一个实例作为“主控”与微信服务端保持主会话其他实例只做只读监听或待命。可一旦节点宕机、网络抖动、进程僵死主控身份就需要立刻交给另一个实例。关键问题是怎么让大家同时感知到“旧主已失效”并且在新旧交替时不让消息发送错乱。这就是在线状态漂移检测要解决的核心矛盾。1.2 数据库里放一个在线标志位为什么靠不住有人会想在数据库建一张状态表online_holdernode_aA 不行了就改成node_b不就行了吗我一开始也是这么干的后来发现这条路走不通。第一数据库里存的只是一个静态快照。进程是被 kill -9 干掉的数据库不会自动把状态改成“离线”只能靠额外的定时任务去心跳清理而心跳本身又会引入新的超时判断问题。第二多节点同时读写这张表时时序很难控制。A 网络抖动恢复后可能并不知道 B 已经把状态改成自己了它只要再往数据库写一条online_holdernode_a状态就又分裂了。第三数据库的更新事务没法保障“谁真正持有网络会话”这个事实。会话是长连接数据库状态只是一个弱信号两者没有强绑定关系最终一定会出现状态与事实脱节。所以我们需要的是一个具备“会话语义”的协调组件把进程是否存在、会话是否有效、主控权是否被持有这几件事天然绑在一起。ZooKeeper 的临时节点正好干这个。2. 选型思考为什么是 ZooKeeper而不是 Redis 或 MySQL2.1 临时节点天然就是在线状态的“心跳探针”ZooKeeper 里有一种节点叫临时节点Ephemeral Node它和客户端的 ZK 会话绑定。客户端创建临时节点之后如果连接断开并且超过会话超时时间ZooKeeper 服务端会主动把这个节点删除。进程被强杀、机器掉电、长时间网络隔离都会触发同样的结果节点自动消失。这个特性几乎是给“在线状态漂移检测”量身定做的。我们不需要写清理逻辑去移除僵尸标记也不需要等业务方手动上报离线。ZK 服务端会替我们做这件事。把“当前主控权”放在一个临时节点上等于告诉所有节点谁能在 ZK 里保住这个节点谁才有资格继续对外操作。这里有个容易忽略的细节临时节点删除的时机是“会话超时”不是“连接断开”。客户端和 ZooKeeper 之间的连接断开后会话不会立刻失效ZK 服务端会等待一个会话超时时间期间如果网络恢复客户端可以重连并继续使用同一个会话。这个超时时间是可以配置的后面我会专门讲如何避免因为参数设置不当导致误漂移。2.2 Watch 机制让状态变化能够主动通知所有候选节点ZooKeeper 的另一个关键能力是 Watch监听。客户端可以对某个节点设置监听节点创建、删除、数据变化、子节点变化时ZK 会向客户端推送一个事件。这样选主和漂移检测就可以从“定时轮询”变成“事件驱动”。比如每个候选节点都盯着当前active节点一旦active节点消失所有候选中至少有一个会收到通知马上发起新一轮选举。如果换成数据库轮询就得每隔几百毫秒查一次状态表既慢又费资源而且响应速度还取决于轮询间隔。当然Watch 是“一次性”的。事件触发后监听自动失效如果业务代码没有重新注册 Watch下一次变化就感知不到了。这是一个非常经典的坑后面的实操部分我会给出应对方案。2.3 和 Redis / MySQL / etcd 放在一起看选型时我也对比过其他方案简单列个表方案会话绑定能力事件通知运维成本适合场景ZooKeeper有临时节点绑定会话节点随会话失效自动删除原生 Watch注册简单偏高集群需要独立维护分布式协调、选主、分布式锁Redis没有会话概念需要自己用 TTL 模拟可用 Pub/Sub 或 Stream但语义弱低简单缓存锁、短任务互斥MySQL无状态全靠业务写无只能轮询低业务状态存储etcd有 Lease可绑定节点续期有 WatchgRPC 生态高云原生场景下的选主配置如果你团队里已经有成熟的 ZooKeeper 集群用 ZK 做在线状态漂移检测和选主是最顺手的。如果没运维条件etcd 也完全可以做类似的事但本文重点讲 ZooKeeper 的实现思路。3. 在线状态漂移检测与选主的整体设计3.1 节点模型把账号状态“立”在 ZooKeeper 上我最终采用的节点结构大概是这样/wx-accounts /{wxid} /members /m-0000000001 /m-0000000002 /active三层节点的含义/wx-accounts/{wxid}是持久节点代表一个微信个人号。/wx-accounts/{wxid}/members是持久节点用户存放所有候选实例。/members/m-0000000001是临时顺序节点。每个实例启动时都在这里创建一个节点节点序号由 ZooKeeper 自动递增。/wx-accounts/{wxid}/active是临时节点由当前主控实例创建。谁创建成功了谁就是主控。active节点的数据里我习惯放一段 JSON{ seq: 1, instanceId: host-a-001, sessionId: 1234567890, activeSince: 1699999999000 }seq就是候选节点的序号instanceId是本实例的唯一标识sessionId是 ZK 会话 ID。这三个字段一起决定“当前主控是谁”以及“是否发生了状态漂移”。用临时顺序节点而不是随机节点名是有意的节点序号天然给出了候选者的继任顺序先启动的实例序号小更容易成为主控中途挂掉后下一个节点自动顶上不需要再做复杂的优先级排序。3.2 选主流程顺序节点 最小序号 Watch 前驱有了上面的节点模型选主流程就非常清晰了实例启动连接 ZooKeeper。确保/wx-accounts/{wxid}和/members持久节点存在。在/members下创建临时顺序节点拿到自己的seq。读取/members下所有子节点按序号排序。如果自己的序号是最小的尝试创建/active临时节点。创建成功就是主控实例失败说明已经有主控存在那就监听/active。如果自己的序号不是最小那么监听“紧挨着自己前面的那个节点”。比如当前序是 2就监听序 1 的节点。当前驱节点消失时说明前面的候选退出了立刻重新读取子节点重新执行选举。这里的关键优化是“只监听前驱节点”。如果所有候选节点都监听/active一旦active删除所有节点都会收到事件但只有一个能创建成功其他节点白白竞争会产生惊群效应。通过监听前驱节点ZooKeeper 天然给候选人排了队前面的挂了后面的顶上整个过程非常安静。选举完成后非主控节点还要继续监听/active节点因为如果主控实例进程没崩但是active节点被人为删除或数据被改也需要触发重新评估。3.3 漂移检测规则序号、会话、持有者三者缺一不可在线状态漂移检测的核心不是简单判断“有没有主控”而是判断“当前主控是不是我”。我总结了三个信号信号一我的候选节点在/members下是否存在。如果不存在说明我的 ZK 会话可能已经过期我失去竞选资格。信号二/active节点是否存在。不存在说明当前没有主控需要立即选举。信号三/active节点里的数据是不是我。如果节点存在但instanceId、sessionId、seq和我本地不一致说明主控权已经漂移到了别的实例我必须立刻降级。把这三个信号组合起来看候选节点存在active 节点存在active 持有者是我判定结果是是是正常主控继续工作是是否候选/待命等待 active 消失是否否没有主控立即参与选举否任意任意本实例已失去资格重新登记节点连接断开任意任意暂停一切业务操作等待重连这里最容易被忽略的是“连接断开”这一行。我在早期实现里犯过错误本地进程以为自己还是主控继续向微信服务发送消息但其实 ZooKeeper 里active节点已经因为会话超时被删除了新的主控已经产生于是两边同时发消息造成重复和冲突。正确做法是只要 ZK 客户端进入Disconnected或Expired状态立刻把本地角色降级为SUSPEND停掉所有对外写操作避免旧主在不知道的情况下继续工作。3.4 状态机把角色流转写清楚所有实例都会经历几个状态INIT初始化、CANDIDATE候选、LEADER主控、WAITING等待前驱、SUSPEND暂停/降级。创建候选节点成功进入CANDIDATE。CANDIDATE发现自己是最小序号且成功创建active进入LEADER。CANDIDATE发现前驱还在进入WAITING。WAITING收到前驱节点删除事件回到CANDIDATE重新选举。LEADER如果发现active节点消失、数据被改、ZK 连接异常进入SUSPEND。SUSPEND重连成功后重新创建候选节点进入CANDIDATE。把这个状态机写清楚代码就不容易乱。我在工程里遇到过一些代码选主逻辑和心跳逻辑混在一起状态一多就开始到处改变量最后线上故障时根本分不清当前该算什么态。后来强行把状态流转收敛到一个对象里所有状态变更都只由 ZK 事件驱动再也没有出现过“看着像主控但其实不是”的混乱窗口。4. Java 落地一套最小可用的选主与漂移检测实现4.1 环境与依赖准备我用 Java 原生客户端做了一版可运行的最小实现。先加依赖dependency groupIdorg.apache.zookeeper/groupId artifactIdzookeeper/artifactId version3.8.4/version /dependency本地起一个单节点 ZooKeeper 就够了测试时用bin/zkServer.sh start启动服务默认端口2181。生产环境建议起三节点集群但选主逻辑本身不需要区分单机还是集群。核心类我命名为WxAccountLeaderElector字段包括private final ZooKeeper zk; private final String wxid; private final String instanceId; private final String membersPath; private final String activePath; private String candidatePath; private long localSeq; private volatile boolean isLeader false;instanceId用来标识本机实例比如host-a-001。后面判断active节点是否为本人持有全靠它。4.2 候选注册创建临时顺序节点实例启动的第一步是创建候选节点。这个过程相当于向 ZooKeeper 喊一句“我来了请给我排个号”。public void start() throws Exception { ensureParentNode(); registerCandidate(); evaluateLeader(); } private void ensureParentNode() throws Exception { if (zk.exists(/wx-accounts, false) null) { zk.create(/wx-accounts, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } if (zk.exists(/wx-accounts/ wxid, false) null) { zk.create(/wx-accounts/ wxid, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } String path /wx-accounts/ wxid /members; if (zk.exists(path, false) null) { zk.create(path, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } } private void registerCandidate() throws Exception { String data String.format({\instanceId\:\%s\,\pid\:%d,\startTime\:%d}, instanceId, ProcessHandle.current().pid(), System.currentTimeMillis()); candidatePath zk.create(membersPath /m-, data.getBytes(StandardCharsets.UTF_8), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); localSeq Long.parseLong(candidatePath.substring(candidatePath.lastIndexOf(-) 1)); }这里创建的是EPHEMERAL_SEQUENTIAL节点它既具备临时节点的自动删除特性又能得到一个全局递增的序号。所有候选节点按照创建顺序排成一条队序号越小优先级越高。4.3 选主与漂移监听核心逻辑选主逻辑在evaluateLeader方法里。每次 ZK 事件触发都会重新评估当前角色。private void evaluateLeader() throws Exception { if (zk.getState() ! ZooKeeper.States.CONNECTED) { markFence(); return; } ListString children zk.getChildren(membersPath, true); ListLong seqs children.stream() .map(p - Long.parseLong(p.substring(p.lastIndexOf(-) 1))) .sorted() .collect(Collectors.toList()); if (seqs.isEmpty()) { return; } long minSeq seqs.get(0); if (minSeq localSeq) { tryAcquireActive(); } else { long prevSeq seqs.get(seqs.indexOf(localSeq) - 1); String prevPath membersPath /m- prevSeq; if (zk.exists(prevPath, event - { if (event.getType() EventType.NodeDeleted) { try { evaluateLeader(); } catch (Exception e) { log.error(重新选举失败, e); } } }) null) { evaluateLeader(); } } }注意zk.exists(prevPath, ...)这一步注册的是针对前驱节点的 Watch。事件回调只在NodeDeleted时触发触发后重新执行evaluateLeader这样当前实例就能从前驱消失的状态中立刻感知到主控权发生了漂移。下一步是尝试创建active节点也就是抢主控private void tryAcquireActive() throws Exception { String data String.format({\seq\:%d,\instanceId\:\%s\,\sessionId\:%d}, localSeq, instanceId, zk.getSessionId()); try { zk.create(activePath, data.getBytes(StandardCharsets.UTF_8), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL); isLeader true; log.info(成为主控实例seq{}, instance{}, localSeq, instanceId); zk.exists(activePath, event - { if (event.getType() EventType.NodeDeleted) { try { evaluateLeader(); } catch (Exception e) { log.error(active 节点消失重新选举失败, e); } } }); } catch (KeeperException.NodeExistsException e) { log.info(active 已存在当前不是主控进入等待状态); isLeader false; zk.exists(activePath, event - { if (event.getType() EventType.NodeDeleted) { try { evaluateLeader(); } catch (Exception ex) { log.error(重新选举失败, ex); } } }); } }当active创建成功isLeader置为true。但“创建成功”只代表那一瞬间我是主控不代表我一直是。所以每次对外执行任务前还要做一次漂移校验确保主控权没有在后台悄悄溜走。4.4 发送消息前的主控权校验我在实际工程里写了一个方法所有对外操作都必须走这一层门禁public boolean checkLeadership() { if (!isLeader) { return false; } if (zk.getState() ! ZooKeeper.States.CONNECTED) { resign(); return false; } try { Stat stat new Stat(); byte[] raw zk.getData(activePath, false, stat); ActiveInfo info ActiveInfo.fromJson(raw); boolean mine info.seq localSeq info.instanceId.equals(instanceId) info.sessionId zk.getSessionId(); if (!mine) { resign(); return false; } return true; } catch (KeeperException.NoNodeException e) { resign(); return false; } catch (Exception e) { return false; } } private void resign() { isLeader false; log.warn(检测到在线状态漂移或主控权丢失当前实例已降级); }这里最关键的一点是除了比对instanceId还要比对sessionId。因为 ZK 会话过期后客户端重连会得到一个全新的sessionId即使instanceId相同它也不是原来的会话。单独比对instanceId是不够的。任务执行时可以这样统一约束public boolean executeIfLeader(Runnable task) { if (!checkLeadership()) { log.warn(非主控或主控已漂移拒绝执行任务); return false; } task.run(); return true; }严格来说这个校验属于“操作前检查”。在分布式环境下旧主可能已经和新主同时工作消息带一个 fencing token 会更安全。seq就是天然的 token每一次选主都会产生更大的序号下游服务只需要拒绝 token 小于当前主控序号的请求就能避免旧主消息造成数据冲突。4.5 运行效果漂移检测到底能检测到什么假设我同时启动两个实例A和BA 启动创建/members/m-0000000001成功创建/activeA 成为主控。B 启动创建/members/m-0000000002发现最小序号不是自己于是 watchm-1进入等待状态。我手动 kill 掉 A 进程。ZK 检测到 A 的会话结束临时节点m-1和/active自动删除。B 收到前驱节点删除事件重新执行evaluateLeader发现自己是当前最小序号创建active成功B 成为新主控。我重新启动 A。A 创建/members/m-0000000003发现最小序号是 B于是 watchm-2进入等待。整个过程里B 的日志会出现一行“成为主控实例”A 重启后不会有任何任务权限直到 B 再次故障。这就是一次标准的在线状态漂移检测和选主切换。5. 实战中踩过的坑故障排查与避坑清单5.1 网络抖动引发的会话超时误判我在测试环境第一次上线这套逻辑时用的是 5 秒会话超时。结果机房一次轻微的网络抖动把所有实例全部踢下线触发了一次完全没必要的选主切换。原因是 ZooKeeper 的临时节点删除机制基于会话超时不是基于连接断开。网络抖动后ZK 服务端暂时联系不上客户端如果超时设得太短服务端会认为客户端死了直接删除临时节点。客户端网络恢复后发现自己创建的节点已经没了只能重新注册。我的建议是把 ZK 客户端构造参数里的sessionTimeout设置为 20 到 30 秒具体数值取决于业务对“主控恢复速度”和“误判容忍度”的权衡。如果业务可以容忍 30 秒没有主控就设 30 秒如果希望秒级切换那就要接受网络抖动带来的误判风险。同时客户端收到Disconnected事件时不要等 ZK 告诉你“节点已删除”自己要先主动标记为SUSPEND暂停所有对外写操作。这样即使 ZK 侧还没判定会话超时业务侧也不会因为旧主继续工作而产生重复信息。5.2 旧进程僵尸化带来的双主窗口真正危险的场景不是进程被 kill而是旧主进程还活着但它和 ZooKeeper 之间的网络被切断了。这时候从 ZK 的视角看旧主已经因为会话超时而退出新主成功上位但旧主进程还保存着“我是主控”的本地状态它仍然能访问微信服务端继续发消息。两个主同时存在就成了双主窗口。这个问题不能单靠 ZooKeeper 解决。ZooKeeper 只能保证“在 ZK 内部状态一致”不能保证“在业务网络里也一致”。我最后的处理方法是两层配合客户端收到Disconnected时立刻拒绝所有本地任务不等待 ZK 判定。业务消息里带上 fencing token也就是active节点里的seq。下游服务只接受当前主控的 token。如果你能把 token 校验下沉到消息网关双主问题能基本被拦住。旧主发出来的 token 已经比新主小网关直接拒绝比旧主自己“猜”自己是不是主控要可靠得多。5.3 Watch 只触发一次重连后通知丢失ZooKeeper 的 Watch 是一次性的。最开始我写代码时只在初始化时注册了一次exists后面发现节点变化后程序完全没有反应。排了半天才发现事件触发后 Watch 就失效了如果不重新注册下一次变化永远感知不到。更隐蔽的是在回调里重新执行evaluateLeader时getChildren(membersPath, true)会注册一个新的 Watch但如果你在某条分支里调了zk.exists(prevPath, watcher)这次注册也是独立的别忘记在对应回调里再次注册。我建议把“重新评估 重新注册 Watch”收敛成一个公共方法在回调里统一调用并且把异常包裹在 try/finally 里保证 Watch 不会因为一次异常就永久丢失。当然更省心的做法是用 Curator 框架的LeaderSelector或PathChildrenCache它内部封装了 Watch 的重注册逻辑。但如果想真正理解 ZK 选主的原理手工实现一次是值得的。5.4 多账号场景下的线程模型与连接复用如果同时管理几百个微信个人号不可能给每个号都建一个独立的 ZooKeeper 连接。连接太多会耗尽 ZK 的文件描述符和会话资源。正确的做法是一个 ZooKeeper 实例承载所有账号的选主逻辑不同账号通过不同的父节点路径区分。但这就带来一个新的问题ZooKeeper 的 Watcher 回调线程是共享的。如果一个账号的选主回调里做了数据库操作或者网络请求整个 Watcher 线程都会被阻塞其他账号的状态变化也会延迟处理。我后来把状态变更逻辑全部丢进一个独立的单线程 executor回调只负责往 executor 里提交任务。这样账号 A 的慢操作不会影响账号 B。同时每个账号的选主状态都隔离在自己的WxAccountLeaderElector对象里公共的仅是 ZK 连接。5.5 监控与可观测性别等漂移发生了才去救火选主逻辑上线后一定要配监控。我至少会暴露这些指标当前账号的active节点持有者。候选节点数量。主控切换次数和切换时间。最近一次切换的原因session_expired、node_deleted、active_deleted。日志里每次切换都要带清晰上下文比如leader changed accountwxid_xxx oldSeq1 oldInstancehost-a newSeq2 newInstancehost-b reasonsession_expired这样每次发生漂移我们都能从日志里快速还原当时的网络情况、实例状态而不是靠猜。没有监控的选主逻辑等于把一个分布式炸弹埋在系统里平时看不出来一炸就是大事故。我在实际项目里反复体会到一件事ZooKeeper 只是给了你一个可靠的状态源真正决定系统稳不稳的是所有业务操作是否严格服从“只要不持有 active 节点就立刻停手”这个纪律。选主代码反而是整个链路里最简单的一块难的是让所有调用方都统一走同一个门禁。建议先把状态机画清楚再写代码会少走非常多弯路。