Vitess v14.0.3 补丁版本深度解析：VTOrc 实例发现机制修复与发布要点

Vitess v14.0.3 补丁版本深度解析VTOrc 实例发现机制修复与发布要点【免费下载链接】vitessVitess is a database clustering system for horizontal scaling of MySQL.项目地址: https://gitcode.com/gh_mirrors/vi/vitess导读本文基于当前仓库中的 release_notes.md 与配套 changelog.md、summary.md 编写全面解读 Vitess v14.0.3 补丁版本的技术内容。该版本的核心是修复了 VTOrc 在实例发现失败后无法再次发现该实例的长期缺陷PR 10662并带来 12 个 commit不含 merge涉及查询服务Query Serving、VReplication 与 VTorc 三大模块的缺陷修复。读完本文你将理解 VTOrc 实例发现机制的工作流程与根因所在掌握该补丁的修复原理、相关配置参数以及本版本已知问题非 full-group-by 查询 JOIN 结果损坏的规避方式。版本概览一次聚焦可靠性修复的补丁发布Vitess v14.0.3 是 v14.0 系列的一个补丁patch版本共包含12 个 commit不含 merge。从配套 changelog.md 可以完整看到本次修复清单的分类结构Bug fixesQuery Serving查询服务3 项修复VReplication1 项修复DECIMAL 0 值边界情况VTorc1 项修复VTOrc DiscoveryRelease发布流程与文档5 项包括发布文档更新、changelog 超链接补充、release summary 的添加以及 code freeze 脚本与do_release脚本的改进本版本的贡献者包括GuptaManan100、frouioui、harshit-gangal、mattlord、vitess-bot[bot]。值得说明的是v14.0.3 的主干内容并非新功能而是针对运行稳定性的修复——其中VTorc 实例发现修复被列为Major Changes主要变更中的唯一一项足见其在生产环境中的重要性。VTOrc 实例发现机制修复本次发布的核心变更VTOrc 在 Vitess 集群中的角色VTOrcVitess Orchestrator是 Vitess 集群中负责拓扑监控与故障自动恢复的组件它持续从 topology service 读取 tablet 信息并通过 TabletManager RPC 轮询每个 vttablet 背后的 MySQL 实例将采集到的 MySQL 状态复制拓扑、复制延迟、主库健康等写入自己的 SQLite 后端数据库供故障分析与自动恢复如 Emergency Reparent使用。在 v14 架构中VTOrc 承担了原先外部orchestrator工具所扮演的守护者角色。缺陷背景发现失败后陷入永久失明根据 release_notes.md 的描述在 v14.0.3 之前的补丁版本中一旦 VTOrc 无法到达某个 vttablet 的 MySQL 实例它就永远无法再发现discover该 tablet。当时的临时解法是重启 VTOrc让它在启动时重新发现所有 tablet。这个临时方案在 Kubernetes 环境下尤为棘手Pod 被驱逐evicted后重新调度到不同节点是常态频繁发生被驱逐的 Pod 在重调度期间可能短暂不可达VTOrc 一旦在该窗口内发现失败就会对这台 tablet永久失明即使 Pod 恢复后 VTOrc 也不会再重新发现它这就导致集群中可能出现 VTOrc 完全不知道存在的 tablet进而在故障分析时产生盲区。根因分析ReadOutdatedInstances的查询盲区要理解这个缺陷的根因需要先了解 VTOrc 的发现循环。在 go/vt/vtorc/logic/vtorc.go 中ContinuousDiscovery()启动持续的异步发现过程周期性触发的onHealthTick()调用inst.ReadOutdatedInstances()获取过期实例列表将其推入discoveryQueue一个有序去重的发现队列见 go/vt/vtorc/logic/discovery_queue.go多个 discovery worker 从队列中Consume()取出 tablet alias调用DiscoverInstance()执行实际的 MySQL 信息轮询完成后Release()以便下次再次入队。问题出在第 2 步。在 go/vt/vtorc/inst/instance_dao.go 中ReadOutdatedInstances()使用如下查询找出需要重新发现的实例SELECT alias FROM database_instance WHERE CASE WHEN last_attempted_check last_checked THEN last_checked DATETIME(now, PRINTF(-%d SECOND, ?)) ELSE last_checked DATETIME(now, PRINTF(-%d SECOND, ?)) END UNION SELECT vitess_tablet.alias FROM vitess_tablet LEFT JOIN database_instance ON ( vitess_tablet.alias database_instance.alias ) WHERE database_instance.alias IS NULL这里涉及 VTOrc 后端数据库的两张核心表vitess_tablet记录从 topology service 读取的 tablet 元数据alias、hostname、keyspace/shard、cell、tablet 类型等database_instance记录对每个 tablet 的 MySQL 实例进行发现discovery后得到的 MySQL 信息复制状态、GTID、延迟、last_checked/last_attempted_check等。修复前的行为是如果某个 tablet 的首次 MySQL 发现失败例如 TCP 连接挂起或 MySQL 短暂不可达database_instance中就不会存在该 tablet 的记录而查询只扫描database_instance表中已过期的记录。UNION后半段通过LEFT JOIN ... WHERE database_instance.alias IS NULL虽然理论上能覆盖存在于 topo 但无 MySQL 记录的 tablet但正是这段逻辑在 v14.0.3 之前存在缺陷该 tablet 从未被真正加入待发现集合导致发现失败过的实例永远不再被重新尝试。修复方案对未写入database_instance的 tablet 也重试发现本版本通过 PR 10662 修复了该问题。从源码看修复后的ReadOutdatedInstances()上述 SQL明确把两类实例都纳入过期待发现集合database_instance中超过轮询间隔未检查的实例按instance-poll-time判断last_checked是否过期若上次尝试的检查last_attempted_check晚于last_checked即检查可能挂起未返回则使用 2 倍间隔作为阈值避免对挂起连接打开过多新连接存在于vitess_tablet但不存在于database_instance的实例即topo 中有记录、但 MySQL 发现从未成功或从未发生的 tablet通过LEFT JOINIS NULL捕获从而实现对发现失败实例的持续重试。函数注释也直接说明了这一设计意图instance_dao.goReadOutdatedInstances reads and returns tablet aliases for all instances that are not up to date (i.e. pre-configured time has passed since they were last checked)or the ones whose tablet information was read but not the mysql information... This would lead to not having the record of the tablet in the database_instance table.也就是说修复后即使 MySQL 发现一直失败VTOrc 也会在每一轮刷新中持续重试这些 tablet直到成功写入database_instance为止不再需要重启 VTOrc这种粗糙的兜底手段。发现循环中的防御机制源码视角DiscoverInstance()go/vt/vtorc/logic/vtorc.go中还有若干与本次修复协同工作的防御逻辑遗忘保护inst.InstanceIsForgotten(tabletAlias)检查 tablet 是否在待遗忘缓存中例如该 tablet 已从 topo 删除若是则跳过发现近期去重recentDiscoveryOperationKeys缓存记录最近尝试过的发现操作避免在instance-poll-time窗口内重复轮询同一实例跳过已最新实例若instance.IsUpToDate instance.IsLastCheckValid为真且非强制刷新则直接返回失败统计与健康记录发现失败或超时会累加failedDiscoveriesCounter对 PRIMARY 实例还会调用inst.RecordPrimaryHealthCheck记录健康检查失败这些指标可供运维观测见 go/vt/vtorc/logic/vtorc.go 中注册的DiscoveriesAttempt、DiscoveriesFail、DiscoveriesQueueLength等统计项。另外从 go/vt/vtorc/logic/tablet_discovery.go 可以看到VTOrc 还会周期性地从 topo 全量刷新 tablet 记录refreshAllTablets把新出现的 tablet 与已消失的 tablet 同步到后端数据库与发现重试机制共同保障 topo 与 MySQL 信息的一致性。测试验证回归用例锁定修复行为仓库中的单元测试直接印证了修复语义go/vt/vtorc/inst/instance_dao_test.go 中的TestReadOutdatedInstances包含多个关键场景One instance doesnt have myql data向vitess_tablet插入一条记录但不写入database_instance断言该 tablet 出现在待发现列表中这正是 PR 10662 修复的核心行为One instance doesnt have myql data and one is outdated同时覆盖无 MySQL 数据与已过期两种实例两者都应被返回。go/vt/vtorc/inst/analysis_dao_test.go 中的Empty database_instance table用例则从故障分析侧做了配套约束当 tablet 的database_instance记录为空MySQL 信息尚未发现或发现失败时不应对其执行故障恢复动作直到发现成功。这与修复方向互补——持续重试发现与不基于缺失数据做错误恢复共同保证了集群安全。相关配置参数速查VTOrc 的发现行为可通过启动参数或 JSON 配置文件调节。以下参数定义均可在 go/vt/vtorc/config/config.go 中确认默认配置示例见 config/vtorc/default.json默认内容为{Debug: true, RecoveryPeriodBlockSeconds: 5}参数默认值说明依据源码instance-poll-time5sVTOrc 刷新 MySQL 信息的定时周期ReadOutdatedInstances以此判断实例是否过期挂起检查使用 2 倍间隔config.godiscovery-workers300用于 tablet 发现的工作协程数量决定并发发现吞吐config.gotopo-information-refresh-duration15s从 topology service 全量刷新 tablet 信息的周期config.gorecovery-poll-duration1sVTOrc 轮询故障分析并触发恢复的周期config.goclusters-to-watch空监控全部限定监控的 keyspace/shard 列表减少无谓发现tablet_discovery.goDiscoveryQueueCapacity100000发现队列的容量上限常量定义于 config.goUnseenInstanceForgetHours240超过该小时数未被发现的实例将被清理遗忘常量定义于 config.goUnseenInstanceForgetHours与ForgetInstanceinstance_dao.go协同ForgetInstance会同时从vitess_tablet与database_instance两张表删除记录并清理 errant GTID 计数与 shard-peer 健康上报确保从 topo 中删除的 tablet 不会再被错误保留与重试。已知问题非 full-group-by 查询 JOIN 结果损坏本版本同时记录了一个未在此版本修复的已知问题详见 release notes 引用的 issue #11625现象使用非 full-group-by 查询并包含 JOIN 时可能返回损坏corrupted的结果影响面主要影响依赖 MySQL 宽松 GROUP BY 语义ONLY_FULL_GROUP_BY未开启的查询规避方式将查询改写为符合 full-group-by 语义即SELECT列表中的非聚合列全部出现在GROUP BY子句中或在会话/服务端启用ONLY_FULL_GROUP_BYSQL 模式。该问题未在本补丁中修复升级到 v14.0.3 后仍应关注此类查询的结果正确性。团队若在生产中大量使用非 full-group-by 查询建议先进行查询改写评审再升级。其余 Bug 修复速览除了 VTOrc 发现修复外本版本还包含以下缺陷修复完整清单见 changelog.mdQuery Serving查询服务排序时列截断修复PR 11265 / #11324当查询在 vtgate 上排序时此前存在列未被正确截断的问题本修复保证排序场景下列的截断行为一致LEFT JOIN 复杂谓词下沉修复#11333此前复杂谓词可能被错误地下沉pulled到LEFT JOIN的ON条件中导致语义错误本修复纠正了谓词位置推导DML 引擎 multiequal 支持修复#11395修复 DMLINSERT/UPDATE/DELETE执行引擎对 multiequal 条件如IN等值集合匹配处理不完整的问题。VReplicationDECIMAL 0 值边界情况修复#11212 / #11232VReplication 在处理DECIMAL类型数值 0 时存在边界处理缺陷本修复确保值为 0 的 DECIMAL 列在复制流中正确解析与传输。升级与验证建议升级路径v14.0.3 属于 v14.0 系列的补丁版本建议从 v14.0.0 / v14.0.1 / v14.0.2 升级升级前请对照 release_notes.md 与 changelog.md 确认影响面。本仓库还保留有 14.0 系列的完整 release notes 可供跨版本对比。VTOrc 行为验证升级后可通过 VTOrc 日志与统计指标验证发现机制——关注DiscoveriesAttempt/DiscoveriesFail/DiscoveriesQueueLength三个指标注册于 go/vt/vtorc/logic/vtorc.go。可以构造一次 MySQL 短暂不可达的场景确认恢复后 VTOrc 能自动重新发现该 tablet而无需再重启 VTOrc。已知问题规避对线上查询做一次 full-group-by 语义审计将非 full-group-by JOIN 的查询改写为符合ONLY_FULL_GROUP_BY语义的形式避免触发 issue #11625 的结果损坏。回归测试仓库中与本次修复直接相关的测试可作为回归参考——TestReadOutdatedInstances 与Empty database_instance table用例analysis_dao_test.go分别覆盖了发现重试与空 MySQL 记录不恢复两条行为基线。总结Vitess v14.0.3 是一枚小而关键的补丁版本它以 VTOrc 实例发现机制修复为核心解决了发现失败即永久失明、只能靠重启兜底的运维痛点使 VTOrc 在 Kubernetes 这类 pod 频繁迁移的环境中也能保持对每个 tablet 的持续可达性同时附带 Query Serving 与 VReplication 的 4 项正确性修复。对于 v14 用户而言该版本值得尽快升级但仍需留意非 full-group-by JOIN 查询的已知问题提前完成查询改写以规避结果损坏风险。【免费下载链接】vitessVitess is a database clustering system for horizontal scaling of MySQL.项目地址: https://gitcode.com/gh_mirrors/vi/vitess创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考