TDengine Enterprise 集群维护完全指南：数据重组、数据扫描与节点恢复实战

TDengine Enterprise 集群维护完全指南数据重组、数据扫描与节点恢复实战【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine集群在长期运行过程中会面临数据文件空洞、vgroup 负载不均、节点数据损坏、子表过多导致资源过载等一系列问题。本文基于 TDengine 官方维护手册docs/en/12-operations-and-tooling/02-operations/04-maintenance.md系统讲解 TDengine Enterprise 提供的集群高级维护能力COMPACT数据重组、SCAN数据扫描、vgroup leader 再平衡、restore dnode节点恢复、taosd -r本地修复模式、split vgroup虚拟组拆分以及supportVnodes在线热更新。阅读本文后你将掌握这些维护命令的完整语法、使用时机、限制条件与底层实现原理能够针对不同故障场景选择正确的维护手段保障集群长期稳定高效运行。说明本文所介绍的高级维护功能数据重组、数据扫描、leader 再平衡、节点恢复、vgroup 拆分、在线配置更新均属于 TDengine Enterprise企业版能力需要对应版本授权方可使用。节点管理维护集群的第一步是掌握节点状态的查看与管理方法。dnode是运行taosd的数据节点集群内部分布着管理节点mnode、查询节点qnode与虚拟节点vnode。节点管理涉及查看节点状态、添加/删除节点、修改节点配置等操作完整命令请参阅 Node Management节点管理。在后续的维护操作中多数命令都以节点或 vgroup 为操作对象因此先厘清节点与 vgroup 的对应关系至关重要。数据重组DATA COMPACT为什么要做数据重组TDengine 面向多种写入场景设计很多场景会造成存储层面的数据放大或数据文件空洞频繁的删除操作会在文件中留下已被删除的数据与空洞删除表含超级表删除子表后旧文件仍残留无效数据大量小文件STT 文件堆积增加了查询时需要合并的文件数量。这些问题不仅降低存储效率还会拖慢查询性能。为此TDengine Enterprise 提供数据重组功能DATA COMPACT对存储中的数据文件进行重排消除文件空洞与无效数据改善数据组织方式从而提升存储与查询效率。数据重组功能最早在3.0.3.0版本发布此后经历了多次迭代优化官方建议尽量使用最新版本。语法COMPACT DATABASE db_name [start with XXXX] [end with YYYY] [META_ONLY] [FORCE]; COMPACT [db_name.]VGROUPS IN (vgroup_id1, vgroup_id2, ...) [start with XXXX] [end with YYYY] [META_ONLY] [FORCE]; SHOW COMPACTS; SHOW COMPACT compact_id; KILL COMPACT compact_id; KILL COMPACT compact_id FORCE;从解析器源码sql.y可以看到COMPACT DATABASE与COMPACT ... VGROUPS IN (...)两条语句分别生成createCompactStmt与createCompactVgroupsStmt语法树节点SHOW COMPACTS/SHOW COMPACT id/KILL COMPACT id [FORCE]则对应createShowCompactsStmt、createShowCompactDetailsStmt与createKillCompactStmt其中FORCE关键字对应一个布尔参数见 sql.y。功能效果扫描并压缩指定数据库所有 VGROUP 的 VNODE 上的全部数据文件COMPACT会清除已删除的数据以及已删除表的数据COMPACT会合并多个 STT 文件可通过start with关键字指定参与 COMPACT 的数据起始时间可通过end with关键字指定参与 COMPACT 的数据结束时间可通过META_ONLY关键字仅对元数据执行压缩默认不压缩元数据。注意元数据压缩会阻塞写入执行元数据压缩的数据库应停止写入与查询若某个文件组自上次压缩以来没有新数据写入则不会被再次压缩除非指定FORCE关键字COMPACT命令会返回该压缩任务的 ID压缩任务在后台异步执行可通过SHOW COMPACTS命令查看任务进度SHOW命令会返回压缩任务 ID可用KILL COMPACT命令终止压缩任务。使用注意事项COMPACT是异步操作执行命令后立即返回不会等待压缩完成若前一次压缩尚未结束则新的COMPACT会等待前一个任务结束后才返回COMPACT可能阻塞写入尤其是在stt_trigger 1的数据库中但不会阻塞查询从管理实现看压缩任务由 mnode 驱动调度dnode 侧的 vnode 管理模块负责汇总各 vnode 的压缩进度vnodeGetCompactProgress及各 vnode 的 progress 上报见 vmHandle.c可见压缩任务的生命周期由集群管理面统一跟踪。关于 KILL COMPACT ... FORCE 的警告KILL COMPACT compact_id FORCE会绕过 mnode 对压缩任务正常的清理流程直接从 SDB系统元数据库中强制删除压缩记录从而即使 dnode 离线也能立即终止任务无需等待其恢复。但该操作存在风险压缩过程中正在修改的数据文件可能停留在中间状态因为强制删除记录不会在离线节点上触发清理可能导致数据文件损坏仅当节点完全损坏且无法恢复时才应使用此命令只要节点还能启动强烈建议先将其恢复上线再用不带FORCE的KILL COMPACT正常终止任务。扫描数据SCAN语法SCAN DATABASE db_name [start with XXXX] [end with YYYY]; SCAN [db_name.]VGROUPS IN (vgroup_id1, vgroup_id2, ...) [start with XXXX] [end with YYYY]; SHOW SCANS; SHOW SCAN scan_id; KILL SCAN scan_id;对应语法树节点由createScanStmt、createScanVgroupsStmt、createShowScansStmt、createShowScanDetailsStmt与createKillStmt生成见 sql.y 与 sql.y。功能效果扫描指定数据库所有 VGROUP 的 VNODE 上的全部时序数据文件若数据文件存在问题会输出到对应的服务器日志中扫描指定数据库中、给定 VGROUP 列表里的所有 VGROUP 的 VNODE 时序数据文件db_name为空时默认使用当前数据库数据文件如有问题同样会输出到对应服务器日志可通过start with/end with关键字限定扫描数据的起止时间SCAN任务在后台异步执行可通过SHOW SCANS查看任务列表SHOW命令返回扫描任务 ID可用KILL SCAN终止扫描任务。使用注意事项SCAN同样是异步操作执行后立即返回不等待扫描结束若前一次扫描尚未完成则新的SCAN会等待前一个任务结束后才返回。扫描与压缩的配合SCAN只负责“体检”发现问题后数据文件层面的修复需要借助COMPACT重组清理或下文介绍的本地修复模式taosd -r来完成。建议的排查路径是先SCAN定位问题再根据损坏类型选择COMPACT或修复模式。VGroup Leader 再平衡背景与语法在多副本集群中当一个或多个节点因升级等原因重启时各 dnode 上的负载可能出现不均衡极端情况下所有 vgroup 的 leader 可能集中在同一个 dnode 上。该功能最早在3.0.4.0版本发布官方建议尽量使用最新版本。balance vgroup leader; # 再平衡所有 vgroup leader balance vgroup leader on vgroup_id; # 再平衡某个 vgroup 的 leader balance vgroup leader database database_name; # 再平衡某个数据库内的所有 vgroup leader从解析器语法sql.y可以看到三种形式分别由createBalanceVgroupLeaderStmt与createBalanceVgroupLeaderDBNameStmt处理。工作原理该命令尝试将一个或全部 vgroup 的 leader 在其副本节点之间均匀分布通过强制触发 vgroup 重新选举在选举过程中改变 vgroup 的 leader最终实现 leader 的均匀分布。在 mnode 的 vgroup 管理实现中leader 再平衡通过事务方式为 vgroup 添加“平衡 leader”动作mndAddBalanceVgroupLeaderAction见 mndVgroup.c动作下发后由 dnode 触发选举完成 leader 切换。注意事项vgroup 选举本身具有随机性因此再选举得到的均匀分布也是概率性的并非严格均匀该命令的副作用是影响查询与写入在 vgroup 重新选举期间从选举开始到新 leader 产生该 vgroup 无法写入和查询选举过程一般在数秒内完成所有 vgroup 会逐个依次重新选举不会并行触发。恢复数据节点Restore Data Node适用场景与前提当集群中某个 dnode 的数据完全丢失或损坏例如磁盘损坏、目录被删除时可使用restore dnode命令恢复该数据节点上的部分或全部逻辑节点。该功能依赖集群中其他副本的数据复制因此仅当集群 dnode 数量 ≥ 3 且副本数为 3 时才能生效。语法restore dnode dnode_id; # 恢复 dnode 上的 mnode、全部 vnode 和 qnode restore mnode on dnode dnode_id; # 恢复 dnode 上的 mnode restore vnode on dnode dnode_id; # 恢复 dnode 上的全部 vnode restore vnode on dnode dnode_id on vgroup vgroup_id; # 恢复 dnode 上某个 vnode restore qnode on dnode dnode_id; # 恢复 dnode 上的 qnode语法树层面上述语句分别生成createRestoreComponentNodeStmt携带QUERY_NODE_RESTORE_DNODE/MNODE/QNODE/VNODE_STMT类型以及带 vgroup id 的createRestoreComponentNodeStmtWithVgId见 sql.y。在 vnode 管理侧恢复操作会以“restore-vnodes”线程的方式并发重建多个 vnode见 vmInt.c并将 vgroup id 恢复到原有位置。限制条件该功能基于现有复制能力的恢复并非容灾或备份恢复对于要恢复的 mnode 和 vnode前提是它们的另外两个副本仍能正常工作该命令无法修复数据目录中单个文件的损坏或丢失。例如 mnode 或 vnode 中某个文件或某块数据损坏时无法单独恢复某个文件或数据块。这种情况下可以选择将该 mnode/vnode 的数据彻底清空后再执行恢复。本地修复模式Local Repair Mode当问题仅局限于单个节点上的本地文件、且希望在启动时让 TDengine 自动执行修复检查时可以以本地修复模式启动taosd。本地修复模式下taosd会按照指定的修复目标repair target对损坏文件进行就地修复。完整的 CLI 语法、支持的 key、默认策略及更多示例请参阅 taosd Referencetaosd 参考。基本用法修复单个 vnode 的 meta 文件使用默认策略taosd -r --mode force --node-type vnode \ --repair-target meta:vnode3一次启动声明多个修复目标同时修复 meta、tsdb、waltaosd -r --mode force --node-type vnode --backup-path /tmp/repair-bak \ --repair-target meta:vnode3 \ --repair-target tsdb:vnode5:fileid1809 \ --repair-target wal:vnode6用一个目标修复某个 vnode 内的全部 TSDB 文件集taosd -r --mode force --node-type vnode \ --repair-target tsdb:vnode5:fileid*修复目标语法每个--repair-target的值遵循如下语法file-type:keyvalue[:keyvalue]...规则要点file-type必须是第一段当前支持的文件类型为meta、tsdb、wal同一目标内 key 的顺序无关紧要但重复同一 key 无效多个目标中重复声明同一修复对象无效tsdb的fileid*表示目标 vnode 的全部文件集且不能与同一 vnode 内显式的fileidn目标混用。各文件类型支持的修复目标如下表文件类型必填 key可选 key默认策略支持的策略metavnodestrategyfrom_uidfrom_uid、from_redotsdbvnode、fileidstrategydrop_invalid_onlydrop_invalid_only、head_only_rebuild、full_rebuildwalvnode无无无策略说明tsdb的fileid在当前阶段为必填fileidn修复一个文件集fileid*修复一个 vnode 内的全部文件集wal当前不支持strategy--backup-path对整个修复启动过程是全局的不针对单个目标TSDB 修复策略行为drop_invalid_only仅在做任何深度扫描前剔除明显损坏的“缺失文件”类问题不会对照current.json检查大小不匹配size-mismatch类损坏head_only_rebuild深度扫描有效核心块并仅重建.head文件保持.data不变若 SMA 元数据不可用则丢弃.smafull_rebuild深度扫描有效核心块并通过现有写入路径重建完整核心负载当需要针对大小不匹配类损坏进行恢复时应显式使用head_only_rebuild或full_rebuild。当前限制仅支持--mode force另有--mode copy用于损坏数据量过大时直接从健康源节点复制 vnode 文件详见 taosd.md仅支持--node-type vnodetsdb修复目标必须包含fileid可以是一个明确的文件集 ID或*表示该 vnode 的全部文件集同一 vnode 内fileid*不能与显式fileidn目标混用wal修复目标当前不支持strategyTSDB 默认策略drop_invalid_only只处理缺失文件类损坏大小不匹配类恢复需要显式指定深度策略如head_only_rebuild或full_rebuild。拆分虚拟组Splitting Virtual Groups适用场景与语法当一个 vgroup 因为子表过多导致 CPU 或磁盘资源使用过载时可以在添加 dnode 后使用split vgroup命令将 vgroup 拆分为两个虚拟组。拆分后新建的两个 vgroup 共同承担原来一个 vgroup 的读写服务。该命令最早在3.0.6.0版本发布官方建议尽量使用最新版本。split vgroup vgroup_id拆分任务由 mnode 的 vgroup 管理模块以事务方式处理mndProcessSplitVgroupMsg见 mndVgroup.cvnode 侧在事务提交时执行数据拆分见 vmInt.c。注意事项对于单副本 vgroup拆分后历史时序数据的总磁盘占用可能翻倍。因此操作前务必确保集群已通过添加 dnode 具备充足的 CPU 和磁盘资源避免资源短缺该命令属于数据库级事务执行期间当前数据库的其他管理事务将被拒绝集群中其他数据库不受影响拆分任务期间读写服务可以继续但读写操作可能出现可感知的短暂中断拆分过程中不支持流计算和订阅拆分结束后历史 WAL 会被清空拆分过程支持节点宕机重启级容错但不支持节点磁盘故障级容错。在线集群配置更新supportVnodes背景自3.1.1.0版本起TDengine Enterprise 支持对 dnode 的重要配置参数supportVnodes进行在线热更新。该参数原本配置在taos.cfg文件中表示 dnode 能够支持的最大 vnode 数量创建数据库时会分配新的 vnode删除数据库时其 vnode 会被销毁。从参数注册源码看supportVnodes在tglobal.c中以CFG_DYN_ENT_SERVER服务器端可动态修改方式注册取值范围为 0–1024见 tglobal.c这正是其支持在线更新的底层机制。同时mnode 在收到 dnode 状态上报时会检测supportVnodes是否发生变化supportVnodesChanged见 mndDnode.c以便及时更新集群侧的容量视图。注意事项supportVnodes的在线更新不会持久化系统重启后允许的最大 vnode 数量仍由taos.cfg中配置的supportVnodes决定如果通过在线更新或配置文件设置的supportVnodes小于dnode 当前实际 vnode 数量已有 vnode 不受影响但新数据库能否成功创建仍取决于实际生效的supportVnodes参数值。维护命令速查维护场景核心命令适用版本关键限制数据重组COMPACT DATABASE/COMPACT ... VGROUPS≥ 3.0.3.0异步执行可能阻塞写入stt_trigger1时尤其明显数据体检SCAN DATABASE/SCAN ... VGROUPS企业版异步执行问题输出到服务器日志leader 均衡BALANCE VGROUP LEADER [...]≥ 3.0.4.0选举期间该 vgroup 不可读写结果为概率性均衡节点恢复RESTORE DNODE/MNODE/VNODE/QNODE ...企业版需 3 节点 3 副本不修复单文件损坏本地修复taosd -r --mode force --repair-target ...企业版仅支持 vnode 与 force 模式虚拟组拆分SPLIT VGROUP id≥ 3.0.6.0单副本拆分后磁盘占用可能翻倍不支持流与订阅容量热更新在线更新supportVnodes≥ 3.1.1.0不持久化重启后回退到taos.cfg配置总结与推荐实践TDengine Enterprise 的集群维护能力覆盖了从日常体检到故障恢复的完整链路日常体检定期执行SCAN扫描数据文件发现异常后根据日志定位问题范围性能治理对删除频繁、STT 文件堆积的数据库执行COMPACT重组消除文件空洞、合并小文件、清理无效数据数据库建库参数中的ss_compact、compact_interval等选项见 meta 系统表说明可与手动 COMPACT 配合使用负载均衡节点重启或升级后用balance vgroup leader重平衡 leader 分布故障恢复单节点本地文件损坏时用taosd -r修复模式整节点数据丢失时3 副本集群用restore dnode从副本重建容量扩展vgroup 过载时先扩容 dnode再执行split vgroup拆分虚拟组vnode 配额紧张时在线调大supportVnodes注意重启失效。需要强调的是KILL COMPACT ... FORCE属于高风险操作仅在节点彻底损坏、无法恢复的极端场景下使用任何维护操作前都应确认集群版本满足功能引入版本要求并在测试环境先行演练。【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考