计算服务 基于 xxl-job 的跑批业务实践记录
Q1xxl-job 和 calc 自己的跑批逻辑是怎么接起来的入口并不复杂。BaseJobHandler是一个抽象基类具体任务继承它之后只负责实现业务计算。xxl-job 那边配置的 Handler 调用基类统一的调度入口后基类会从 xxl-job 那里拿到调度参数、当前分片序号和总分片数然后按任务类型进入对应的执行模式。也就是说xxl-job 在这里只负责“到点触发”和“告诉任务现在有几个分片、你是第几个分片”。真正的时间窗口推进、运行状态、补算逻辑都放在 calc 自己的任务自动表和任务运行表里维护。这种拆分比较踏实调度器不背业务状态业务也不依赖调度器的日志来恢复。只要那两张表还在换一套调度平台也能快速接上。Q2同一个任务被多个执行器同时调度怎么防止重复算同一个业务对象这是跑批里最常见的问题。代码里的做法分成两层。第一层是分片取数。基类拿到 xxl-job 的分片序号和总分片数后会先做一次兜底处理总分片数非法时强制按单节点执行当前分片序号非法时强制归到 0 号分片。取业务对象或组织对象时按“总数除以总分片数向上取整”作为每片大小当前分片只取自己那一段。这样每个执行器只算自己那一部分理论上不会重叠。第二层是运行记录幂等。每个时间窗口在真正执行前会先写一条运行总记录每个分片再写一条分片记录。插入用的都是“存在就忽略、不存在才插入”的策略。如果两个执行器因为配置或调度异常同时进来同一组任务、窗口、分片只会留下一条记录后续执行都基于这条已存在的记录走避免重复跑批。还有一个细节当任务按单个对象触发时基类会判断只有 0 号分片才执行其他分片直接返回空列表。这样即使任务配置成了多分片单个对象也不会被算多次。Q3任务中途失败或者发布重启了下一次调度怎么把断点续上不同类别的任务续跑方式不一样这也是代码里为什么先要把任务按语义分类的原因。对于周期回填类任务基类会读出任务表里记录的“最后一次计算时间”然后循环生成时间窗口。只要当前时间已经超过下一个窗口结束时间就会继续补。假如任务停了两天下次调度时会一口气把两天的窗口挨个补完不需要人工干预。如果已经追到最新时间代码里还会再执行一次最后一个窗口。这个设计是为了处理“迟到数据”。比如昨天快零点时的原始数据过了零点才到今天再跑一次昨天窗口就能把新数据纳入。增量同步类任务更简单直接从最后一次计算时间跑到当前时间中间不再切窗口。中台拉取类任务还会额外扣掉一段安全延迟并且把起始时间往前推一段重叠区间防止中台数据落地有延迟导致漏拉。Q4为什么有些任务按窗口循环跑有些任务只跑当前这一刀代码里把任务按语义分成了四类周期回填、快照、增量同步、中台拉取同步。它们的窗口语义本来就不同强行用同一套循环逻辑会很难维护。周期回填类例如能耗统计、费用计算需要把历史窗口一个一个补齐所以会循环推进最后一次计算时间。快照类任务例如推送账单、发送通知、校验开关状态只关心“现在这一刻”的状态不需要回溯历史窗口所以只算当前窗口。增量同步类要的是从上一次同步点到现在的全部变更中台拉取类则是“延迟一段安全时间后再去拉”。如果新增一种任务第一步先想清楚它的时间语义属于哪一类再把它放进对应的枚举集合里而不是在基类里再加一套分支。放错了会导致时间窗口推进方式完全不对。Q5分片跑完后怎么判断整个窗口可以进入下一个周期这里用了一个最终一致的做法没有单独做一个协调器。每个分片执行结束后基类会去统计这个窗口下成功分片的数量和失败分片的数量。只要有一个分片失败整个运行记录就标记失败最后一次计算时间不推进下次调度继续处理这个窗口。只有当成功分片数达到总分片数且没有失败分片时才会更新最后一次计算时间。这个机制的好处是简单不依赖分布式锁缺点是如果某个分片一直不结束窗口会挂在那里。实际运维时要配合 xxl-job 的执行日志和分片记录表一起看找出卡住的执行器。Q6本地开发或单元测试里没有 xxl-job 调度环境怎么跑单个任务基类已经做了本地兼容。刷新分片信息时对分片参数做了防御性处理所以本地直接调用调度入口时系统会退化成单节点全量执行。另外还暴露了一个测试入口可以直接把业务参数透传到子类的业务计算方法。写单元测试或者本地排查问题时可以直接构造时间窗口调用它不需要启动 xxl-job 调度中心。执行器名字也有兜底配置里有机器名就用配置值没有就按 calc 前缀加机器编号生成。这样在本地多个测试实例同时连同一套数据库时也能从分片记录表里区分是哪台机器跑的。Q7能耗统计里“小时 - 天 - 月 - 年”这种逐级累加是怎么衔接的基类里提供了一个周期向上归一的工具小时归到天天归到月月归到年其他周期统一按年处理防止死循环。真正的累加逻辑在子类实现里按当前周期类型决定从哪张周期表取上一周期数据、往哪张周期表写结果。比如日统计任务执行时会去小时表里汇总当天 24 条记录月统计任务再去日表里汇总当月记录。基类只提供周期转换的能力不侵入具体的能耗统计口径这样不同业务复用同一套调度框架时不会被耦合死。Q8日志应该写本地文件还是写 xxl-job 的执行日志代码里的做法是两边都写。本地日志落到应用日志文件里便于通过 ELK 或 grep 检索xxl-job 执行日志写到调度中心便于在控制台直接看到每次调度的输入、输出和异常堆栈。尤其在子任务执行前后基类会把任务名、分片序号、统计周期、对象编码、耗时等信息拼成一条日志同时输出到 xxl-job 执行日志。这样排查问题时不用在两套日志之间来回切换调度中心页面就能看到最关键的上下文。一些写新任务时容易忽略的点如果你要在 calc 工程里新增一个跑批任务除了继承基类实现业务计算方法之外还要注意几个细节先在任务类型枚举里定义好任务编码再把任务类型放进对应的语义集合里。如果都不属于默认走周期回填逻辑。放错了会导致时间窗口推进方式完全不对。在任务自动表里初始化一条记录设置好计算周期和初始最后计算时间否则调度时会因为取不到任务配置直接返回。子类里取数据时一定要用基类提供的按分片取业务对象或组织对象的方法它们已经处理过分片逻辑。如果绕过它们直接查全量分片就失去意义了。不要在自己的业务计算方法里推进最后计算时间那是基类根据整体运行结果统一做的。子类只负责把当前窗口内的业务算对、算完。如果任务需要按小时、天、月多种周期复用建议子类内部再按周期类型分支不要为每个周期新建一个 Handler 类否则维护配置和表记录的成本会很高。写在最后这套跑批框架的核心思路其实就三条把调度平台当触发器把业务状态放在自己表里把分片和幂等做成基础设施。xxl-job 在这里不是业务主流程的一部分而是“准时把人叫起来干活”的角色。真正决定任务能不能可靠补跑、能不能水平扩展、能不能扛住发布中断的是任务自动表、任务运行表、任务分片表这三张表的设计以及基类里对时间窗口和分片的处理。后续如果要把任务迁到别的调度平台理论上只要重写调度入口处的参数和分片读取逻辑基类里这些窗口推进和状态管理逻辑基本可以原样保留。这也是最开始把调度层和业务层拆开的好处。

相关新闻

** 企业风控系统实战:基于天远企业全量信息核验V2 API实现自动化背调

** 企业风控系统实战:基于天远企业全量信息核验V2 API实现自动化背调

破解企业核验痛点:从人工尽调到全量数据穿透 在现代B2B交易、供应链金融、平台商户入驻等高频业务中,准确评估合作企业的资质与真实经营状况是风控的重中之重。传统的人工核验营业执照、比对工商信息的模式不仅效率低下,而且难以防范伪造公章…

2026/10/5 8:41:03 阅读更多 →
DeepSeek Harness论文——它想让AI学会安全地“自我升级“

DeepSeek Harness论文——它想让AI学会安全地“自我升级“

这几天大家都在聊 DeepSeek 的 V4 Pro 翻车事件。还有DSH发布以后疯狂涨星和褒贬不一的评价。 但很少有人注意到,在同一个深夜,DeepSeek 还做了一件特别"学术"的事——和北京大学合发了一篇论文,标题叫《A Programming Paradigm f…

2026/9/28 1:31:04 阅读更多 →
MES与QMS协同联动:以全流程质量数据筑牢产品品质防线

MES与QMS协同联动:以全流程质量数据筑牢产品品质防线

摘要:产品品质是企业的核心竞争力,而高质量的品质管控离不开全流程质量数据的支撑。传统质量管理的断层困境不仅增加企业成本,还可能损害品牌信誉;而MES与QMS的协同联动,通过全流程质量数据贯通,实现了质量…

2026/10/10 7:29:00 阅读更多 →

最新新闻

西安同城货运软件开发实战指南:从架构到部署全流程解析

西安同城货运软件开发实战指南:从架构到部署全流程解析

西安同城货运软件开发实战指南:从架构到部署全流程解析 在西安,同城货运市场随着城市发展与电商渗透持续扩容,对应的软件开发需求也日益旺盛。无论是传统物流企业转型,还是创业团队入局,一套稳定、可扩展的同城货运系统…

2026/10/14 3:43:39 阅读更多 →
OneForAll 子域名收集工具

OneForAll 子域名收集工具

OneForAll 子域名收集工具以下内容带有个人主观看法,不一定适用于所有场景,欢迎交流指正。写在前面 信息收集往往是安全测试里最容易被低估、却最能拉开差距的一步。子域名收集尤其如此:你掌握的攻击面越完整,后续的漏洞发现和风险…

2026/10/14 3:43:39 阅读更多 →
AI培训的本质:数据工程、模型调优与系统集成三位一体

AI培训的本质:数据工程、模型调优与系统集成三位一体

1. 这不是“学AI”,而是构建一套可迁移的智能系统思维“AI培训主要学什么?”——这个问题我被问了不下两百次,提问者里有刚毕业想转行的应届生,有做了十年传统开发想补课的工程师,也有某高校教务处老师在为新设专业做课…

2026/10/14 3:43:39 阅读更多 →
python 数据契约层FastAPI+Pydantic(一)

python 数据契约层FastAPI+Pydantic(一)

数据锲约层:请求数据的解析/校验,响应数据的序列化/过滤,以及生成OpenAPI的文档,一 序列化 序列化的本质解决三个问题:内存对象->可传输字节(网络)、可存储字节(磁盘/缓存&#…

2026/10/14 3:43:39 阅读更多 →
西安同城货运系统源码实战开发指南:从架构到部署全流程解析

西安同城货运系统源码实战开发指南:从架构到部署全流程解析

西安同城货运系统源码实战开发指南:从架构到部署全流程解析 随着西安城市规模的扩张与电商物流需求的激增,同城货运系统已成为本地生活服务领域的关键基础设施。对于技术团队或创业者而言,获取一套成熟、可定制的西安同城货运系统源码&#x…

2026/10/14 3:43:39 阅读更多 →
PT对称系统在COMSOL中的仿真与应用研究

PT对称系统在COMSOL中的仿真与应用研究

1. 项目背景与核心价值在光学和电磁学领域,PT对称系统(Parity-Time Symmetric Systems)正成为前沿研究热点。这种特殊结构最早由量子力学领域提出,近年来在经典波系统中实现了突破性应用。我们团队使用Comsol Multiphysics对波导、…

2026/10/14 3:42:39 阅读更多 →

日新闻

AnyPS5通用适配层设计:兼容性与性能的工程取舍

AnyPS5通用适配层设计:兼容性与性能的工程取舍

1. 从"AnyPS5"这个名字说起:它到底想解决什么问题第一次看到"AnyPS5"这个标题,我脑子里冒出来的第一个念头是:这大概率是一个围绕"跨平台运行"或者"通用适配"做文章的项目。名字里的"Any"…

2026/10/14 0:00:41 阅读更多 →
Flutter跨平台开发实战:二手交易应用与HarmonyOS适配

Flutter跨平台开发实战:二手交易应用与HarmonyOS适配

1. 项目概述:Flutter跨平台二手交易应用开发作为一名长期从事移动应用开发的工程师,我最近完成了一个基于Flutter框架的二手物品交易平台项目。这个项目最吸引我的地方在于它完美结合了Flutter的跨平台优势与HarmonyOS的生态特性,实现了"…

2026/10/14 0:00:41 阅读更多 →
DFS算法解决飞机降落调度问题实战

DFS算法解决飞机降落调度问题实战

1. 项目背景与核心思路飞机降落问题是一个经典的调度优化场景,也是算法竞赛和面试中的高频题目。这个题目要求我们合理安排多架飞机的降落顺序和时间,确保所有飞机都能安全着陆而不发生冲突。在实际航空管制中,这类问题直接关系到飞行安全和机…

2026/10/14 0:00:41 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/14 3:30:28 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/13 16:22:04 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/14 3:29:58 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 22:01:27 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 14:57:39 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 18:11:17 阅读更多 →