开源了一个 Java 多智能体 LLM 框架 Baton：一个依赖，把 Agent 循环、工具调用、记忆、编排全配齐

开源了一个 Java 多智能体 LLM 框架 Baton：一个依赖，把 Agent 循环、工具调用、记忆、编排全配齐

我把做 LLM 应用最常踩的坑——多厂商接入、会话记忆、工具调用、多智能体编排——做成了一套开箱即用的 Java 框架，已发布 Maven Central。核心模块零 Spring 依赖，JDK 17 开箱即用。

前言

用 Java 做 LLM 应用开发，你会发现一个尴尬的现状：Python 生态里 LangChain、LlamaIndex 卷得飞起，Java 这边却基本只有 Spring AI 一条路——绑定 Spring 全家桶，想在自己已有的工程里嵌一个 Agent 循环，或者不用 Spring，选择就很有限。

所以我写了Baton（指挥棒/接力棒）：单智能体的 ReAct 循环是“接力”，多智能体的工作流编排是“指挥”。它不是 Spring AI 的替代品，而是一套核心纯 Java、按需组合的积木——你可以只拿一个对话循环嵌进任何工程，也可以一个依赖拉起带 HTTP/SSE/WebSocket/gRPC 的完整服务。

已经发布 Maven Central，欢迎体验：

xml

<dependency> <groupId>io.github.lookfukc</groupId> <artifactId>baton-all</artifactId> <version>1.0.0</version> </dependency>

GitHub：GitHub - Lookfukc/baton: Baton is a Java library for building LLM/Tool/Memory pipelines. · GitHub

一、它能干什么

二、3 分钟跑起第一个 Agent

注册厂商 → 组装 → 跑循环，就这么点代码：

java

// 1. 注册厂商（密钥永远走环境变量） Registry registry = new Registry(); registry.register(ProviderConfig.builder() .id("deepseek").protocol("openai") .baseURL("https://api.deepseek.com/v1") .apiKeyEnv("DEEPSEEK_API_KEY") .defaultModel("deepseek-chat") .addModel(ModelConfig.builder().id("deepseek-chat") .capabilities(ModelCapabilities.builder() .streaming(true).toolCalls(true).contextWindow(64_000).build()) .inputPricePerMtok(0.28).outputPricePerMtok(1.10) .build()) .build()); registry.mustGet("deepseek").loadApiKeyFromEnv(); // 2. 组装 + 中间件（日志→重试→流式重试） LLM llm = Adapters.newLLM(registry.mustGet("deepseek")); LLM wrapped = Pipeline.streamRetry( Pipeline.of(llm, Pipeline.logging(null), Pipeline.retry(3)), 3); // 3. Agent 循环 Loop loop = new Loop(wrapped, new ToolRegistry(), PersistentMemory.open("./sessions", null), Loop.Config.builder() .model("deepseek-chat") .systemPrompt("你是一个简洁的助手") .maxIterations(16) // 熔断，防失控 .tokenBudget(32_000) // 预算内自动截断历史 .onEvent(e -> { // 流式回调 if (e.type() == LoopEvent.Type.DELTA_TEXT) System.out.print(e.text()); }) .build()); Loop.RunOutcome out = loop.run("user-42", "帮我查下明天天气并总结"); System.out.printf("tokens: in=%d out=%d%n", out.usage().inputTokens(), out.usage().outputTokens());

自定义工具也只要几行：

java

tools.register(Tool.of("weather", "查询城市天气", Json.parse(""" {"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}"""), args -> ToolResult.of(Json.parse(args).get("city").asText() + "：晴，23°C")));

三、两个我特别想聊的设计

1. 有状态 / 无状态，一个 API 讲清楚

框架最常被问的问题：历史由谁保管？Baton 两种都给，内部循环逻辑完全一致：

• 有状态：loop.run(sessionId, input)——只传会话 ID，记忆、截断、工具配对全由框架管。适合服务端聊天应用。
• 无状态：loop.runWithHistory(history, input)——框架零存储，跑完把本轮新增消息newMessages()还给你自己存库。适合 Serverless、已有用户表、数据合规严格的场景，水平扩展天然不需要共享存储。

2. 多智能体编排，带人工审批点

java

Orchestrator orch = new Orchestrator(FileRunStore.open("./runs")); orch.registerAgent("writer", writerLoop); orch.registerAgent("reviewer", reviewerLoop); orch.registerWorkflow(new Workflow("review", List.of( new AgentStep("", "writer", "$input"), new CheckpointStep("approve", "审核草稿"), // 人工审批点 new AgentStep("", "reviewer", "$prev")))); try { orch.run("review", "写一首关于秋天的诗"); } catch (Orchestrator.CheckpointException cp) { // 暂停在审批点；人工批复后跨进程、跨重启续跑 orch.resume(cp.state.id, "通过，发表它"); }

Router 步骤（分类器选路由）、Supervisor 步骤（监督者循环委派 worker）也都内置了。

四、模块化：要什么拿什么

核心链路（core→agent→orchestrator）零 Spring 依赖，不想挑模块就baton-all一个依赖全家桶：

五、质量怎么保证

• 349 个测试用例，覆盖协议适配流式语义、Agent 并发、记忆原子组截断、编排断点续跑、SSRF/限流/重试回归
• GitHub Actions CI 里跑真实 Redis / PostgreSQL+pgvector 服务容器，外部存储联调用例全量激活，不是摆设
• 开发过程抓出并修复过若干有意思的 bug：JDK 线程中断污染 BlockingQueue 导致流式事件静默丢失、Lettuce 单连接上 MULTI..EXEC 被并发读穿透、pgvector 占位符风格不兼容 PgJDBC 等——每个都有对应回归用例钉死

总结

如果你在用 Java 做 LLM 应用，想要一套不绑框架、按需组合、API 朴素直白的 Agent 工具箱，可以试试 Baton：

操作上手指引：Baton 完整上手教程-CSDN博客

• GitHub：GitHub - Lookfukc/baton: Baton is a Java library for building LLM/Tool/Memory pipelines. · GitHub （中英双语文档，点个 ⭐ 是对开源人最大的鼓励）
• Maven Central：io.github.lookfukc:baton-all:1.0.0
• 许可：MIT，随便用

欢迎 issue / PR 交流。