0x00 概要本系列的目的是借着对 OpenClaw-RL 源码的学习来梳理强化学习的一些相关概念和思想。所以会有一些基础知识、扩展和发散OpenClaw-RL 只是一个切入点。而且因为整篇系列是一个整体所以有些概念的解读/学习会在不同的文章中出现还请大家谅解。OpenClaw-RL 是一个用于在线强化学习Online RL的框架专门针对智能体工具使用场景。它通过从环境反馈中提取过程奖励信号来训练语言模型支持三种主要模式openclaw-rl基于二元奖励的强化学习Binary RL / GRPOopenclaw-opd基于后见之明提示的在线策略蒸馏On-Policy Distillation, OPDopenclaw-combine联合方法在同一 PPO 更新中同时利用 RL reward 和 OPD teacher signalframeworkOpenClawAPIServer是OpenClaw-RL系统中的核心组件它充当OpenClaw环境与 SGLang推理服务之间的代理服务器负责收集训练数据、计算奖励并提交样本给强化学习训练流程。当然也可以认为OpenClawAPIServer即是 Proxy Server也是 Policy Serving。0x01 基础1.1 架构我们回顾 OpenClaw-RL 的系统架构图如下整体架构1.2 OpenClawAPIServer 的定位OpenClawAPIServer 这个名字其实不准确更准确的命名应该是OpenClawProxyServer 或OpenClawTrainingPipeline—它是连接Policy Serving、Reward Judging 和Policy Training 三个功能层的协调器Orchestrator而非其中任何一层的实现体。职责以 OpenClawAPIServer 为例它独自承担了几个职责职责 属于哪个组件 具体代码HTTP 代理转发用户请求 Policy Serving接口层 httpx.post(sglang_chat_url)拦截 response logprobs Policy Serving数据采集 _extract_logprobs_from_chat_response()PRM 评分 Reward Judging _fire_prm_scoring() / _opd_evaluate()构造训练 Sample 训练数据管道 _submit_turn_sample()开关控制503 训练-服务调度 submission_enabled.is_set()类比OpenClawAPIServer “前台服务员数据记录员不是“厨房Policy本身。类比 对应组件餐厅服务员接单、传菜 OpenClawAPIServer厨房真正做菜 SGLang GPU 4-5Policy 推理食品检验员给菜打分 SGLang GPU 6-7PRM/Judge餐厅管理系统记录点单数据 output_queue → Slime1.3 继承关系 方法覆盖OpenClawAPIServer、OpenClawOPDAPIServer 和 OpenClawCombineAPIServer 的关系如下OpenClawAPIServer (Binary RL 基类, 独立)├─ _submit_turn_sample() score-loss_mask, at-least-one├─ _maybe_submit_ready_samples() 检查 PRM task done└─ _fire_prm_scoring() 触发 PRM 异步OpenClawOPDAPIServer (独立类, 不继承 OpenClawAPIServer)├─ _submit_turn_sample() 独立实现├─ _maybe_submit_ready_samples() 改用 opd_evaluate task├─ _opd_evaluate() hint judge teacher lp 计算├─ _fire_opd_task() 触发 OPD 异步评估└─ _compute_teacher_log_probs() / _compute_teacher_topk_logprobs()OpenClawCombineAPIServer extends OpenClawOPDAPIServer├─ _submit_turn_sample() ← 覆盖: OPD/OPDRL 路径├─ _submit_rl_turn_sample() ← 新增: RL-only 路径 (teacherrollout)└─ _maybe_submit_ready_samples() ← 覆盖: 3路分发逻辑1.4 真实策略服务器OpenClawAPIServer 的技术栈FastAPIWeb框架异步UvicornASGI 服务器基于uvloop高并发httpx/aiohttp异步 HTTP 客户端调用 SGLang和PRM真正的Policy Server是SGLangGPU4-5PolicyQwen3-4B模型权重 (注: RL server 默认 SERVED_MODEL_NAME“qwen3-8b”, OPD server 默认“qwen3-4b”, 实际部署可通过环境变量覆盖)Policy ServerSGLang推理引擎监听sglang_router_ip:sglang_router_portOpenClawAPIServer不运行模型推理它只是SGLang前面的一层拦截代理。用户 → OpenClawAPIServerFastAPI, Proxy → SGLangGPU4-5← 真正的Policy Server↓ 拦截SGLang PRM (GPU 6-7) ← Reward Judge评分↓output_queue↓Slime ← Policy Training的数据入口请求处理调用链HTTP 入口chat_completions()回合判断_handle_main_turn()/_handle_side_turn()SGLang 转发forward_to_sglang()PRM 触发_fire_prm_scoring() →_prm_evaluate()样本提交maybe_submit_ready_samples()→output_queue.put()样本构建调用数据缓冲_buffer_record()→存入_pending_records状态刷新flush_pending_record()→添加下一状态样本构建_submit_turn_sample()→创建Sample 对象FastAPI Proxy 如何转发到 SGLangOpenClawAPIServer 通过 FastAPI Proxy 实现了对外的入口内部通过 SlimeRouter 路由到实际的 SGLang 推理引擎, 实现了接入层与推理层的解耦。完整端口与中间层架构如下图所示。7-中间层架构端口关系总结 (run_qwen3_4b_openclaw_rl.sh 配置):PORT30000- FastAPI Proxy 监听端口 (外部可见, OpenClaw App 连接此处)args.sglang_router_ip/port- Slime 自动分配, 传给 API Server 作为 sglang_chat_url 的目标- 指向 SlimeRouter (内部负载均衡层)args.prm_router_ip/port- PRM Engine 的 /generate 地址 (GPU 6-7)- API Server 用于发送评分请求1.5 对比标准 RL Policy Serving:rollout时SGLang只服务训练系统内部批量生成→批量打分→批量训练无外部访问架构[训练系统 ⇆ [SGLang] 内部通信OpenClaw Policy Serving:rollout 时SGLang同时服务实用户通过OpenClawAppPRM评分内部调用Teacher forward passOPD 时架构[用户手机] → [FastAPI Proxy] → [SGLang] 外部流量[PRM judge] → [SGLang] 内部调用[训练系统] ← [Proxy] 数据管道工程挑战这导致了独特的工程挑战标准 RL 不需要处理的问题 OpenClaw 需要处理───────────────────── ────────────────────────❌ API 认证 ✅ SGLANG_API_KEY❌ 并发控制 ✅ semaphore❌ 503 暂停 ✅ submission_enabled❌ session 管理 ✅ X-Session-Id❌ 流式传输 ✅ SSE streaming❌ 用户体验 ✅ 低延迟响应❌ 数据筛选 ✅ main vs side turn❌ 超时处理 ✅ session timeout总结OpenClaw 的根本范式转变标准 RL 训练系统是 “主人” → 它决定问什么、答几次、怎么评分OpenClaw 训练系统是 “寄生者” → 它寄生在真实对话上被动收集数据这导致OpenClaw-RL Serving 如下特点Rollout 被动等待不是主动生成Environment 真实用户不是模拟器PRM 即用即评不是预训练 RMPolicy 对外服务不是内部推理一切设计选择都源于这个范式转变。0x02 详细功能梳理OpenClawAPIServer 本质上是一个智能代理它不仅转发请求还负责收集强化学习所需的训练数据通过PRM评估助手响应质量并将高质量的数据提交给训练流程。OpenClawOPDAPIServer 则是OPD模式的专用API服务器。2.1 OpenClawAPIServer