【免费下载链接】labs-moltA scalable, agentic-first, and HuggingFace-native RL framework for research (9k lines).项目地址https://gitcode.com/gh_mirrors/la/labs-molt点击查看免费下载Molt 是一个可扩展、Agent 优先agentic-first的强化学习 RL 研究框架用约 9.2K 行代码驱动 1T 级 MoE 模型的全异步 Agentic RL 训练。它的运行时只由三个盒子组成vLLM 负责 rollout 推理、Agent 负责环境与奖励、单个 Actor 负责训练——而把这三者粘合在一起、让rollout、训练、权重同步三件事在时间上完全重叠的正是Ray 队列驱动的全异步流水线。本文带你快速看懂这套流水线的运作原理。️ 整体架构三个盒子一个异步循环整个运行时的角色分工如下架构图源自项目 README完整定义见 molt/trainer/rl_trainer.py组件职责源码位置vLLM Router (Rollout)多 vLLM 引擎负载均衡、连续 batching、token in/outmolt/trainer/rollout/router.pyAgent (Environment / ChatAgent)多轮工具调用、评分器、VLM 环境molt/agents/Ray Queue缓冲轨迹trajectories、调度负载、背压backpressure与容错molt/trainer/rl_trainer.py#L980-L983RL Trainer (Single Actor)计算 advantage、更新策略PyTorch / FSDP2 NVIDIA AutoModelmolt/trainer/workers/policy_actor.pyGPU 的摆放同样由 Ray 托管训练侧 FSDP 模型按PACK策略整节点连续放置保证 EP/CP 组落在同一节点内细节见 molt/trainer/placement.py#L35-L41。 双队列机制rollout_queue 与 rollout_slotsMolt 的控制器RLTrainer一个 Ray remote actor在启动时创建两条队列这是整个异步设计的核心rollout_queueAgent 侧 → Trainer 侧的数据通道装的是整批训练样本Experience容量由参数--train.async_queue_size控制默认 1rollout_slots预填 N 个令牌的背压通道——生成端每消耗一个令牌才能开始生成下一批训练端每消费完一批就归还一个令牌。# molt/trainer/rl_trainer.py节选 self.rollout_queue Queue(maxsizequeue_size) # 轨迹数据通道 self.rollout_slots Queue(maxsizequeue_size) # 背压令牌池 for _ in range(queue_size): self.rollout_slots.put(0, blockTrue)这个设计的巧妙之处在于队列容量 流水线深度。async_queue_size1时接近同步设为 2 以上时生成端可以抢跑一批训练和 rollout 在时间轴上错开重叠vLLM 的 GPU 利用率随之显著提升。此外还有一个VLLMLock——一个跨 actor 的互斥锁见 molt/trainer/rl_trainer.py#L585-L596保证权重广播、rollout、eval 三者对 vLLM 引擎的临界区访问互不踩踏。 生产端与消费端两条并行的 fit 循环控制器启动后让两个 Ray actor并行跑各自的fit()循环molt/trainer/rl_trainer.py#L1036-L1041生产端 GenerateSamplesActor拿令牌 → 生成 → 入队生成端的工作循环molt/trainer/rl_trainer.py#L701-L708阻塞取令牌rollout_slots.get(blockTrue)—— 取不到就干等这就是背压生效的时刻也是 vLLM 侧训练比生成慢的闲置信号把 prompt 分发给一组AgentRunnerActor用 Ray 的SPREAD调度打散到各节点见 molt/trainer/rollout/router.py#L302-L341Agent 通过 vLLM Router 以 HTTP 方式完成 token-in / token-out 的多轮 rollout每条轨迹在生产节点本地转成可训练的Experience并offload()——重张量图片、token ids、路由信息留在本节点的 Ray 对象存储中只有惰性句柄lazy handle随队列移动避免大批截图集中到单节点定义见 molt/trainer/algorithm/experience.py#L141-L154rollout_queue.put(...)整批入队训练端消费后归还令牌循环继续。消费端 TrainingActor取批次 → 训练 → 广播权重训练端循环molt/trainer/rl_trainer.py#L868-L927rollout_queue.get(blockTrue)阻塞取批——卡在这里意味着 actor GPU 在等 rollout 产出立即rollout_slots.put(global_step)归还令牌默认配置下让生成端立刻开跑下一批train_step()完成 advantage 计算与策略更新随后触发权重同步下一节详述。Molt 还会把两个循环各自的阻塞时长打点为timing/vllm_idle_wait与timing/actor_idle_waitmolt/trainer/rl_trainer.py#L909-L915一眼就能看出是 vLLM 在等训练还是训练在等 rollout为调参提供直接依据。 权重同步全异步里最隐形的环节策略每更新一轮新权重必须回灌给 vLLM 才能生成下一版的行为轨迹。Molt 的做法是异步热更新broadcast_to_vllm()先获取vllm_lock调用pause_generation()暂停生成训练侧把 FSDP 切分后的权重打包经NCCL 直连各 vLLM 引擎绕过 HTTP 路由执行update_weights_packedmolt/trainer/workers/policy_actor.py#L651-L696必要时reset_prefix_cache()清掉旧 KV 缓存再resume_generation()引擎侧接口见 molt/trainer/vllm/vllm_engine.py#L243-L246。配合--train.partial_rollout_enable同步期间在途的 rollout 请求不会被丢弃——它们被短暂暂停、在新权重下重算前缀后继续vLLM 在整个流水线里始终保持有活干。⚖️ 异步的代价off-policy 修正队列深度 1 或开启 partial rollout 时一批样本的 token 必然跨越多次权重更新rollout 时的策略与训练时的策略不再一致off-policy。Molt 在 CLI 层直接快速失败若未开启重要性采样IS修正就启用异步会立刻抛出ValueError拒绝启动molt/cli/train_rl_ray.py#L1066-L1080避免静默地偏置梯度。开启--algo.advantage.is_correction_leveltoken/seq/geo三档后训练侧会用逐 token 的重要性比π_train / π_rollout修正异步样本的 logprobs覆盖 TIS、IcePop、seq-mask-tis 等方案让快与对兼得。️ 关键参数速查表参数作用默认--train.async_queue_size队列深度 流水线重叠程度1 即开启异步1--train.partial_rollout_enable权重同步期间保留在途 rollout关--train.force_sync_mode严格 on-policy生成下一批前等完权重 refit牺牲重叠换零偏差关--rollout.num_runnersAgentRunnerActor 数量并行化评分/VLM 图像处理2--algo.advantage.is_correction_level异步 off-policy 样本的 IS 修正档位off--vllm.num_engines/--vllm.tensor_parallel_sizerollout 引擎规模EP TP × DP 可扩到 256见脚本 一个经验法则小模型先用async_queue_size1跑通再逐步加大队列深度并观察vllm_idle_wait/actor_idle_wait指标直到两侧闲置均衡。 延伸阅读按图索骥读源码想深入这套运行时建议按以下顺序阅读总共不到 3K 行控制器与双队列molt/trainer/rl_trainer.pyRLTrainer/GenerateSamplesActor/TrainingActor/VLLMLockrollout 网关与 Runner 池molt/trainer/rollout/router.py轨迹组装与对象存储卸载molt/trainer/rollout/samples_generator.py、molt/trainer/algorithm/experience.py权重广播实现molt/trainer/workers/policy_actor.py端到端启动入口molt/cli/train_rl_ray.py总结Molt 的异步运行时没有引入任何自研调度器——两个有界 Ray 队列、一个跨 actor 锁、一条 NCCL 权重广播通道就实现了 rollout、训练、权重同步三者的全重叠。理解rollout_queue数据与rollout_slots背压这对双队列你就掌握了整套流水线的心跳。赞分享【免费下载链接】labs-moltA scalable, agentic-first, and HuggingFace-native RL framework for research (9k lines).项目地址https://gitcode.com/gh_mirrors/la/labs-molt点击查看免费下载相关推荐Molt强化学习框架架构深度图解Ray、vLLM、AutoModel三组件如何全异步协同工作Molt强化学习框架架构深度图解Ray、vLLM、AutoModel三组件如何全异步协同工作 Molt 是一个面向研究的开源强化学习RL训练框架仅约 9黑苹果 EFI 一键生成:OpCore Simplify 一次 Build 完成 OpenCore 自动配置黑苹果 EFI 一键生成:OpCore Simplify 一次 Build 完成 OpenCore 自动配置 把硬件清单交给 OpCore Simplify,几开发工具CLIPaddlePaddle异步执行多线程与流水线优化PaddlePaddle异步执行多线程与流水线优化 概述 在现代深度学习框架中高效的执行引擎是提升训练和推理性能的关键。PaddlePaddle作为中国首个人工智能深度学习机器学习大模型分布式训练预训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考