SimpleVLA‑RL 复现实践文章

论文SimpleVLA‑RL: Scaling VLA Training via Reinforcement LearningICLR2026Github仓库https://github.com/PRIME‑RL/SimpleVLA‑RL关键词VLA、GRPO、具身智能、强化学习、SFTRL、稀疏二值奖励、sim‑to‑real0 前言复现难度⭐⭐⭐⭐⭐硬件门槛极高官方推荐8×A800/A100‑80GB内存≥256GB存储≥500GB支持多机分布式训练消费级显卡无法完成完整训练流程。当前Vision‑Language‑Action(VLA)模型主流范式是监督微调SFT依赖大量人工遥操作机器人轨迹真实机器人示教成本昂贵SFT训练出来的模型极易过拟合演示轨迹面对分布偏移、长时序任务泛化能力差。SimpleVLA‑RL借鉴大模型推理领域GRPOGroup Relative Policy Optimization的思想把结果驱动的在线强化学习迁移到机器人VLA只需要简单二元0/1成功失败奖励不需要手工设计稠密过程奖励基于veRL框架改造实现VLA闭环环境交互采样、多环境并行渲染在LIBERO、RoboTwin仿真基准以及sim‑to‑real真实双臂机器人任务取得SOTA同时论文发现pushcut现象RL训练过程中策略能够发现SFT演示数据中从未见过的有效行为模式。本文记录从环境部署、数据准备、SFT预训练、SimpleVLA‑RL的GRPO强化学习训练、评估、复现坑点、消融验证全流程实践。1 方法回顾复现前置理解1.1 整体两阶段范式SFT SimpleVLA‑RL阶段1 SFT监督微调使用少量离线机器人演示轨迹对基座VLAOpenVLA‑OFT做监督微调得到一个可用的初始策略不需要海量示教论文验证单条示教/任务也可以取得不错后续RL增益。阶段2 SimpleVLA‑RL在线强化学习并行环境rollout策略和仿真环境闭环交互生成多条完整轨迹奖励仅二元结果奖励任务成功1失败0不需要中间稠密奖励增强探索版GRPO引入三项探索增强策略动态采样、更高clip范围、更高rollout温度去掉参考模型KL惩罚鼓励探索分组优势计算更新VLA策略权重迭代不断rollout‑评估‑更新利用仿真交互试错提升长时序操作、分布偏移泛化能力。核心创新点将LLM领域结果驱动GRPO算法迁移至VLA闭环机器人交互仅使用稀疏二元结果奖励规避机器人任务稠密奖励设计难题探索增强策略动态采样丢弃全部成功/全部失败的批次提升clip范围0.8‑1.28采样温度1.6移除参考模型KL约束鼓励策略探索多环境并行渲染适配VLA大模型分布式训练现象pushcutRL探索得到SFT数据不存在的有效操作模式。1.2 算法损失简述借鉴GRPO对一组rollout轨迹分组计算优势奖励只取episode结束的0/1终端奖励不需要中间步奖励。注意和传统机器人PPO不同没有稠密step‑wise奖励只看任务最终成败。2 环境部署复现步骤⚠️ 重要提醒本项目重度依赖GPU显存单卡24G/40G消费显卡无法跑完整训练仅可以跑极小单元测试LIBERO/RoboTwin仿真环境有系统依赖推荐Ubuntu22.04Windows/WSL会出现渲染异常。2.1 拉取代码仓库gitclone[https://github.com/PRIME-RL/SimpleVLA-RL.git](https://github.com/PRIME-RL/SimpleVLA-RL.git)cdSimpleVLA-RL2.2 创建conda虚拟环境conda create-nsimplevla-rlpython3.10conda activate simplevla-rl# 安装本项目本地依赖pipinstall-e.# 依赖veRL大模型RL框架pipinstallverl# 仿真环境LIBEROpipinstalllibero# 如需RoboTwin‑2.0任务pipinstallrobotwin额外系统依赖libgl1‑mesa‑glx等渲染库用于仿真headless无显示器渲染sudoapt‑getinstalllibgl1‑mesa‑glx libgomp12.3 权重准备基座VLA权重OpenVLA‑OFT从HuggingFace下载SFT阶段输出checkpoint作为SimpleVLA‑RL的初始策略注意全部模型需要放置在大存储磁盘单个VLA权重7B规模。目录建议SimpleVLA‑RL/ ├── checkpoints/ # 存放OpenVLA‑OFT、SFT ckpt、RL中间checkpoint ├── configs/ # yaml训练配置 ├── examples/ # 启动脚本libero、robotwin示例bash ├── src/ └── logs/3 完整训练复现流程Step 1SFT监督微调得到初始策略先对OpenVLA‑OFT做监督微调使用LIBERO提供的演示数据集。启动脚本参考项目examples/run_openvla_sft_libero.shbashexamples/run_openvla_sft_libero.sh关键SFT配置要点模型OpenVLA‑OFT数据集LIBERO官方数据集可以做低数据实验每个任务仅保留1条演示输出SFT‑ckpt作为RL阶段的policy初始化。论文重要对照实验one‑demo SFT每个任务只用1条示教SFT阶段效果很差但后续SimpleVLA‑RL仍然可以拉到很高成功率验证框架的数据效率。Step2SimpleVLA‑RL强化学习训练核心启动脚本参考examples/run_openvla_grpo_libero.shbashexamples/run_openvla_grpo_libero.sh关键yaml配置核心超参复现必须对齐num_envs:64#并行仿真环境数量reward_type:binary#二元0‑1终端奖励kl_coeff:0.0#论文去掉KL惩罚关键很多复现失败在这里cliprange:0.8‑1.28#更大clip范围增强探索rollout_temperature:1.6#采样温度提升鼓励探索enable_dynamic_sampling:true#动态采样丢弃全部成功/全部失败轨迹组total_steps:50000rollout_batch_size:xxx训练流程内部执行循环SFT‑ckpt初始化policy多env并行rollout与LIBERO仿真闭环交互收集多条完整episode轨迹读取仿真episode终端成功标记生成0/1二元奖励分组优势计算GRPO更新VLA权重定期保存checkpoint、运行evaluation脚本记录仿真成功率循环直到total_steps。训练日志重点观测指标rollout_success_raterollout阶段采样轨迹平均成功率policy_loss、pg_losseval‑sr验证集任务成功率。Step3 仿真评估项目提供评估脚本对保存的RL checkpoint跑完整LIBERO四个套件Spatial / Object / Goal / Long。bashexamples/eval_libero.sh${checkpoint_path}预期复现参考指标论文结果SettingLIBERO平均成功率SFTfull demo91.0%SFT(one‑demo per task)17.1%SimpleVLA‑RLone‑demo SFT初始化96.9%SimpleVLA‑RL full98‑99%RoboTwin‑2.0SFT基线38.3%SimpleVLA‑RL提升至68.8%超过π₀基线。Step4 Sim‑to‑Real迁移真实机器人⚠️ 真实硬件需要AgileX Piper机械臂硬件复现门槛极高普通实验室很难完成。训练全部在仿真RoboTwin完成不使用任何真实机器人示教直接把RL训练得到VLA策略部署真实机械臂论文在4项真实操作任务验证RL策略显著优于纯SFT。4 消融实验复现建议验证论文核心结论做复现论文建议完成下面4组消融验证每个组件贡献。消融组别修改配置预期现象完整SimpleVLA‑RL全部开启动态采样、clip0.8‑1.28、T1.6、kl_coeff0最高成功率Ablation1 关闭动态采样enable_dynamic_sampling: false成功率下降10‑15个点Ablation2 恢复KL惩罚kl_coeff:0.01探索不足长时序LIBERO‑Long显著掉点Ablation3 原始小clipcliprange:0.2‑0.3策略更新保守增益很小Ablation4 low temperaturerollout_temperature:1.0探索不足容易陷入局部最优关键结论三个探索增强组件缺一不可移除KL惩罚对VLA‑GRPO非常关键LLM‑GRPO常用KL约束但是机器人任务会抑制探索导致性能变差。5 复现踩坑记录重点坑1硬件不足OOM显存溢出现象rollout阶段或者GRPO更新直接爆OOM原因OpenVLA‑OFT是7B VLA模型同时要做rollout采样actor‑critic更新大量并行仿真解决必须80GB A100/A800减少num_envs降低并行环境数量会严重降低训练效果不推荐无法在24G显卡完整复现。坑2开启KL惩罚性能上不去很多同学直接照搬LLM veRL默认配置设置kl_coeff0论文明确关闭KL惩罚kl_coeff0目的鼓励VLA策略探索开启KL会把策略约束在SFT附近RL几乎得不到收益。坑3headless仿真渲染失败LIBERO/RoboTwin无显示器服务器渲染报错解决安装libgl1‑mesa‑glx设置环境变量export LIBGL_ALWAYS_SOFTWARE1。坑4SFT初始化质量太差RL完全不收敛SimpleVLA‑RL不能从零随机初始化策略做RL必须有一个基础可用SFT策略如果SFT模型完全不会完成基础任务RL无法学习。论文观察阈值初始rollout要有一定基础成功率RL才能够有效迭代。坑5动态采样理解错误动态采样把全部成功或者全部失败的轨迹组丢弃目的防止梯度被全0或者全1奖励主导不能直接关闭关闭后长时序任务会严重退化。坑6数据泄露问题评估集绝对不能进入rollout采样环境训练rollout环境和评估环境严格隔离保证泛化指标可信。6 论文现象 Pushcut观测论文提出pushcut现象经过RL训练策略产生SFT演示轨迹不存在的有效行为模式。如何观测该现象收集SFT模型rollout轨迹再收集SimpleVLA‑RL模型rollout轨迹人工对比轨迹统计RL出现但是SFT从未出现的有效操作路径在LIBERO‑Long长时序任务更容易观测该现象。7 方法局限复现之后观察到的不足巨大算力开销RL相比SFT训练慢很多大量仿真rollout消耗算力高度依赖仿真质量训练全部依赖仿真sim‑to‑real存在现实鸿沟不能直接在真实机器人上做在线RL采样成本不可接受奖励依赖仿真内置成功判定真实世界任务需要额外视觉‑语言奖励模型提供二元成功信号需要一个基础可用SFT策略无法完全从零纯RL启动训练长视界任务rollout轨迹很长会进一步放大显存和时间开销。8 总结SimpleVLA‑RL是ICLR2026非常重要的工作它证明LLM中大获成功的结果驱动GRPO强化学习可以直接迁移到VLA具身机器人领域仅仅依靠仿真环境二元成功失败奖励不需要复杂稠密奖励就能极大提升VLA模型长时序任务能力和分布泛化但代价是极高算力、必须依赖仿真闭环交互无法从零初始化需要SFT作为起点。复现最大门槛不是代码逻辑而是硬件资源在资源有限的条件下优先跑单元测试、消融实验验证各个组件行为再跑完整大规模训练。如果你需要我可以继续输出精简版复现博客markdown适合发技术公众号可直接写进论文Related‑Work段落X‑VLA / Cosmos‑Policy / SimpleVLA‑RL三者对比复现实验记录模板可直接填数据写实验报告