【免费下载链接】DreamDojoOfficial Codebase for DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos (ICML 2026)项目地址https://gitcode.com/gh_mirrors/dr/DreamDojo点击查看免费下载DreamDojo是从 44k 小时人类第一视角视频中训练出的通用机器人世界模型ICML 2026。本文将逐一拆解官方评估脚本eval.sh的全部参数带你 3 步完成环境准备并完整复现In-lab与EgoDex两大官方评测集输出 PSNR、SSIM、LPIPS 三项量化指标。1️⃣ 评估在做什么先搞懂原理DreamDojo 的评估本质是一次动作条件视频生成Action-conditioned Video2World从评测集中取出真实视频的第一帧作为条件并提取对应的机器人动作序列action模型以 12 帧为一个 chunk 自回归生成后续视频将生成视频与真实视频Ground Truth逐帧对比计算PSNR / SSIM / LPIPS最终汇总到all_summary.json。也就是说生成得越接近真实轨迹说明世界模型对动作的想象越准。核心实现位于 cosmos_predict2/action_conditioned.py入口脚本是 examples/action_conditioned.py。2️⃣ 运行 eval.sh 前的三项准备按照 docs/SETUP.md 完成安装后确认以下资源就位仓库使用uv管理环境一条命令安装bash install.sh准备项说明参考文档✅ 检查点官方 2B / 14B 预训练与后训练 checkpoint放入或软链到checkpoints/目录checkpoints/README.md✅ 评测数据PhysicalAI-Robotics-GR00T-Teleop-GR1数据集放入或软链到datasets/目录datasets/README.md✅ 实验配置评估时用的 experiment 名对应configs/下的 yaml如dreamdojo_2b_480_640_gr1对应 configs/2b_480_640_gr1.yamldocs/EVAL.md路径要匹配 embodiment数据加载器会根据数据集路径中是否包含gr1、g1、yam、agibot等关键词自动推断机器人类型路径命名不规范会直接报错见 groot_dreams/dataloader.py。3️⃣ eval.sh 逐行拆解完整参数清单eval.sh 是官方评估入口核心就是调用examples/action_conditioned.pybash eval.sh脚本内部等价于python examples/action_conditioned.py \ -o outputs/action_conditioned/basic \ --checkpoints-dir checkpoints/exp1201/gr1/checkpoints \ --experiment dreamdojo_2b_480_640_gr1 \ --save-dir results/gr1_unified_test \ --num-frames 49 \ --num-samples 100 \ --dataset-path datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/GR1_robot \ --data-split test \ --deterministic-uniform-sampling \ --checkpoint-interval 5000 \ --infinite注意脚本开头的PYTHONPATH、HF_HOME与 venv 激活路径是作者机器上的绝对路径请改成你自己的本地路径。参数逐项解释完整清单参数默认值作用-o必填日志输出目录如outputs/action_conditioned/basic--checkpoints-dircheckpoints/exp1201/gr1/checkpoints检查点根目录需包含latest_checkpoint.txt--experiment模型内置实验名指定后训练配置名决定读取哪个 yaml--save-dirresults/action2world生成视频与指标文件的保存位置--num-frames37Ground Truth 视频总长度含第 1 帧条件帧49 即生成 48 帧新画面--num-samples100本次评估抽取的样本总数--dataset-pathGR1_robot路径评测集路径多个集合用英文逗号拼接--data-splittestfull全部 100%train每个集合前 95%test每个集合后 5%--deterministic-uniform-sampling关开启后按各集合等量均匀抽样而非按长度比例--checkpoint-interval2000只评估间隔 N 步的检查点如 5000 即评估第 5000、10000… 步--infinite关开启后进入常驻轮询训练期间每 60 秒检查新检查点并自动评估所有参数的默认值定义在 cosmos_predict2/action_conditioned_config.py 的ActionConditionedSetupArguments中。4️⃣ 三个高频参数深入讲透--data-split同一份数据的三种切法对拼接后的每个评测集而言full→ 100% 数据官方复现评测集时一律使用train→ 每个集合的前 95%适合做训练/验证分离的自评估test→ 每个集合的后 5%即eval.sh默认值。--num-samples--deterministic-uniform-sampling公平抽样当用逗号拼接多个子集如 In-lab 的 10 个任务时默认会按各子集长度比例抽样——任务越多样本越多。开启--deterministic-uniform-sampling后每个子集分到num-samples / 子集数个样本保证 10 个任务一个不差。注意此时最小的子集长度不能小于均分值否则会触发 assert 报错。--infinite--checkpoint-interval训练中自动追踪评估器会读取latest_checkpoint.txt然后以--checkpoint-interval为步长遍历检查点已评估过存在all_summary.json或旧版metrics.json会自动跳过支持断点续评若检查点缺少model_ema_bf16.pt会自动调用 scripts/convert_distcp_to_pt.py 完成格式转换每轮结束后sleep 60再轮询非常适合与launch.sh训练并挂运行实时追踪各检查点的性能曲线。5️⃣ 复现官方评测集In-lab 与 EgoDex 一键命令官方在 docs/EVAL.md 中给出了三套完整复现参数替换eval.sh中对应命令行即可。 In-lab Eval10 个操作任务逗号拼接覆盖pnp_handover_plate、pnp_cucumber、pour_items_into_basket、fold_cloth等 10 项 GR1 任务--num-frames 49 \ --num-samples 100 \ --dataset-path datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.pnp_handover_plate_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.pnp_cucumber_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.pnp_corn_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.pnp_dragonfruit_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.pour_items_into_basket_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.right_to_left_handover_corn_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.mug_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.fold_cloth_long_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.fold_cloth_robot,datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/In-lab_Eval/gr1_unified.color_puzzles_robot \ --data-split full \ --deterministic-uniform-sampling EgoDex Eval人类第一视角泛化评测--num-frames 49 \ --num-samples 100 \ --dataset-path datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/EgoDex_Eval \ --data-split full \ --deterministic-uniform-sampling 路径中含egodex_21时加载器会自动切换为 MANO 手部模型数据集MANODataset无需额外参数。 DreamDojo-HV Eval大规模人类视频评测--num-frames 49 \ --num-samples 100 \ --dataset-path datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/DreamDojo-HV_Eval \ --data-split full \ --deterministic-uniform-sampling三套配置的共同点49 帧 100 样本 full 切分 均匀抽样这正是论文基准数字的复现口径。6️⃣ 结果怎么读输出文件全解析评估产物统一写在--save-dir下按检查点分目录如iter_00005000/文件内容{idx}_pred.mp4模型生成的视频{idx}_gt.mp4真实视频{idx}_merged.mp4真实 / 生成左右拼接对比视频肉眼审阅最直观{idx}_actions.npy该样本输入的动作序列{idx}_metrics.json单样本的psnr/ssim/lpipsall_summary.json全部样本的三项指标均值最终成绩看它解读口径psnr、ssim越高越好lpips越低越好。配合--infinite模式你可以对all_summary.json按迭代步数画图直接得到性能曲线。7️⃣ 常见问题速查FAQQ改了实验配置后评估报 Experiment name must be provided说明检查点元数据中没有实验名请显式传--experiment且与configs/中 yaml 匹配。Qrestrict_len ... is too large for smallest dataset length报错开了均匀抽样但--num-samples过大最小子集分不够样本调小--num-samples即可。Q评估卡住不动确认--infinite模式下训练是否还在产出检查点单样本生成失败不会中断整批keep_going默认开启。Q显存不够官方环境基于 H100 80GB 测试可用--context-parallel-size多卡切分上下文训练相关环境变量参考 docs/ISSUES.md。写在最后整套评估流程可以概括为一句话install.sh装环境 → 摆好 checkpoint 与数据集 →bash eval.sh换参数开跑。掌握了--data-split、--num-samples、--deterministic-uniform-sampling这三个采样参数的组合方式你就能在 10 个 In-lab 任务、EgoDex 或 DreamDojo-HV 任意评测集上复现论文指标甚至建立自己的评估基准 更多训练侧配置可继续阅读 docs/POSTTRAIN.md 与 docs/PRETRAIN.md。赞分享【免费下载链接】DreamDojoOfficial Codebase for DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos (ICML 2026)项目地址https://gitcode.com/gh_mirrors/dr/DreamDojo点击查看免费下载相关推荐大模型性能评估完全指南中国大模型评测指标解析与实践技巧大模型性能评估完全指南中国大模型评测指标解析与实践技巧 awesome LLMs In China是一个全面收集中国大模型信息的开源项目涵盖百度文心一言、智大模型VibeThinker数学评测复现指南从AIME到HMMT多GPU评估全流程VibeThinker数学评测复现指南从AIME到HMMT多GPU评估全流程 VibeThinker 1.5B 是一个仅 15 亿参数却在数学推理上击败更大模人工智能大模型推理模型模型评测Composer 训练器评估指南eval_dataloader、Evaluator 多数据集评估与代码评测配置Composer 训练器评估指南eval_dataloader、Evaluator 多数据集评估与代码评测配置 本文是 ComposerMosaicML 开深度学习分布式训练模型优化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考