如何快速部署 Cosmos3-Nano LIBERO-10 策略?cosmos3-nano-libero10-sdg-export-D2 配合 cosmos-framework 策略服务器 3 步上手
  • 人工智能
  • 大模型
  • 机器人
  • 具身智能

【免费下载链接】cosmos3-nano-libero10-sdg-export-D2

项目地址:https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D2
点击查看免费下载

cosmos3-nano-libero10-sdg-export-D2是一个开箱即用的机器人视觉-动作(VLA)策略模型:它由 NVIDIA 的 Cosmos3-Nano 基座模型在 LIBERO-10 仿真基准上后训练而成,标准场景成功率高达 93.9%。配合cosmos-framework的策略服务器(policy server),你只需 3 步就能把它部署成可推理的服务。🤖

这个仓库是什么?一句话看懂

这是一个训练检查点导出版本(export),不是完整的训练工程。它打包了:

  • 📦7 个 bf16 safetensors 权重分片(EMA 权重,共约 30 GB、151.7 亿参数),由model.safetensors.index.json索引
  • 🧠模型配置config.json:架构为Cosmos3OmniModel,启用动作生成(action_gen: true),基于 Qwen3-VL-8B 语言骨干 + 扩散动作专家
  • 🔤分词器与视觉处理器:tokenizer.json、vocab.json、merges.txt、preprocessor_config.json、video_preprocessor_config.json,均由仓库自带的Qwen3VLProcessor处理输入
  • 🧾导出元数据export_manifest.json 与 checkpoint.json:记录了导出来源、EMA 权重等加载信息
关键指标数值
标准场景成功率93.9 ± 0.8 %
扰动场景成功率(光照/纹理/相机抖动)84.7 ± 2.3 %
训练数据379 条真实 LIBERO-10 演示 + 1137 条合成重风格数据
基座模型nvidia/Cosmos3-Nano(revisione59a53c2)
配套框架cosmos-frameworkv1.2.2(commitc23e51f2)
授权NVIDIA Open Model License

⚠️ 注意:训练数据不在本仓库分发。原始 LIBERO-10 数据在nvidia/LIBERO_LeRobot_v3,合成重风格数据需按官方 recipe 重新生成。

3 步部署策略服务器

第 1 步:克隆仓库,拿到完整权重

仓库权重较大(约 30 GB),建议预留充足磁盘空间。如果通过 Git 获取,记得先安装git-lfs并执行git lfs install,否则 safetensors 分片只会是 135 字节的指针文件:

git lfs install git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D2 cd cosmos3-nano-libero10-sdg-export-D2

克隆完成后核对一下文件清单是否齐全:7 个model-xxxxx-of-00007.safetensors分片、model.safetensors.index.json、config.json 以及各 tokenizer 配置文件。

第 2 步:准备环境并启动 cosmos-framework 策略服务器

  1. 安装与本模型匹配版本的cosmos-framework(v1.2.2,commitc23e51f2),并确认已启用 GPU 支持;
  2. 按cosmos-framework的策略服务器文档启动服务。该导出包的处理器(processor)已随仓库打包(见 export_manifest.json 中processor_source.bundled: true),因此无需额外下载 Qwen3-VL 的 processor 文件;
  3. 启动时指向本仓库根目录作为模型路径,策略服务器会自动读取 config.json 中的架构定义(Cosmos3OmniConfig/Cosmos3OmniModel)和 checkpoint.json 中的加载参数(如use_ema_weights: true)。

💡 提示:模型为bfloat16精度,显存按约 30 GB 权重 + 推理开销预留;单卡显存不足时可按框架文档使用张量并行或 CPU offload 方案。

第 3 步:加载检查点并跑通第一个动作推理

  1. 在策略服务器中加载本导出的检查点(7 分片由 index 文件自动合并加载);
  2. 送入 LIBERO-10 风格的机器人观测(图像/视频帧 + 指令),处理器会按 video_preprocessor_config.json 定义的patch_size: 16、temporal_patch_size: 2对视觉输入做切块与归一化;
  3. 模型输出一段机器人动作(max_action_dim为 64,实际使用 LIBERO 的 7 维动作空间),驱动仿真器执行一步控制,即完成一次策略调用。

验证是否部署成功的简单标准:在 10 个 LIBERO-10 任务上各跑几局,成功率应接近 README 中报告的93.9%量级(具体数值以 README.md 为准)。

使用建议与注意事项

  • 对比实验先读 recipe:官方提醒,本模型属于受控合成数据研究中的"D2 单元",只有与对照单元(control cell)放在一起才具备解读意义,2.5 个百分点以内的差异在训练随机种子波动范围内。
  • 扰动鲁棒性:在随机化光照、纹理、天空盒和相机抖动下仍保持 84.7% 成功率,说明该检查点对场景变化有一定泛化能力,可放心用于非固定场景测试。
  • 文件溯源:想知道某一层权重在哪个分片里?打开 model.safetensors.index.json 的weight_map即可按张量名定位;训练时的覆盖参数(如关闭预训练权重加载)记录在 checkpoint.json 的experiment_overrides中。

常见问题(FAQ)

Q:这个模型和nvidia/Cosmos3-Nano基座模型有什么区别?A:基座是通用世界模型,本仓库是在 LIBERO-10 任务数据上后训练 1000 步(iteration 1000 → 2000,全局 batch 2048)得到的任务策略版本,可直接用于机器人动作推理。

Q:下载下来的 safetensors 只有 135 字节是怎么回事?A:说明没有正确拉取 Git LFS 文件。执行git lfs install后重新git lfs pull即可。

Q:为什么仓库里没有训练数据?A:数据体积大且需按官方 recipe 重放生成,官方仅分发模型权重与配置。原始演示数据请从nvidia/LIBERO_LeRobot_v3获取。


小结:cosmos3-nano-libero10-sdg-export-D2 提供了「克隆 → 启动策略服务器 → 加载验证」的最短部署路径。权重、配置、分词器全部随仓库打包,配合cosmos-framework的策略服务器,3 步即可把一个 LIBERO-10 成功率超 90% 的机器人策略跑起来。🚀

  • 人工智能
  • 大模型
  • 机器人
  • 具身智能

【免费下载链接】cosmos3-nano-libero10-sdg-export-D2

项目地址:https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D2
点击查看免费下载

相关推荐

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

AI智能体工具爆发背后:测试框架登顶与工程化落地实践

AI智能体工具爆发背后:测试框架登顶与工程化落地实践

1. 热榜背后的信号:AI智能体工具为何集中爆发1.1 从榜单结构看技术风向的转变2026年10月7日的这份热榜,最直观的感受就是AI智能体相关工具几乎占据了半壁江山。如果把榜单前二十个项目按领域分类,智能体框架、智能体编排工具、智能体评测平台…

2026/11/20 14:26:44 阅读更多 →
AI时代人工翻译技术博客的价值与实践指南

AI时代人工翻译技术博客的价值与实践指南

1. 从一篇翻译项目说起:为什么人工翻译在AI时代反而更值得做看到“TowardsArtificialIntelligence 博客中文翻译”这个标题,很多人的第一反应可能是:现在机器翻译这么强,为什么还要花时间做人工翻译?这个问题我在刚开始…

2026/11/21 6:50:22 阅读更多 →
具身智能中‘指哪打哪’的视觉语言动作联合建模

具身智能中‘指哪打哪’的视觉语言动作联合建模

1. “指哪打哪”不是玄学,是视觉语言动作联合建模的落地表达“Point What You Mean”这个短语乍看像一句口语化指令,但放在VLA(Vision-Language-Action)领域里,它直指当前具身智能最硬核的交互瓶颈:用户用手…

2026/11/19 8:48:28 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻