如何快速部署 Cosmos3-Nano LIBERO-10 策略?cosmos3-nano-libero10-sdg-export-D2 配合 cosmos-framework 策略服务器 3 步上手
  • 人工智能
  • 大模型
  • 机器人
  • 具身智能

【免费下载链接】cosmos3-nano-libero10-sdg-export-D2

项目地址:https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D2
点击查看免费下载

cosmos3-nano-libero10-sdg-export-D2是一个开箱即用的机器人视觉-动作(VLA)策略模型:它由 NVIDIA 的 Cosmos3-Nano 基座模型在 LIBERO-10 仿真基准上后训练而成,标准场景成功率高达 93.9%。配合cosmos-framework的策略服务器(policy server),你只需 3 步就能把它部署成可推理的服务。🤖

这个仓库是什么?一句话看懂

这是一个训练检查点导出版本(export),不是完整的训练工程。它打包了:

  • 📦7 个 bf16 safetensors 权重分片(EMA 权重,共约 30 GB、151.7 亿参数),由model.safetensors.index.json索引
  • 🧠模型配置config.json:架构为Cosmos3OmniModel,启用动作生成(action_gen: true),基于 Qwen3-VL-8B 语言骨干 + 扩散动作专家
  • 🔤分词器与视觉处理器:tokenizer.json、vocab.json、merges.txt、preprocessor_config.json、video_preprocessor_config.json,均由仓库自带的Qwen3VLProcessor处理输入
  • 🧾导出元数据export_manifest.json 与 checkpoint.json:记录了导出来源、EMA 权重等加载信息
关键指标数值
标准场景成功率93.9 ± 0.8 %
扰动场景成功率(光照/纹理/相机抖动)84.7 ± 2.3 %
训练数据379 条真实 LIBERO-10 演示 + 1137 条合成重风格数据
基座模型nvidia/Cosmos3-Nano(revisione59a53c2)
配套框架cosmos-frameworkv1.2.2(commitc23e51f2)
授权NVIDIA Open Model License

⚠️ 注意:训练数据不在本仓库分发。原始 LIBERO-10 数据在nvidia/LIBERO_LeRobot_v3,合成重风格数据需按官方 recipe 重新生成。

3 步部署策略服务器

第 1 步:克隆仓库,拿到完整权重

仓库权重较大(约 30 GB),建议预留充足磁盘空间。如果通过 Git 获取,记得先安装git-lfs并执行git lfs install,否则 safetensors 分片只会是 135 字节的指针文件:

git lfs install git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D2 cd cosmos3-nano-libero10-sdg-export-D2

克隆完成后核对一下文件清单是否齐全:7 个model-xxxxx-of-00007.safetensors分片、model.safetensors.index.json、config.json 以及各 tokenizer 配置文件。

第 2 步:准备环境并启动 cosmos-framework 策略服务器

  1. 安装与本模型匹配版本的cosmos-framework(v1.2.2,commitc23e51f2),并确认已启用 GPU 支持;
  2. 按cosmos-framework的策略服务器文档启动服务。该导出包的处理器(processor)已随仓库打包(见 export_manifest.json 中processor_source.bundled: true),因此无需额外下载 Qwen3-VL 的 processor 文件;
  3. 启动时指向本仓库根目录作为模型路径,策略服务器会自动读取 config.json 中的架构定义(Cosmos3OmniConfig/Cosmos3OmniModel)和 checkpoint.json 中的加载参数(如use_ema_weights: true)。

💡 提示:模型为bfloat16精度,显存按约 30 GB 权重 + 推理开销预留;单卡显存不足时可按框架文档使用张量并行或 CPU offload 方案。

第 3 步:加载检查点并跑通第一个动作推理

  1. 在策略服务器中加载本导出的检查点(7 分片由 index 文件自动合并加载);
  2. 送入 LIBERO-10 风格的机器人观测(图像/视频帧 + 指令),处理器会按 video_preprocessor_config.json 定义的patch_size: 16、temporal_patch_size: 2对视觉输入做切块与归一化;
  3. 模型输出一段机器人动作(max_action_dim为 64,实际使用 LIBERO 的 7 维动作空间),驱动仿真器执行一步控制,即完成一次策略调用。

验证是否部署成功的简单标准:在 10 个 LIBERO-10 任务上各跑几局,成功率应接近 README 中报告的93.9%量级(具体数值以 README.md 为准)。

使用建议与注意事项

  • 对比实验先读 recipe:官方提醒,本模型属于受控合成数据研究中的"D2 单元",只有与对照单元(control cell)放在一起才具备解读意义,2.5 个百分点以内的差异在训练随机种子波动范围内。
  • 扰动鲁棒性:在随机化光照、纹理、天空盒和相机抖动下仍保持 84.7% 成功率,说明该检查点对场景变化有一定泛化能力,可放心用于非固定场景测试。
  • 文件溯源:想知道某一层权重在哪个分片里?打开 model.safetensors.index.json 的weight_map即可按张量名定位;训练时的覆盖参数(如关闭预训练权重加载)记录在 checkpoint.json 的experiment_overrides中。

常见问题(FAQ)

Q:这个模型和nvidia/Cosmos3-Nano基座模型有什么区别?A:基座是通用世界模型,本仓库是在 LIBERO-10 任务数据上后训练 1000 步(iteration 1000 → 2000,全局 batch 2048)得到的任务策略版本,可直接用于机器人动作推理。

Q:下载下来的 safetensors 只有 135 字节是怎么回事?A:说明没有正确拉取 Git LFS 文件。执行git lfs install后重新git lfs pull即可。

Q:为什么仓库里没有训练数据?A:数据体积大且需按官方 recipe 重放生成,官方仅分发模型权重与配置。原始演示数据请从nvidia/LIBERO_LeRobot_v3获取。


小结:cosmos3-nano-libero10-sdg-export-D2 提供了「克隆 → 启动策略服务器 → 加载验证」的最短部署路径。权重、配置、分词器全部随仓库打包,配合cosmos-framework的策略服务器,3 步即可把一个 LIBERO-10 成功率超 90% 的机器人策略跑起来。🚀

  • 人工智能
  • 大模型
  • 机器人
  • 具身智能

【免费下载链接】cosmos3-nano-libero10-sdg-export-D2

项目地址:https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D2
点击查看免费下载

相关推荐

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

AI智能体工具爆发背后:测试框架登顶与工程化落地实践

AI智能体工具爆发背后:测试框架登顶与工程化落地实践

1. 热榜背后的信号:AI智能体工具为何集中爆发1.1 从榜单结构看技术风向的转变2026年10月7日的这份热榜,最直观的感受就是AI智能体相关工具几乎占据了半壁江山。如果把榜单前二十个项目按领域分类,智能体框架、智能体编排工具、智能体评测平台…

2026/10/21 0:02:12 阅读更多 →
AI时代人工翻译技术博客的价值与实践指南

AI时代人工翻译技术博客的价值与实践指南

1. 从一篇翻译项目说起:为什么人工翻译在AI时代反而更值得做看到“TowardsArtificialIntelligence 博客中文翻译”这个标题,很多人的第一反应可能是:现在机器翻译这么强,为什么还要花时间做人工翻译?这个问题我在刚开始…

2026/10/21 0:02:12 阅读更多 →
具身智能中‘指哪打哪’的视觉语言动作联合建模

具身智能中‘指哪打哪’的视觉语言动作联合建模

1. “指哪打哪”不是玄学,是视觉语言动作联合建模的落地表达“Point What You Mean”这个短语乍看像一句口语化指令,但放在VLA(Vision-Language-Action)领域里,它直指当前具身智能最硬核的交互瓶颈:用户用手…

2026/10/21 0:02:12 阅读更多 →

最新新闻

开源日报热门项目实操:终端AI助手、剪贴板同步与自托管监控

开源日报热门项目实操:终端AI助手、剪贴板同步与自托管监控

1. 先说说这一期的热门全景怎么观察我做开源项目日报已经有一段时间了。每天早上第一件事,不是打开各种资讯站,而是直接去代码托管平台的榜单上看一圈,再结合社区讨论、release动态、issue反馈,综合判断这一天到底哪些项目值得被写…

2026/10/21 0:52:38 阅读更多 →
有限元面试53题:从刚度矩阵到工程实战的复习指南

有限元面试53题:从刚度矩阵到工程实战的复习指南

一提到“有限元面试”,很多人第一反应就是背公式、刷题。但等真正坐到面试桌对面,面试官问的往往不是“你有多少年经验”,而是“你算过的东西,你真的懂吗”。这份复习指南的核心,就是围绕53道有限元(FEA&am…

2026/10/21 0:52:38 阅读更多 →
游戏支付平台源码:轻量级支付中台搭建与避坑指南

游戏支付平台源码:轻量级支付中台搭建与避坑指南

简介:这是一套面向游戏运营与支付系统开发者的完整技术方案源码包,涵盖游戏支付平台、充值平台、第三方支付对接及游戏网关支付接口四大核心模块,适用于中小型游戏公司快速搭建合规、可扩展的支付中台。资源共2000个文件,主体为Ja…

2026/10/21 0:52:38 阅读更多 →
8类AI文献综述工具全解析:从检索到评述的流水线指南

8类AI文献综述工具全解析:从检索到评述的流水线指南

写文献综述最让人崩溃的不是“写”,而是“综述”这两个字背后的整套流程——找文献、筛文献、读文献、分类、归纳、梳理脉络、找研究空白、建框架、动笔写。我当年写第一篇综述熬了三个通宵,最后被导师一句“只有罗列,没有评述”打回重来&…

2026/10/21 0:51:37 阅读更多 →
Redisson缓存报错missing @class?序列化配置与排查修复全指南

Redisson缓存报错missing @class?序列化配置与排查修复全指南

如果你在项目里用 Redisson 做分布式缓存,get()读取数据时突然抛出missing type id property class,说明你写入缓存的数据格式和读取时使用的解析规则已经对不上了。这个报错我前阵子刚踩过,第一反应以为是get()方法用错了,后来才…

2026/10/21 0:51:37 阅读更多 →
MySQL事务底层原理:undo/redo日志、MVCC与锁机制全解析

MySQL事务底层原理:undo/redo日志、MVCC与锁机制全解析

1. 事务到底在解决什么问题很多刚接触数据库的朋友会觉得事务这东西有点虚——平时写个增删改查,加不加事务好像都能跑,业务也没出过什么大乱子。但只要你经历过一次线上对账不平、库存扣成负数、或者转账转了一半系统崩了,你就会明白事务不是…

2026/10/21 0:51:37 阅读更多 →

日新闻

统一内存+量化:锐龙AI Max PRO 400如何本地跑320B大模型

统一内存+量化:锐龙AI Max PRO 400如何本地跑320B大模型

这段时间硬件圈和AI圈都在传一个事:AMD锐龙AI Max PRO 400系列把最高192GB统一内存搬进了PC形态的产品里,按宣传口径,本地跑320B参数的大家伙不再是纸面概念。我第一反应倒不是“内存真大”,而是这话背后的含金量——它把过去只能…

2026/10/21 0:00:11 阅读更多 →
AI助手深度使用体验:对话质量、长文本处理与指令遵循如何留住用户

AI助手深度使用体验:对话质量、长文本处理与指令遵循如何留住用户

1. 从“封号重开”这个行为说起:用户到底在追求什么“封号重开”这四个字,放在任何产品语境里都带着一股决绝的味道。一个账号从零开始积累使用记录、调教偏好、沉淀工作流,背后是大量的时间和精力成本。正常情况下,没有人愿意主动…

2026/10/21 0:00:11 阅读更多 →
ROS中YOLOv3工程落地:通信同步、坐标变换与性能调优

ROS中YOLOv3工程落地:通信同步、坐标变换与性能调优

1. 为什么在ROS里硬刚YOLOv3不是“炫技”,而是工程落地的必经之路我第一次在某高校机器人实验室看到那台搭载Jetson TX2的移动底盘原地打转、反复识别错垃圾桶时,就意识到:单纯跑通darknet_ros demo和真正让YOLOv3在ROS里“干活”&#xff0c…

2026/10/21 0:00:11 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/20 10:02:13 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/20 20:43:59 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/20 2:50:50 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 10:02:08 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:17 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:45 阅读更多 →