@TOC🌌你好！这里是 晓雨的笔记本在所有感兴趣的领域扩展知识，感谢你的陪伴与支持~👋 欢迎添加好友 is_yu_ei，不定期掉落福利资讯写在最前面版权声明：本文为原创，遵循 CC 4.0 BY-SA 协议。转载请注明出处。ECCV 2026 3DWay 论文解读让机器人“把球放进篮筐”，看起来只是一句简单指令。视觉语言模型可以找出球和篮筐，也能在图片上画出一条路线。可机械臂真正开始移动时，还要知道一个更具体的问题：夹爪应该抬到多高，经过哪几个空间位置，最后从哪里接近篮筐？ECCV 2026 论文 3DWay 给出了一种很清楚的处理办法：让视觉语言模型预测多个视角下相互对应的二维路点，再利用相机几何关系，把这些路点恢复到三维空间。得到的三维路点既能配合运动规划执行简单任务，也能作为额外条件，帮助视觉语言动作模型完成操作。[1]这篇论文值得细读的地方，在于它把“理解画面”和“控制动作”之间传递的信息具体化了。沿着这个问题往下看，也能更清楚地理解：像启元 Q1 探索版这样的开放机器人平台，可以怎样承接前沿模型的空间推理结果。论文信息：3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints。Huang 等，ECCV 2026，LNCS 17068，20–38 页；Springer 于 2026 年 10 月 3 日正式上线。[1]图 1 三种路点表示的差别。左侧二维路线存在深度歧义；中间直接利用深度图，也难以确定悬空路点；右侧通过多视角对应关系恢复空间位置。来源：论文 Fig. 1，PDF 第 2 页；中文说明为本文补充。1 图片上的路线还缺一个空间位置先看一个容易忽略的细节。图片上的一个像素，对应的是从相机出发的一条空间射线。沿着这条射线，可以有很多不同深度的点。因此，同一条二维路线，在现实中可能贴着桌面走，也可能从桌面上方经过。只看投影，机器人无法确定要执行哪一种运动。那么，加上一张深度图是不是就够了？如果要定位一个看得见的物体表面，深度图很有帮助。但机械臂的运动路径还包含大量悬空位置。例如先把球抬起来、移动到篮筐上方，再向下放。路径中间的路点不一定落在任何可见表面上。这时，直接读取该像素的深度，可能拿到的是后方桌面或背景物体的距离，而不是夹爪应该经过的位置。论文把这种从二维轨迹按深度反投影得到的表示称为 2.5D Waypoints。它指出的问题很具体：表面深度并不能自动补全一条悬空运动路径。[1，§3.2]所以，3DWay 要解决的是一件比“找对物体”更进一步的事：把整段运动中有意义的位置明确表达出来，让后续控制系统知道夹爪究竟要去哪里。2 先在多张图上找对应路点再恢复三维直接要求模型输出世界坐标系下的 x、y、z，会把相机视角变化、坐标变换和动作语义一起交给模型处理。3DWay 选择拆开这几件事。模型继续处理它熟悉的图像和文本，三维恢复则交给明确的几何计算。具体来说，输入是多个相机看到的 RGB 图像和同一条任务指令。经过微调的视觉语言模型，为每个视角输出一组二维路点。这里的“对应”很关键：第一张图里的第 i 个路点，与第二张图里的第 i 个路点，应当描述末端运动过程中的同一个三维位置。图 2 3DWay 的整体流程。模型生成多视角一致的二维路点，经三角化得到三维路点，再进入固定策略执行或 VLA 动作生成。来源：论文 Fig. 2，PDF 第 6 页。只要知道各相机的内参和外参，就可以从每个二维路点得到对应的空间射线，再通过三角化估计三维位置。内参描述相机如何成像，外参描述相机之间以及相机与世界坐标系之间的位置、朝向关系。论文的主要实验使用两台已经标定的相机。[1，§3.3、§4.1]二维对应路点 = VLM（多视角图像，语言指令）三维路点 = 三角化（二维对应路点，相机内参，相机外参）三角化在这里没有替模型理解任务。模型仍要判断抓哪个物体、往哪里放，以及路径需要经过哪些位置；几何计算负责把这些意图落实到同一个空间坐标系中。若不同视角的预测彼此矛盾，或相机标定有误，恢复出来的路点仍然会偏离目标。3 一致性来自同一条三维轨迹的监督看到这里，最值得追问的是：模型凭什么知道两张图里的点应该互相对应？答案藏在训练数据的制作顺序里。作者先根据机器人状态和末端模型计算工具中心点 TCP 的真实运动轨迹。TCP 可以理解为控制和描述末端运动时选定的参考点。原始轨迹通常很密，作者用 Ramer–Douglas–Peucker，也就是 RDP 算法，保留能表达路径形状的关键路点，再把同一组三维路点投影到各个相机视角。这样，每个视角的标签都来自同一段真实运动，路点之间天然保留对应关系。[1，§3.4]图 3 多视角一致标签的构造顺序。先简化三维末端轨迹，再将同一组路点投影到不同视角；各视角的标签因此描述同一段运动。来源：论文 Fig. 3，PDF 第 7 页。这个顺序会影响最后学到什么。若在两张图里分别选点，两边各自看起来都合理，却可能表示不同的动作阶段。后面的几何计算需要的是对应路点，而不是两条互不相关的二维路线。模型训练也保持了语言模型的基本形式：将二维坐标序列写成文本，用交叉熵目标学习输出。作者没有为此新增一个三维坐标回归头。默认骨干是 NVILA-15B，并比较了 8B 和 2B 版本。训练先在 RoboPoint 上改善像素级点预测，再使用 RLBench、DROID、RH20T 处理得到的机器人数据，覆盖约 290 个任务、13.4 万条轨迹。[1，§3.4、§4.1]多视角对应关系也有直接的实验支持。论文 Table 3 中，采用默认一致性训练时，未见 RLBench 任务的成功率为 64.0%；改成各视角独立监督、独立预测，最后再三角化，成功率降到 22.0%。这说明几何恢复之前的预测方式非常重要。8B 版本达到 62.8%，2B 版本为 50.1%，也提示开发者可以结合任务难度权衡模型规模。4 同一组三维路点可以接两类执行方式3DWay 输出的是简化的末端平移路点，并带有夹爪开合等状态信息。完整操作还涉及末端朝向、运动学约束以及接触过程。作者因此给出了两种使用路点的方式。[1，§3.5]用固定姿态完成简单操作第一种叫 3DWay-TD，TD 表示 Top-Down。它采用固定的从上向下抓取姿态，再结合路点运动规划和逆运动学，把空间目标转换成底层控制命令。这样可以完成一部分对旋转不敏感的抓取、移动和放置任务。这种设计的价值在于，路点已经包含了可用于执行的空间信息，简单任务可以用较直接的控制策略接上它。与此同时，固定朝向也限定了它擅长的任务范围：需要翻转物体或精细调整姿态时，执行端还要承担更多工作。用局部路点帮助 VLA 生成动作第二种方式将路点接入 π0 这样的视觉语言动作模型。VLA 本来就会根据图像、指令和机器人自身状态生成动作。3DWay 再向它提供当前阶段附近的几个三维路点，相当于补充一段具体的空间目标。作者根据末端当前位置与路点的距离，选取局部路点窗口；默认窗口大小是 2。随着机器人运动，相关路点随执行进度推进，再与机器人状态一起输入 π0。论文在目标域微调阶段加入这一条件，使 π0 学会使用路点，而不是假定一个未经适配的 π0 能直接读懂新输入。[1，§3.5、§4.1]动作 = VLA（当前图像，机器人状态，语言指令，附近路点）这里的“自适应”指的是选择当前相关的路点。它让较长的空间路径与当下的动作生成衔接起来；如果物体位置突然改变，是否重新生成整条路径，则属于另一层规划问题。5 实验最有说服力的地方在少量示范论文分别检查了两件事：路点本身能否支持任务执行，以及把路点加入已有 VLA 后，能否改善少量示范条件下的泛化。区分这两组实验，才容易看清收益来自哪里。路点直接执行在什么任务上有效在 RLBench 中，作者选取 10 个对旋转不敏感的任务，分别测试已见和未见任务；未见设置排除了测试任务的示范。每个任务评估 3 轮，每轮 25 次。3DWay-TD 的未见任务平均成功率为 64.0%，π0.5 为 18.8%。这里要把“任务筛选”和“固定朝向执行”与结果一起看。[1，Table 1]表 1 原论文的主要平均成功率对照方法RLBench 已见RLBench 未见VLABench 平均π039.6%12.0%25.9%π0.561.5%18.8%31.3%3DWay-TD84.8%64.0%37.7%数据来源：论文 Table 1，PDF 第 10 页。仅摘录平均成功率；VLABench 一列为五个评估维度的平均，与 RLBench 分属不同测试设置。VLABench 的测试还加入了跨类别、常识、语义指令和未见纹理等变化。在 5 个任务、每任务 500 条训练示范的设置中，每任务每个评估条件测试 50 次，3DWay-TD 的平均成功率为 37.7%，比 π0.5 高 6.4 个百分点。不过语义指令这一列，3DWay-TD 为 24.3%，π0.5 为 25.8%。因此，更准确的结论是总体平均改善，而不是每一种语言能力都得到提升。图 4 不同场景和描述性指令下的路点预测。例如“天空颜色的球”需要先解析描述，再定位目标。这里展示的是预测可视化，任务成功率需结合定量实验判断。来源：论文 Fig. 4，PDF 第 11 页。每任务十条示范能带来多少改善我更关注 Table 2，因为它接近开发者会遇到的情形：换到一个新任务，手上没有成百上千条示范。作者在 RLBench 中选择开灯、抽积木、把刀放到砧板等 5 个任务，每任务只提供 10 条示范来微调 π0。表 2 3DWay 对少量示范下 π0 微调的影响π0 微调方式每任务示范数平均成功率标准微调1017.6%加入 3DWay / 生成器保持不变1038.1%加入 3DWay / 生成器也作少量示范微调1046.1%标准微调3031.2%标准微调5046.7%数据来源：论文 Table 2，PDF 第 12 页。第二、三行分别对应原表的生成器 zero-shot 和 few-shot；两行的 π0 都使用每任务 10 条示范微调。核对说明：原文 §4.3 标注为“+18.4%”和“+26.4%”，但按原表均值直接相减，zero-shot 为 38.1%－17.6%＝20.5 个百分点，few-shot 为 46.1%－17.6%＝28.5 个百分点。本文采用表内均值进行比较。同样是每任务 10 条示范，加入 3DWay 并适配生成器后，成功率从 17.6% 提高到 46.1%，按表格数值计算增加 28.5 个百分点。这个均值与标准微调使用每任务 50 条示范时的 46.7% 接近。对于目标任务示范较少的情况，明确的空间路点提供了有用的动作条件。这里节省的是目标任务适配所需的示范：从每任务 50 条降到 10 条。路点生成器此前已在约 13.4 万条轨迹上训练，π0 也经过预训练。因此，这个结果对开发者最直接的意义，是有机会用更少的新任务采集数据完成适配。真实机械臂上的改善能否保留真实机器人实验使用 AgileX PIPER 机械臂。作者为 5 个基础任务各采集 20 条示范，共 100 条；每个基础任务和扩展任务各测试 24 次。路点生成器保持原样，标准 π0 和增强 π0 则使用目标域数据进行适配。[1，§4.3]图 5 PIPER 机械臂上的实验结果。三组分别是基础任务、视觉泛化和语义描述；灰色为标准 π0，浅绿为 3DWay-TD，深绿为 3DWay 增强 π0。每组最右侧 Avg. 为平均成功率。来源：论文 Fig. 5 左半部分，PDF 第 13 页，裁切放大以便阅读。基础任务的平均成功率从标准 π0 的 21.7% 提高到增强后的 65.8%。换成未见物体等视觉泛化条件后，两者为 6.7% 和 55.0%；用描述性语言指代目标时，两者为 2.5% 和 51.7%。收益并没有只停留在仿真中的单一任务上。这些结果表明，空间路点能够帮助 π0 在少量示范下适配新任务，并改善所测条件下的视觉和语义泛化。论文主要与基础 VLA 比较，尚未给出多种轨迹方法在同一控制器下的横向结果。当前表示主要覆盖平移路点；继续处理物体旋转或动态场景时，还需要补充末端朝向建模与路径更新机制，同时保证相机标定的准确性。[1，§4.1、§5]6 对启元开发更有价值的是这层空间接口把视线放回启元 Q1 探索版，3DWay 提供了一个具体的开发思路：把相机画面、模型预测的空间目标和机器人运动状态放在一起观察。启元官网公布了探索版的 SDK、HDK、API 及关节级运控开放能力；官方下载中心同时提供 Q1 SDK、URDF 机器人模型和 PrimeConsole 开发工作台。[3][4]以公开的 Q1 SDK v1.0.0.0 为例，《接口说明.md》提供 CaptureJpegImage 单帧图像服务和 RTSP 视频流，自定义上肢关节控制话题以及关节状态反馈。这些能力为视觉模型接入机器人准备了图像、通信与控制通道，开发工作可以进一步集中在路点表示、坐标变换和动作适配之间的衔接。[4]一个合适的起点是离线可视化。先用准备好的多视角样例生成路点，把二维结果叠回各相机画面，再查看三角化后的路径。如果路线已经指向错误目标，就应检查指令理解或路点预测；如果二维结果合理、三维位置却偏移，则可以继续检查对应关系和标定。把中间结果显示出来，会比只观察最终动作更容易定位问题。推进到 Q1 上时，输入和输出各有一处需要补齐。当前 SDK 的 Q1 相机列表列出头部单目交互相机 head_monocular_centra，而 3DWay 需要多视角图像和相机内外参，因而还要准备合适的多视角采集与标定。控制侧公开的上肢接口接收关节目标，三维路点则需要先转换到机器人坐标系，再结合末端定义、逆运动学、关节限位与全身稳定性约束，形成该机体可以执行的动作。[1][4]需要说明的是，两种硬件的执行条件并不相同。论文实机验证采用带夹爪的 AgileX PIPER 机械臂，并使用固定俯视抓取等策略；启元 Q1 探索版的官方参数则为全身 22 自由度，其中双臂各 4 自由度。官网技术参数没有列明与论文机械臂等价的末端夹爪配置，论文成功率也不能直接视为 Q1 的实测结果。因此，现阶段更合理的验证顺序是：先检查多视角路点的空间一致性，再利用 URDF 与关节反馈核对上肢轨迹的可达性；如要进一步复现物体抓取，还需核实末端执行器、动作接口和稳定性约束。[1][3]Q1 URDF 和 PrimeConsole 提供了继续检查这些环节的入口：前者用于描述机器人结构，后者可查看相机视频、日志和关节运动仿真。可以先核对空间目标与关节运动的对应关系，再逐步连接实际任务。这也是开放平台对开发者的吸引力：研究中的表示方法，有了可以逐段接入和观察的硬件接口。[4]读完 3DWay，我更愿意把“模型该输出什么”作为机器人开发中的一个独立设计问题。一组定义清楚的空间路点，既保留了任务的运动意图，也给后续控制留下了适配不同机体的空间。对于准备在启元上继续探索的开发者，这种能看见、能检查、能接到控制系统上的中间表示，值得优先尝试。参考资料[1] Huang, Z., Li, Y., Zhang, C., et al. 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints. Computer Vision – ECCV 2026. LNCS 17068, pp. 20–38. 本文方法、实验数据与配图均依据该论文正式出版版本。https://doi.org/10.1007/978-3-032-37152-2_2[2] 3DWay 作者代码仓库。可从 README 继续查看训练、路点解析、三角化与可视化的实现入口。https://github.com/ziqin-h/3DWay[3] 启元 Q1 探索版产品页。SDK、HDK 与高阶运控等能力须结合页面版本对照及脚注理解。https://www.primebot.com/q1.html[4] 启元机器人开发者社区下载中心。本文具体接口依据当前提供的 Q1 SDK v1.0.0.0 内《接口说明.md》§2.3.2、§2.1.1.5 和 §2.1.2.1；同时参考 Q1 URDF 与 PrimeConsole 说明。https://dev.primebot.com/download[5] 启元官方 Q1 SDK 仓库与开发指南，可用于继续查阅公开接口及环境说明。https://gitcode.com/primebot/q1-sdkhttps://gitcode.com/primebot/q1-dev-guide文中论文图表来源均已逐图标注，相关版权归原作者及出版方所有。启元机器人开发者社区欢迎访问启元机器人开发者社区，进一步了解启元机器人开放 SDK、Skill 开发及应用实践，结合社区资料把文中的技术思路延伸到具体机器人场景中。hello，这里是 晓雨的笔记本。如果你喜欢我的文章，欢迎三连给我鼓励和支持：👍点赞 📁关注 💬评论，我会给大家带来更多有用有趣的文章。原文链接 👉 https://blog.csdn.net/WTYuong/article/details/168346944，⚡️更新更及时。欢迎大家点开下面名片，添加好友交流。
@TOC🌌你好！这里是 晓雨的笔记本在所有感兴趣的领域扩展知识，感谢你的陪伴与支持~👋 欢迎添加好友 is_yu_ei，不定期掉落福利资讯写在最前面版权声明：本文为原创，遵循 CC 4.0 BY-SA 协议。转载请注明出处。ECCV 2026 3DWay 论文解读让机器人“把球放进篮筐”，看起来只是一句简单指令。视觉语言模型可以找出球和篮筐，也能在图片上画出一条路线。可机械臂真正开始移动时，还要知道一个更具体的问题：夹爪应该抬到多高，经过哪几个空间位置，最后从哪里接近篮筐？ECCV 2026 论文 3DWay 给出了一种很清楚的处理办法：让视觉语言模型预测多个视角下相互对应的二维路点，再利用相机几何关系，把这些路点恢复到三维空间。得到的三维路点既能配合运动规划执行简单任务，也能作为额外条件，帮助视觉语言动作模型完成操作。[1]这篇论文值得细读的地方，在于它把“理解画面”和“控制动作”之间传递的信息具体化了。沿着这个问题往下看，也能更清楚地理解：像启元 Q1 探索版这样的开放机器人平台，可以怎样承接前沿模型的空间推理结果。论文信息：3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints。Huang 等，ECCV 2026，LNCS 17068，20–38 页；Springer 于 2026 年 10 月 3 日正式上线。[1]图 1 三种路点表示的差别。左侧二维路线存在深度歧义；中间直接利用深度图，也难以确定悬空路点；右侧通过多视角对应关系恢复空间位置。来源：论文 Fig. 1，PDF 第 2 页；中文说明为本文补充。1 图片上的路线还缺一个空间位置先看一个容易忽略的细节。图片上的一个像素，对应的是从相机出发的一条空间射线。沿着这条射线，可以有很多不同深度的点。因此，同一条二维路线，在现实中可能贴着桌面走，也可能从桌面上方经过。只看投影，机器人无法确定要执行哪一种运动。那么，加上一张深度图是不是就够了？如果要定位一个看得见的物体表面，深度图很有帮助。但机械臂的运动路径还包含大量悬空位置。例如先把球抬起来、移动到篮筐上方，再向下放。路径中间的路点不一定落在任何可见表面上。这时，直接读取该像素的深度，可能拿到的是后方桌面或背景物体的距离，而不是夹爪应该经过的位置。论文把这种从二维轨迹按深度反投影得到的表示称为 2.5D Waypoints。它指出的问题很具体：表面深度并不能自动补全一条悬空运动路径。[1，§3.2]所以，3DWay 要解决的是一件比“找对物体”更进一步的事：把整段运动中有意义的位置明确表达出来，让后续控制系统知道夹爪究竟要去哪里。2 先在多张图上找对应路点再恢复三维直接要求模型输出世界坐标系下的 x、y、z，会把相机视角变化、坐标变换和动作语义一起交给模型处理。3DWay 选择拆开这几件事。模型继续处理它熟悉的图像和文本，三维恢复则交给明确的几何计算。具体来说，输入是多个相机看到的 RGB 图像和同一条任务指令。经过微调的视觉语言模型，为每个视角输出一组二维路点。这里的“对应”很关键：第一张图里的第 i 个路点，与第二张图里的第 i 个路点，应当描述末端运动过程中的同一个三维位置。图 2 3DWay 的整体流程。模型生成多视角一致的二维路点，经三角化得到三维路点，再进入固定策略执行或 VLA 动作生成。来源：论文 Fig. 2，PDF 第 6 页。只要知道各相机的内参和外参，就可以从每个二维路点得到对应的空间射线，再通过三角化估计三维位置。内参描述相机如何成像，外参描述相机之间以及相机与世界坐标系之间的位置、朝向关系。论文的主要实验使用两台已经标定的相机。[1，§3.3、§4.1]二维对应路点 = VLM（多视角图像，语言指令）三维路点 = 三角化（二维对应路点，相机内参，相机外参）三角化在这里没有替模型理解任务。模型仍要判断抓哪个物体、往哪里放，以及路径需要经过哪些位置；几何计算负责把这些意图落实到同一个空间坐标系中。若不同视角的预测彼此矛盾，或相机标定有误，恢复出来的路点仍然会偏离目标。3 一致性来自同一条三维轨迹的监督看到这里，最值得追问的是：模型凭什么知道两张图里的点应该互相对应？答案藏在训练数据的制作顺序里。作者先根据机器人状态和末端模型计算工具中心点 TCP 的真实运动轨迹。TCP 可以理解为控制和描述末端运动时选定的参考点。原始轨迹通常很密，作者用 Ramer–Douglas–Peucker，也就是 RDP 算法，保留能表达路径形状的关键路点，再把同一组三维路点投影到各个相机视角。这样，每个视角的标签都来自同一段真实运动，路点之间天然保留对应关系。[1，§3.4]图 3 多视角一致标签的构造顺序。先简化三维末端轨迹，再将同一组路点投影到不同视角；各视角的标签因此描述同一段运动。来源：论文 Fig. 3，PDF 第 7 页。这个顺序会影响最后学到什么。若在两张图里分别选点，两边各自看起来都合理，却可能表示不同的动作阶段。后面的几何计算需要的是对应路点，而不是两条互不相关的二维路线。模型训练也保持了语言模型的基本形式：将二维坐标序列写成文本，用交叉熵目标学习输出。作者没有为此新增一个三维坐标回归头。默认骨干是 NVILA-15B，并比较了 8B 和 2B 版本。训练先在 RoboPoint 上改善像素级点预测，再使用 RLBench、DROID、RH20T 处理得到的机器人数据，覆盖约 290 个任务、13.4 万条轨迹。[1，§3.4、§4.1]多视角对应关系也有直接的实验支持。论文 Table 3 中，采用默认一致性训练时，未见 RLBench 任务的成功率为 64.0%；改成各视角独立监督、独立预测，最后再三角化，成功率降到 22.0%。这说明几何恢复之前的预测方式非常重要。8B 版本达到 62.8%，2B 版本为 50.1%，也提示开发者可以结合任务难度权衡模型规模。4 同一组三维路点可以接两类执行方式3DWay 输出的是简化的末端平移路点，并带有夹爪开合等状态信息。完整操作还涉及末端朝向、运动学约束以及接触过程。作者因此给出了两种使用路点的方式。[1，§3.5]用固定姿态完成简单操作第一种叫 3DWay-TD，TD 表示 Top-Down。它采用固定的从上向下抓取姿态，再结合路点运动规划和逆运动学，把空间目标转换成底层控制命令。这样可以完成一部分对旋转不敏感的抓取、移动和放置任务。这种设计的价值在于，路点已经包含了可用于执行的空间信息，简单任务可以用较直接的控制策略接上它。与此同时，固定朝向也限定了它擅长的任务范围：需要翻转物体或精细调整姿态时，执行端还要承担更多工作。用局部路点帮助 VLA 生成动作第二种方式将路点接入 π0 这样的视觉语言动作模型。VLA 本来就会根据图像、指令和机器人自身状态生成动作。3DWay 再向它提供当前阶段附近的几个三维路点，相当于补充一段具体的空间目标。作者根据末端当前位置与路点的距离，选取局部路点窗口；默认窗口大小是 2。随着机器人运动，相关路点随执行进度推进，再与机器人状态一起输入 π0。论文在目标域微调阶段加入这一条件，使 π0 学会使用路点，而不是假定一个未经适配的 π0 能直接读懂新输入。[1，§3.5、§4.1]动作 = VLA（当前图像，机器人状态，语言指令，附近路点）这里的“自适应”指的是选择当前相关的路点。它让较长的空间路径与当下的动作生成衔接起来；如果物体位置突然改变，是否重新生成整条路径，则属于另一层规划问题。5 实验最有说服力的地方在少量示范论文分别检查了两件事：路点本身能否支持任务执行，以及把路点加入已有 VLA 后，能否改善少量示范条件下的泛化。区分这两组实验，才容易看清收益来自哪里。路点直接执行在什么任务上有效在 RLBench 中，作者选取 10 个对旋转不敏感的任务，分别测试已见和未见任务；未见设置排除了测试任务的示范。每个任务评估 3 轮，每轮 25 次。3DWay-TD 的未见任务平均成功率为 64.0%，π0.5 为 18.8%。这里要把“任务筛选”和“固定朝向执行”与结果一起看。[1，Table 1]表 1 原论文的主要平均成功率对照方法RLBench 已见RLBench 未见VLABench 平均π039.6%12.0%25.9%π0.561.5%18.8%31.3%3DWay-TD84.8%64.0%37.7%数据来源：论文 Table 1，PDF 第 10 页。仅摘录平均成功率；VLABench 一列为五个评估维度的平均，与 RLBench 分属不同测试设置。VLABench 的测试还加入了跨类别、常识、语义指令和未见纹理等变化。在 5 个任务、每任务 500 条训练示范的设置中，每任务每个评估条件测试 50 次，3DWay-TD 的平均成功率为 37.7%，比 π0.5 高 6.4 个百分点。不过语义指令这一列，3DWay-TD 为 24.3%，π0.5 为 25.8%。因此，更准确的结论是总体平均改善，而不是每一种语言能力都得到提升。图 4 不同场景和描述性指令下的路点预测。例如“天空颜色的球”需要先解析描述，再定位目标。这里展示的是预测可视化，任务成功率需结合定量实验判断。来源：论文 Fig. 4，PDF 第 11 页。每任务十条示范能带来多少改善我更关注 Table 2，因为它接近开发者会遇到的情形：换到一个新任务，手上没有成百上千条示范。作者在 RLBench 中选择开灯、抽积木、把刀放到砧板等 5 个任务，每任务只提供 10 条示范来微调 π0。表 2 3DWay 对少量示范下 π0 微调的影响π0 微调方式每任务示范数平均成功率标准微调1017.6%加入 3DWay / 生成器保持不变1038.1%加入 3DWay / 生成器也作少量示范微调1046.1%标准微调3031.2%标准微调5046.7%数据来源：论文 Table 2，PDF 第 12 页。第二、三行分别对应原表的生成器 zero-shot 和 few-shot；两行的 π0 都使用每任务 10 条示范微调。核对说明：原文 §4.3 标注为“+18.4%”和“+26.4%”，但按原表均值直接相减，zero-shot 为 38.1%－17.6%＝20.5 个百分点，few-shot 为 46.1%－17.6%＝28.5 个百分点。本文采用表内均值进行比较。同样是每任务 10 条示范，加入 3DWay 并适配生成器后，成功率从 17.6% 提高到 46.1%，按表格数值计算增加 28.5 个百分点。这个均值与标准微调使用每任务 50 条示范时的 46.7% 接近。对于目标任务示范较少的情况，明确的空间路点提供了有用的动作条件。这里节省的是目标任务适配所需的示范：从每任务 50 条降到 10 条。路点生成器此前已在约 13.4 万条轨迹上训练，π0 也经过预训练。因此，这个结果对开发者最直接的意义，是有机会用更少的新任务采集数据完成适配。真实机械臂上的改善能否保留真实机器人实验使用 AgileX PIPER 机械臂。作者为 5 个基础任务各采集 20 条示范，共 100 条；每个基础任务和扩展任务各测试 24 次。路点生成器保持原样，标准 π0 和增强 π0 则使用目标域数据进行适配。[1，§4.3]图 5 PIPER 机械臂上的实验结果。三组分别是基础任务、视觉泛化和语义描述；灰色为标准 π0，浅绿为 3DWay-TD，深绿为 3DWay 增强 π0。每组最右侧 Avg. 为平均成功率。来源：论文 Fig. 5 左半部分，PDF 第 13 页，裁切放大以便阅读。基础任务的平均成功率从标准 π0 的 21.7% 提高到增强后的 65.8%。换成未见物体等视觉泛化条件后，两者为 6.7% 和 55.0%；用描述性语言指代目标时，两者为 2.5% 和 51.7%。收益并没有只停留在仿真中的单一任务上。这些结果表明，空间路点能够帮助 π0 在少量示范下适配新任务，并改善所测条件下的视觉和语义泛化。论文主要与基础 VLA 比较，尚未给出多种轨迹方法在同一控制器下的横向结果。当前表示主要覆盖平移路点；继续处理物体旋转或动态场景时，还需要补充末端朝向建模与路径更新机制，同时保证相机标定的准确性。[1，§4.1、§5]6 对启元开发更有价值的是这层空间接口把视线放回启元 Q1 探索版，3DWay 提供了一个具体的开发思路：把相机画面、模型预测的空间目标和机器人运动状态放在一起观察。启元官网公布了探索版的 SDK、HDK、API 及关节级运控开放能力；官方下载中心同时提供 Q1 SDK、URDF 机器人模型和 PrimeConsole 开发工作台。[3][4]以公开的 Q1 SDK v1.0.0.0 为例，《接口说明.md》提供 CaptureJpegImage 单帧图像服务和 RTSP 视频流，自定义上肢关节控制话题以及关节状态反馈。这些能力为视觉模型接入机器人准备了图像、通信与控制通道，开发工作可以进一步集中在路点表示、坐标变换和动作适配之间的衔接。[4]一个合适的起点是离线可视化。先用准备好的多视角样例生成路点，把二维结果叠回各相机画面，再查看三角化后的路径。如果路线已经指向错误目标，就应检查指令理解或路点预测；如果二维结果合理、三维位置却偏移，则可以继续检查对应关系和标定。把中间结果显示出来，会比只观察最终动作更容易定位问题。推进到 Q1 上时，输入和输出各有一处需要补齐。当前 SDK 的 Q1 相机列表列出头部单目交互相机 head_monocular_centra，而 3DWay 需要多视角图像和相机内外参，因而还要准备合适的多视角采集与标定。控制侧公开的上肢接口接收关节目标，三维路点则需要先转换到机器人坐标系，再结合末端定义、逆运动学、关节限位与全身稳定性约束，形成该机体可以执行的动作。[1][4]需要说明的是，两种硬件的执行条件并不相同。论文实机验证采用带夹爪的 AgileX PIPER 机械臂，并使用固定俯视抓取等策略；启元 Q1 探索版的官方参数则为全身 22 自由度，其中双臂各 4 自由度。官网技术参数没有列明与论文机械臂等价的末端夹爪配置，论文成功率也不能直接视为 Q1 的实测结果。因此，现阶段更合理的验证顺序是：先检查多视角路点的空间一致性，再利用 URDF 与关节反馈核对上肢轨迹的可达性；如要进一步复现物体抓取，还需核实末端执行器、动作接口和稳定性约束。[1][3]Q1 URDF 和 PrimeConsole 提供了继续检查这些环节的入口：前者用于描述机器人结构，后者可查看相机视频、日志和关节运动仿真。可以先核对空间目标与关节运动的对应关系，再逐步连接实际任务。这也是开放平台对开发者的吸引力：研究中的表示方法，有了可以逐段接入和观察的硬件接口。[4]读完 3DWay，我更愿意把“模型该输出什么”作为机器人开发中的一个独立设计问题。一组定义清楚的空间路点，既保留了任务的运动意图，也给后续控制留下了适配不同机体的空间。对于准备在启元上继续探索的开发者，这种能看见、能检查、能接到控制系统上的中间表示，值得优先尝试。参考资料[1] Huang, Z., Li, Y., Zhang, C., et al. 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints. Computer Vision – ECCV 2026. LNCS 17068, pp. 20–38. 本文方法、实验数据与配图均依据该论文正式出版版本。https://doi.org/10.1007/978-3-032-37152-2_2[2] 3DWay 作者代码仓库。可从 README 继续查看训练、路点解析、三角化与可视化的实现入口。https://github.com/ziqin-h/3DWay[3] 启元 Q1 探索版产品页。SDK、HDK 与高阶运控等能力须结合页面版本对照及脚注理解。https://www.primebot.com/q1.html[4] 启元机器人开发者社区下载中心。本文具体接口依据当前提供的 Q1 SDK v1.0.0.0 内《接口说明.md》§2.3.2、§2.1.1.5 和 §2.1.2.1；同时参考 Q1 URDF 与 PrimeConsole 说明。https://dev.primebot.com/download[5] 启元官方 Q1 SDK 仓库与开发指南，可用于继续查阅公开接口及环境说明。https://gitcode.com/primebot/q1-sdkhttps://gitcode.com/primebot/q1-dev-guide文中论文图表来源均已逐图标注，相关版权归原作者及出版方所有。启元机器人开发者社区欢迎访问启元机器人开发者社区，进一步了解启元机器人开放 SDK、Skill 开发及应用实践，结合社区资料把文中的技术思路延伸到具体机器人场景中。hello，这里是 晓雨的笔记本。如果你喜欢我的文章，欢迎三连给我鼓励和支持：👍点赞 📁关注 💬评论，我会给大家带来更多有用有趣的文章。原文链接 👉 https://blog.csdn.net/WTYuong/article/details/168346944，⚡️更新更及时。欢迎大家点开下面名片，添加好友交流。