前言我司q4的几个侧重点：在深圳手搓人形世界模型及WAM叠衣服继续双足全身vla/WAM继续强化我司「插拔/装配、搬运/分拣」垂直模型本点中的“插拔/装配”，涉及RSI的落地/实践不断强化RL运控实力故持续欢迎敢闯、敢干的年轻人，随我们每周不断更强，可base深圳(偏手搓硬件，欢迎私我 加入)、长沙(偏垂直大脑)也正因为要手搓人形『明年起，我们就会带着《七月自己造》的『先是小人形，后是轮臂/机械臂』，混迹各大开发者中了，期待与广大开发者 不断创造一系列奇迹』，故近期一直在研究各种开源人形平台，以集众所长 改进自我比如本文要介绍的斯坦福ToddlerBot0.56 m、3.4 kg、30 个主动自由度(单臂 7、单腿 6、颈 2、腰 2)，全身 3D 打印 + 市售电机，BOM 约 6000 美元（90% 花在 Jetson 和 Dynamixel 电机上）最大的卖点是「为机器学习而生」：自带高保真数字孪生、系统辨识流程、强化学习环境、全身遥操作和模仿学习部署代码，论文里演示了行走、推物、双臂操作的 zero-shot sim-to-real第一部分 ToddlerBot: Open-Source ML-CompatibleHumanoid Platform for Loco-Manipulation1.1 引言与相关工作1.1.1 引言传统机器人设计通常优先考虑执行器的力量、传感器的精度以及机械结构的精准度。虽然这些特性对于在真实环境中部署机器人至关重要，但在满足机器人研究的需求方面却有所不足在研究场景中，可负担性、快速可维修性，以及没有任何“黑盒子”的全栈可控性，对于加速创新、简化调试和实现对整体系统的完全理解都至关重要此外，传统的机器人平台往往与由具身数据驱动的现代机器学习（ML）范式不相契合一个与ML 兼容的机器人平台必须具备天然的能力，能够在仿真环境和真实世界中同时收集观测数据与动作数据，因为这两类互补的数据源是实现可扩展策略学习的关键july注解：当然了，毕竟这个工作是25年发布了，如今一年多过去，机器人本身早已有了巨大变化为应对这些挑战，来自斯坦福的研究者推出 ToddlerBot——一个面向机器人与人工智能研究社区的开源类人机器人平台（见图 1）其paper地址为：ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation其项目地址为：toddlerbot.github.io其github地址为：github.com/hshi74/toddlerbot具体而言其专门用于促进在行走与操作技能上的策略学习。ToddlerBot 被设计成类似缩小版人形，以尽量降低制造与维护成本以及对专业技术的依赖，从而降低研究人员构建自给自足、完全透明且不严重依赖第三方组件的类人机器人的门槛尽管 ToddlerBot 不具备与全尺寸类人机器人相同的载荷能力，但它在上肢和下肢所提供的自由度，在当时(25年)都超过现有任何小型类人机器人——足以支持在操作与运动控制方面的前沿研究受近期四足机器人 [1,2] 和机器人机械臂 [3,4,5,6,7] 的启发，ToddlerBot 在设计时就充分考虑了与机器学习（ML）的兼容性研究人员可以利用 ToddlerBot 不仅执行策略，还可以将其作为一个稳定可靠的数据采集平台它通过即插即用的零点标定流程以及可迁移的电机系统辨识（sysID）结果，实现高质量的仿真数据采集，从而保证高保真度的数字孪生且作者通过关键帧插值动作（例如俯卧撑和引体向上）以及强化学习（RL）策略（例如行走）来验证仿真数据的质量，展示了零样本仿真到现实（sim-to-real）迁移的能力ToddlerBot 还可以获取可扩展的真实世界数据。即设计了一个直观的远程操作接口，可以同时控制 ToddlerBot 的上肢和下肢，以采集全身操作数据并开发高效的视觉运动控制策略此外，ToddlerBot体积小、重量轻（0.56 m，3.4 kg），在真实环境中具有安全且易于操作的优势此外，除与机器学习的兼容性之外，ToddlerBot 的设计还着重强调能力和可复现性。类人机器人由于在解剖结构上与人体相似，有潜力利用大规模的人类示范数据。基于这一点，ToddlerBot 采用拟人化设计，具备 30 个有效自由度（不包括末端执行器）。即作者通过臂展、负载能力、耐久性测试，以及多种开环和闭环的行走—操作（loco-manipulation）任务来展示 ToddlerBot 的能力同时，其还有着易复现性的特点，即其可通过低成本、开源设计和易于获取的硬件组件来实现ToddlerBot 采用市售电机、整机完全依靠 3D 打印制造，总成本低于 6000 美元（其中 90% 的成本来自电机和计算机）且作者公开数字孪生、学习算法、硬件设计以及完整的教程，确保只需具备基本软硬件知识、无需专用制造或维修设备，就可以在家中搭建 ToddlerBot且为验证可复现性，作者邀请了一名此前未参与本项目的计算机科学专业学生，独立组装了另一台 ToddlerBot，并在两台机器人之间成功实现了行走-操作策略的零样本迁移此外，作者宣称，他们在一周内收到了来自全球多支团队关于ToddlerBot 独立复现成功的五份报告1.1.2 相关工作首先，近年来，已经研发出大量人形机器人全尺寸工业人形机器人包括 Boston Dynamics Atlas[8]、Cassie [26]、Digit [11]、Figure [9]、Tesla Optimus [10]、Unitree H1 [12] 和Fourier GR1 [13]半尺寸的人形机器人包括 Booster T1 [14]、Berkeley Humanoid Lite[20] 和 Unitree G1 [15]小尺寸的人形机器人包括 NAO H25 [22]、Robotis OP3 [23] 和K-Scale Zeroth [24]总体而言，它们展示了多样化的设计与能力。另一方面，来自研究机构的人形机器人，包括 Berkeley Humanoid [17]、BRUCE [21]、Duke Humanoid [19]、iCub [16] 和 MIT Humanoid [18]，也在不同优化侧重点下探索人形机器人设计空间如表1 所示，作者选取了九项指标来对比不同的人形机器人平台其次，在设计人形机器人时，尺寸和重量是关键因素对于操作任务而言全尺寸人形机器人能够与人类尺度的物体兼容，而缩小尺寸的机器人在操控这些物体的能力上会受到限制不过，如果为其配备与之尺寸相匹配的物体，缩小尺寸的人形机器人仍然可以为操作研究提供价值 [20]此外，动态的全身控制技术很有可能可以迁移应用到更大型的人形机器人上在运动能力方面全尺寸和小尺寸人形机器人提供的研究价值相近 [27]全尺寸人形机器人通常需要一个规模可观的工程团队来负责运行和维护，还需要如龙门起重机等专门设施以保障安全相比之下，小尺寸人形机器人在成本上更低，更易于制造和维修，也更加安全 [28,27,29]。它们可以由单人部署，并可在受限环境中仅借助一台笔记本电脑进行操作最后，对活动自由度（DoF）数量的设计对实现类人运动至关重要尽管人体肌肉骨骼系统包含600 多块肌肉，但其主要的功能性运动可以用 32 个转动关节来近似表示 [16,30]：每条腿6 个自由度、每条手臂 7 个自由度、腰部 3 个自由度、颈部 3 个自由度（不计手指和脚趾）因此，人形机器人在设计时会尽量将自由度数量做到尽可能接近 32公众对微型人形机器人性能有限的印象，主要源于其自由度数量较少。这种限制往往是由空间受限所导致，空间不足以集成大量自由度而作者宣称，他们在 ToddlerBot 的设计中，已经成功解决了这一问题为了对该系统的能力进行定性评估，作者考察了该人形机器人在操作任务和运动任务上的执行能力二者(操作和运动)的结合尤为引人注目，因为这为全身控制相关研究打开了新的空间[31,32,33,34,35]此外，某些动作（例如俯卧撑、引体向上以及侧手翻）需要手臂和腿部的协同配合除了在物理能力上的优势之外，ToddlerBot 在算力方面也达到了同级最优。机载 CUDA 加速器支持并行策略推理，从而同时满足视觉与运动控制能力大规模仿真数据采集已被证明对运动学习十分有效 [36,37,38]，而真实世界数据采集则在操控方面更具潜力 [39,40,41]因此，为了与 beML 兼容，人形研究平台应当能够在这两种世界(仿真与真实)中都方便地进行数据采集此外，开源和低成本对于他人进行复现至关重要。缺少这些特性，该领域的研究将仍然局限于具有专业技术和充裕资源的少数群体总之，作者认为，在完全不牺牲功能性的前提下，ToddlerBot 作为近期人形研究平台中唯一完全开源且最易获取的系统而脱颖而出1.2 系统设计人形机器人在设计空间上极其广泛；ToddlerBot 的核心设计原则将可复现性视为一个严格约束，并将能力与对机器学习（ML）的兼容性作为关键设计目标1.2.1 可复现性——一个严格约束与大多数以往工作不同，作者将可复现性视为一个“硬约束”，因为如果他人无法复现，该人形平台就毫无价值故作者将可复现性定义为：单个个体在家中、无需专用设备即可复刻该机器人系统的能力。由于易获取且周转时间短，3D 打印已成为复现开源硬件系统的一种常见方式 [2,5,4]尽管如此，要保证打印塑料部件具有足够的强度和精度仍然具有挑战性故作者在附录 8.1 中讨论了选择 3D 打印的理由。对于电机和轴承等性能关键部件，我们仅使用现成的标准化零件ToddlerBot 的物料清单（BOM）总成本为 6,000 美元，其中 90% 花费在计算机（NVIDIA Jetson）和电机（Robotis Dynamixel）上。作者在附录 8.2 中详细说明了设计考量如原论文附录8.1 3D打印所示当与微型部件结合使用时，3D 打印是一种经过深思熟虑的设计选择，而不仅仅是节省成本的手段由Euler-Bernoulli 梁弯曲理论进行的一个快速推导表明，在相同材料强度下，ToddlerBot 的较小结构会经历小得多的相对挠度其中δ为挠度，P 为端部的点载荷，E 为材料弹性模量，L 为特征长度，而为截面二次矩作者估计，他们的微型（更小的L）3D 打印部件（更小的E）提供了与全尺寸铝制部件相当的强度。使用金属部件只会在收益有限的情况下降低可重复性作者的齿轮经过精心调校，以实现最小回程间隙、精确传动和电机的直接集成，而现成零件无法达到这一点且还引入了多种轴承，以减少动力传动部件中的摩擦。经过在两台ToddlerBot 样机上超过一年的测试，作者有信心ToddlerBot 的可靠性可与商用平台相匹敌如原论文附录8.2 装配与维护的便捷性所示装配和维护的便捷性至关重要，但也很难优化，因为这需要在脑中对装配和拆卸过程进行模拟在早期迭代中，作者显式地将减少螺丝种类和确保工具可无阻碍接近作为优化目标，从而为螺丝刀提供了清晰的装配方向且作者还优先采用模块化设计，使各个部件可以独立更换。这些考虑显著提高了可维护性，并简化了维修过程随着作者在这一平台上持续开展研究，作者已经解决了若干可靠性问题，包括电机过热和连杆耐久性等。我们将持续发布修复和升级，以进一步改进这款人形机器人1.2.2 能力——设计目标首先，对于机电一体化设计如图 2 所示，ToddlerBot 复现了成年人体结构，以最大化主动自由度（DoF）的数量，从而实现类人的运动形态和多样化的行走-操作一体化任务每条手臂具有 7 个自由度(上图中的数字1-7所示)，采用正齿轮进行轴向对齐传动，以确保高功能性和良好的可达性每条腿具有 6 个自由度(上图中的数字8-13所示)髋关节 3 个自由度，用于实现大范围运动和优化步态；膝关节采用并联连杆机构以减少转动惯量；踝关节 2 个自由度，用于提升行走稳定性颈部具有 2个自由度，在俯仰关节处采用并联连杆实现紧凑设计，从而支持富有表现力的动作和完整的头部机动性腰部同样具有 2 个自由度，使用耦合伞齿轮在有限空间预算下高效传递来自两个电机的动力，实现偏航与横滚驱动，从而支持全身协调控制此外，ToddlerBot提供两种末端执行器设计：一种是用于抓取的平行夹爪夹持器另一种是用于需要类似手掌姿态任务的柔顺手掌。这两种末端执行器设计可以在两分钟内快速互换对于每个有源自由度，作者通过优化几何结构以避免自碰撞来最大化其运动范围（见附录 8.3）为了解决空间受限、轴线对齐以及减小惯量等问题，作者在设计中集成了三种传动机构的组合：直齿轮、联动伞齿轮和并联连杆机构（见附录 8.4）其次，对于传感器、计算与供电为增强 ToddlerBot 的能力，作者集成了一整套全面的传感器和计算组件且配备了两个鱼眼摄像头，以扩大视野范围在胸部安装了一枚惯性测量单元（IMU），用于提供状态反馈。扬声器和麦克风用于实现与人类及其他机器人之间的通信作者也在补充视频中提供了两个 ToddlerBot 实例之间对话的示例机载计算由 Jetson Orin NX 16GB 提供动力，支持机器学习模型的实时推理基于作者提出的功率度量指标（附录 8.5）选择了Dynamixel 电机，原因在于其可靠性和易获取性（附录 8.6）电源管理由一块定制设计的电源分配板负责，该电源板可以方便地在线订购（附录 8.7）1.2.3 与机器学习的兼容性——设计目标首先，对于数字孪生高保真数字孪生是实现高质量仿真数据采集和零样本仿真到现实（sim-to-real）迁移的基础作者将数字孪生的开发划分为两个关键部分：用于确保正确运动学的零点标定，以及用于获得精确动力学的电机系统辨识由于 Dynamixel 电机不具备绝对零点，因此在每次重新组装后需要一种可靠的方法进行标定作者设计了一套标定装置，可以在一分钟内将机器人对齐到期望的零点姿态，定义为双臂与身体平行站立（见附录 8.8）为了实现精确的系统辨识（sysID），作者设计了电机测试台以及自动化测试流程（见附录 8.9），用于测量动力学参数的范围接下来，作者通过给执行器发送啁啾信号 [27]，收集执行器位置跟踪数据，并利用位置跟踪结果，通过优化拟合一个驱动模型 [42]，具体细节见附录 8.10作者宣称，通过跨不同实例的测试表明，相同型号的 Dynamixel 电机在动力学参数上几乎一致这一点也通过策略在第二台 ToddlerBot 实例上无需额外系统辨识即可直接部署并成功工作得到了验证其次，对于遥操作装置受先前工作 [4,43] 启发，作者为 ToddlerBot 设计并开发了第二套上半身，作为“主端”手臂，用于采集高质量的真实世界数据在末端执行器的抓取区域嵌入了两个力敏电阻（FSR），用于检测来自操作员的压缩力，从而根据力输入控制夹爪的运动且作者使用一台手持游戏电脑（Steam Deck 或 ROG Ally X）来控制其他身体部位。摇杆发送速度指令以实现行走、转向和下蹲按键用于触发预编程或已训练的策略，并提供对颈部和腰部运动的直接控制。详细的映射关系见附录 8.111.3 系统控制1.3.1 关键帧动画关键帧动画在角色动画中被广泛采用，但它只提供运动学数据，并不能保证动态可行性[44]为了解决这一问题，作者开发了一款将 MuJoCo [45] 与图形界面（GUI）集成的工具，使得可以对关键帧运动轨迹进行实时调参和可行性验证。结合高保真数字孪生，作者能够高效生成诸如拥抱、俯卧撑、引体向上等开环轨迹，并可在真实环境中以零样本方式直接执行1.3.2 强化学习在行走任务中，作者训练一个强化学习（RL）策略，该策略根据可观测状态输出，作为关节位置设定点供比例-微分（PD）控制器使用其中为相位信号，表示速度指令，表示相对于中性姿态的位置偏移，是前一时间步的动作，表示躯干朝向，为躯干的角速度在PPO 策略训练过程中[46]，环境生成下一状态，更新相位信号，并返回一个标量奖励按照标准做法[42]，奖励被分解为：在这些组成部分中鼓励对参考行走动作的精确模仿，该参考行走动作是使用闭式ZMP（零力矩点）解[47] 生成的结合了理想行走动作的启发式规则，对关节力矩进行惩罚，并促进动作的平滑性，以尽量减少不必要的运动生存奖励在训练过程中防止情节过早终止。更多细节见附录8.121.3.3 模仿学习在真实世界的数据收集中，由人工操作员引导主机器人（leader）的手臂进行远程操控，从而控制从机器人（follower）的手臂；同时通过手持游戏控制器上的摇杆和按键来控制躯干与步态等身体运动在数据采集过程中，当上半身根据主机器人手臂的位姿指令进行跟踪时，ToddlerBot 的下半身采用两层 PD 控制器主动维持平衡第一层是质心（Center of Mass, CoM）PD 控制器，用于保持质心接近支撑多边形的中心第一层用于处理手臂运动引起的质心偏移第二层是躯干俯仰 PD 控制器，利用 IMU 读数确保躯干保持直立第二层在搬运重物时提供补偿通过这样的设置，只需 20 分钟即可为双臂操作和全身操作任务分别采集 60 条轨迹。主机器人手臂的电机位置被记录为动作，而从机器人电机位置以及其摄像头采集的RGB 图像则被记录为观测。作者在该数据集上训练一个 diffusion policy [48]，更多细节见附录 8.131.4 实验1.4.1 对于臂展、负载和续航能力为了评估 ToddlerBot 的臂展，作者通过远程操作让其在保持平衡的同时，使用柔顺掌式夹爪去拥抱一个大型物体。且作者展示了 ToddlerBot 可以抓取最大尺寸为 27×24×31 cm³ 的物体，大约是其躯干体积的 14 倍该负载测试评估上半身的举重能力以及下半身保持平衡的能力。ToddlerBot 成功举起最高1484 g，占其总重量（3484 g）的 40%。为此，为消除摩擦效应，作者在夹爪上使用3D打印的杯状结构以实现牢固锁定。然后逐渐向该杯体中增加螺丝，直到 ToddlerBot 倒下结果如图3左侧所示在耐力测试中，ToddlerBot 从满电电池开始，一边原地踏步一边运行行走强化学习（RL）策略ToddlerBot 创下了最长连续运行 19 分钟而不摔倒的记录。随着时间推移，电机温度不断升高，逐渐将其推离策略的训练分布，导致摔倒变得更加频繁ToddlerBot 最多可以承受 7 次摔倒而不会损坏结构，但即便损坏，维修也非常迅速——只需 21 分钟的 3D 打印时间和 14 分钟的组装时间，其中包括拆除受损部件、安装替换件以及执行零点标定1.4.2 对于俯卧撑、引体向上、全向行走为展示富有表现力且动态丰富的动作，我们在关键帧软件中编排了俯卧撑和引体向上的动作，并进行零样本的仿真到真实（sim-to-real）迁移（图4）在引体向上任务中，作者使用 AprilTag 帮助 ToddlerBot 定位横杆。这两个任务都要求机器人具有强健的肢体力量、上下肢力量的平衡分配以及精确的动作协调，尤其是在ToddlerBot 完成俯卧撑后从平板支撑姿态过渡到站立姿态，以及在完成引体向上后松开横杆并安全落地的过程中这些开环迁移仅依赖于在仿真中设计的一条运动轨迹，凸显了数字孪生模型的高保真度全向行走为了展示 ToddlerBot 的运动能力，作者训练了强化学习（RL）行走策略，使其以预定义的速度曲线跟随一个方形轨迹图 3 右侧给出了结果并使用动作捕捉系统采集了真实环境中的轨迹数据。由于 RL 策略本身的局限性，仿真和真实环境中的轨迹都与指令存在偏差，主要原因在于学习到的行走策略难以实现原地转向，进而导致平移偏移然而，仿真到真实（sim-to-real）的误差明显小于整体跟踪误差，这表明实现了成功的零样本迁移。此外，我们报告的位置跟踪误差方差为 0.018 m，体现出良好的重复性（更多细节见附录 8.14）1.4.3 对于基于视觉的操作作者展示了 ToddlerBot 在执行双手操作和全身操作方面的能力，将章鱼玩具从桌面以及固定到一辆小车上这两个任务都使用基于 RGB 的 diffusion policy [48]，并各自采用了 60 条示范进行训练在 20 次测试试验中，作者在双臂操作任务上达到了 90%的成功率，在全身操作任务上达到了 75% 的成功率且作者结合使用开环动作和闭环策略，以提升数据采集效率在双臂任务中，躯干旋转和释放的动作是开环控制，而在全身操作中，下跪动作是开环控制ToddlerBot 机载计算平台运行参数量约为3 亿的 diffusion policy，延迟约为 100 ms，从而支持实时运行。结果如图 4 所示1.4.4 对于ML兼容性和可复现性技能链式组合作者测试了 ToddlerBot 在推小车任务中将行走-操作技能与推车技能进行组合的能力。结果见附录 8.15为推动小车，ToddlerBot 首先执行扩散策略以抓住扶手，并在保持该姿态的同时切换到强化学习（RL）策略向前行走且为在保持抓握的前提下实现行走，作者在强化学习训练过程中，从抓握策略的训练数据（60 条演示）中对机器人的末端姿态进行采样对于可复现性为验证硬件的可复现性，作者招募了一名没有任何硬件经验的计算机科学专业学生，让其仅依靠开源的装配手册和视频独立组装第二台 ToddlerBot该学生在三天内完成了装配，其中包含 3D 打印所需的时间开源社区也已有多次成功复现 ToddlerBot 的报告，其中大多数在一周内完成（见附录 8.16）此外，在策略可复现性方面，作者将基于第一台机器人采集数据训练得到的操作策略，直接运行在第二台机器人上，在 20 次试验中同样达到了 90% 的成功率。且作者宣称，他们也成功地在两台机器人之间迁移了用于行走的强化学习（RL）策略此外，为了进一步展示两台 ToddlerBot 在性能上的等价性，作者让它们协同完成一次长时序的玩具整理任务，如图 5 所示1.5 结论、局限性与未来工作1.5.1 结论总之，作者宣称，他们通过一系列测试和行走-操作任务表明，ToddlerBot 具备与机器学习兼容、功能强大且结果可复现等特性且ToddlerBot 的能力不仅限于运动控制，还支持全身操作、角色动画、人机交互以及多种机器学习应用，使其成为一个多用途的研究平台为弥合从仿真到真实环境的差距，更构建了一套完整的系统辨识（sysID）流程，用于创建高保真数字孪生，并配套开发了全身遥操作系统以采集行走-操作数据作者认为，作为一个完全开源的平台，ToddlerBot 使研究者能够探索新的研究方向，并促进整个社区的开放协作1.5.2 局限性与未来工作对于局限性ToddlerBot 在执行更为敏捷的任务时，其性能受制于现成电机的最高转速、最大扭矩以及通信速度如果有更高性能的电机可供选择，其表现仍有提升空间。ToddlerBot并非以实现超人能力为目标，而是更接近于在行走操控（loco-manipulation）任务上达到普通人类的平均水平此外，当前的驱动模型没有考虑电机温度，在接近性能极限时其精度会下降。其微型尺度限制了与人类尺度物体的交互，不过只要使用合适尺寸的物体，这一限制并不会妨碍研究与金属外壳相比，3D 打印部件在冲击事件后更容易损坏，尽管 3D 打印本身较为快速，维修仍然需要花费时间对于未来工作为克服这些局限性，作者计划开发定制的通信板，以提高控制频率，并改进驱动模型，在电机发热时也能最大化可用工作空间作者将优化 ToddlerBot 的结构设计，以提升整体结构强度，因为作者认为设计本身比材料选择对性能的影响更大且作者还希望提升传感能力，包括用于深度感知的双目视觉、用于改进状态估计的额外 IMU，以及用于获得更丰富操作反馈的触觉传感器// 待更
前言我司q4的几个侧重点：在深圳手搓人形世界模型及WAM叠衣服继续双足全身vla/WAM继续强化我司「插拔/装配、搬运/分拣」垂直模型本点中的“插拔/装配”，涉及RSI的落地/实践不断强化RL运控实力故持续欢迎敢闯、敢干的年轻人，随我们每周不断更强，可base深圳(偏手搓硬件，欢迎私我 加入)、长沙(偏垂直大脑)也正因为要手搓人形『明年起，我们就会带着《七月自己造》的『先是小人形，后是轮臂/机械臂』，混迹各大开发者中了，期待与广大开发者 不断创造一系列奇迹』，故近期一直在研究各种开源人形平台，以集众所长 改进自我比如本文要介绍的斯坦福ToddlerBot0.56 m、3.4 kg、30 个主动自由度(单臂 7、单腿 6、颈 2、腰 2)，全身 3D 打印 + 市售电机，BOM 约 6000 美元（90% 花在 Jetson 和 Dynamixel 电机上）最大的卖点是「为机器学习而生」：自带高保真数字孪生、系统辨识流程、强化学习环境、全身遥操作和模仿学习部署代码，论文里演示了行走、推物、双臂操作的 zero-shot sim-to-real第一部分 ToddlerBot: Open-Source ML-CompatibleHumanoid Platform for Loco-Manipulation1.1 引言与相关工作1.1.1 引言传统机器人设计通常优先考虑执行器的力量、传感器的精度以及机械结构的精准度。虽然这些特性对于在真实环境中部署机器人至关重要，但在满足机器人研究的需求方面却有所不足在研究场景中，可负担性、快速可维修性，以及没有任何“黑盒子”的全栈可控性，对于加速创新、简化调试和实现对整体系统的完全理解都至关重要此外，传统的机器人平台往往与由具身数据驱动的现代机器学习（ML）范式不相契合一个与ML 兼容的机器人平台必须具备天然的能力，能够在仿真环境和真实世界中同时收集观测数据与动作数据，因为这两类互补的数据源是实现可扩展策略学习的关键july注解：当然了，毕竟这个工作是25年发布了，如今一年多过去，机器人本身早已有了巨大变化为应对这些挑战，来自斯坦福的研究者推出 ToddlerBot——一个面向机器人与人工智能研究社区的开源类人机器人平台（见图 1）其paper地址为：ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation其项目地址为：toddlerbot.github.io其github地址为：github.com/hshi74/toddlerbot具体而言其专门用于促进在行走与操作技能上的策略学习。ToddlerBot 被设计成类似缩小版人形，以尽量降低制造与维护成本以及对专业技术的依赖，从而降低研究人员构建自给自足、完全透明且不严重依赖第三方组件的类人机器人的门槛尽管 ToddlerBot 不具备与全尺寸类人机器人相同的载荷能力，但它在上肢和下肢所提供的自由度，在当时(25年)都超过现有任何小型类人机器人——足以支持在操作与运动控制方面的前沿研究受近期四足机器人 [1,2] 和机器人机械臂 [3,4,5,6,7] 的启发，ToddlerBot 在设计时就充分考虑了与机器学习（ML）的兼容性研究人员可以利用 ToddlerBot 不仅执行策略，还可以将其作为一个稳定可靠的数据采集平台它通过即插即用的零点标定流程以及可迁移的电机系统辨识（sysID）结果，实现高质量的仿真数据采集，从而保证高保真度的数字孪生且作者通过关键帧插值动作（例如俯卧撑和引体向上）以及强化学习（RL）策略（例如行走）来验证仿真数据的质量，展示了零样本仿真到现实（sim-to-real）迁移的能力ToddlerBot 还可以获取可扩展的真实世界数据。即设计了一个直观的远程操作接口，可以同时控制 ToddlerBot 的上肢和下肢，以采集全身操作数据并开发高效的视觉运动控制策略此外，ToddlerBot体积小、重量轻（0.56 m，3.4 kg），在真实环境中具有安全且易于操作的优势此外，除与机器学习的兼容性之外，ToddlerBot 的设计还着重强调能力和可复现性。类人机器人由于在解剖结构上与人体相似，有潜力利用大规模的人类示范数据。基于这一点，ToddlerBot 采用拟人化设计，具备 30 个有效自由度（不包括末端执行器）。即作者通过臂展、负载能力、耐久性测试，以及多种开环和闭环的行走—操作（loco-manipulation）任务来展示 ToddlerBot 的能力同时，其还有着易复现性的特点，即其可通过低成本、开源设计和易于获取的硬件组件来实现ToddlerBot 采用市售电机、整机完全依靠 3D 打印制造，总成本低于 6000 美元（其中 90% 的成本来自电机和计算机）且作者公开数字孪生、学习算法、硬件设计以及完整的教程，确保只需具备基本软硬件知识、无需专用制造或维修设备，就可以在家中搭建 ToddlerBot且为验证可复现性，作者邀请了一名此前未参与本项目的计算机科学专业学生，独立组装了另一台 ToddlerBot，并在两台机器人之间成功实现了行走-操作策略的零样本迁移此外，作者宣称，他们在一周内收到了来自全球多支团队关于ToddlerBot 独立复现成功的五份报告1.1.2 相关工作首先，近年来，已经研发出大量人形机器人全尺寸工业人形机器人包括 Boston Dynamics Atlas[8]、Cassie [26]、Digit [11]、Figure [9]、Tesla Optimus [10]、Unitree H1 [12] 和Fourier GR1 [13]半尺寸的人形机器人包括 Booster T1 [14]、Berkeley Humanoid Lite[20] 和 Unitree G1 [15]小尺寸的人形机器人包括 NAO H25 [22]、Robotis OP3 [23] 和K-Scale Zeroth [24]总体而言，它们展示了多样化的设计与能力。另一方面，来自研究机构的人形机器人，包括 Berkeley Humanoid [17]、BRUCE [21]、Duke Humanoid [19]、iCub [16] 和 MIT Humanoid [18]，也在不同优化侧重点下探索人形机器人设计空间如表1 所示，作者选取了九项指标来对比不同的人形机器人平台其次，在设计人形机器人时，尺寸和重量是关键因素对于操作任务而言全尺寸人形机器人能够与人类尺度的物体兼容，而缩小尺寸的机器人在操控这些物体的能力上会受到限制不过，如果为其配备与之尺寸相匹配的物体，缩小尺寸的人形机器人仍然可以为操作研究提供价值 [20]此外，动态的全身控制技术很有可能可以迁移应用到更大型的人形机器人上在运动能力方面全尺寸和小尺寸人形机器人提供的研究价值相近 [27]全尺寸人形机器人通常需要一个规模可观的工程团队来负责运行和维护，还需要如龙门起重机等专门设施以保障安全相比之下，小尺寸人形机器人在成本上更低，更易于制造和维修，也更加安全 [28,27,29]。它们可以由单人部署，并可在受限环境中仅借助一台笔记本电脑进行操作最后，对活动自由度（DoF）数量的设计对实现类人运动至关重要尽管人体肌肉骨骼系统包含600 多块肌肉，但其主要的功能性运动可以用 32 个转动关节来近似表示 [16,30]：每条腿6 个自由度、每条手臂 7 个自由度、腰部 3 个自由度、颈部 3 个自由度（不计手指和脚趾）因此，人形机器人在设计时会尽量将自由度数量做到尽可能接近 32公众对微型人形机器人性能有限的印象，主要源于其自由度数量较少。这种限制往往是由空间受限所导致，空间不足以集成大量自由度而作者宣称，他们在 ToddlerBot 的设计中，已经成功解决了这一问题为了对该系统的能力进行定性评估，作者考察了该人形机器人在操作任务和运动任务上的执行能力二者(操作和运动)的结合尤为引人注目，因为这为全身控制相关研究打开了新的空间[31,32,33,34,35]此外，某些动作（例如俯卧撑、引体向上以及侧手翻）需要手臂和腿部的协同配合除了在物理能力上的优势之外，ToddlerBot 在算力方面也达到了同级最优。机载 CUDA 加速器支持并行策略推理，从而同时满足视觉与运动控制能力大规模仿真数据采集已被证明对运动学习十分有效 [36,37,38]，而真实世界数据采集则在操控方面更具潜力 [39,40,41]因此，为了与 beML 兼容，人形研究平台应当能够在这两种世界(仿真与真实)中都方便地进行数据采集此外，开源和低成本对于他人进行复现至关重要。缺少这些特性，该领域的研究将仍然局限于具有专业技术和充裕资源的少数群体总之，作者认为，在完全不牺牲功能性的前提下，ToddlerBot 作为近期人形研究平台中唯一完全开源且最易获取的系统而脱颖而出1.2 系统设计人形机器人在设计空间上极其广泛；ToddlerBot 的核心设计原则将可复现性视为一个严格约束，并将能力与对机器学习（ML）的兼容性作为关键设计目标1.2.1 可复现性——一个严格约束与大多数以往工作不同，作者将可复现性视为一个“硬约束”，因为如果他人无法复现，该人形平台就毫无价值故作者将可复现性定义为：单个个体在家中、无需专用设备即可复刻该机器人系统的能力。由于易获取且周转时间短，3D 打印已成为复现开源硬件系统的一种常见方式 [2,5,4]尽管如此，要保证打印塑料部件具有足够的强度和精度仍然具有挑战性故作者在附录 8.1 中讨论了选择 3D 打印的理由。对于电机和轴承等性能关键部件，我们仅使用现成的标准化零件ToddlerBot 的物料清单（BOM）总成本为 6,000 美元，其中 90% 花费在计算机（NVIDIA Jetson）和电机（Robotis Dynamixel）上。作者在附录 8.2 中详细说明了设计考量如原论文附录8.1 3D打印所示当与微型部件结合使用时，3D 打印是一种经过深思熟虑的设计选择，而不仅仅是节省成本的手段由Euler-Bernoulli 梁弯曲理论进行的一个快速推导表明，在相同材料强度下，ToddlerBot 的较小结构会经历小得多的相对挠度其中δ为挠度，P 为端部的点载荷，E 为材料弹性模量，L 为特征长度，而为截面二次矩作者估计，他们的微型（更小的L）3D 打印部件（更小的E）提供了与全尺寸铝制部件相当的强度。使用金属部件只会在收益有限的情况下降低可重复性作者的齿轮经过精心调校，以实现最小回程间隙、精确传动和电机的直接集成，而现成零件无法达到这一点且还引入了多种轴承，以减少动力传动部件中的摩擦。经过在两台ToddlerBot 样机上超过一年的测试，作者有信心ToddlerBot 的可靠性可与商用平台相匹敌如原论文附录8.2 装配与维护的便捷性所示装配和维护的便捷性至关重要，但也很难优化，因为这需要在脑中对装配和拆卸过程进行模拟在早期迭代中，作者显式地将减少螺丝种类和确保工具可无阻碍接近作为优化目标，从而为螺丝刀提供了清晰的装配方向且作者还优先采用模块化设计，使各个部件可以独立更换。这些考虑显著提高了可维护性，并简化了维修过程随着作者在这一平台上持续开展研究，作者已经解决了若干可靠性问题，包括电机过热和连杆耐久性等。我们将持续发布修复和升级，以进一步改进这款人形机器人1.2.2 能力——设计目标首先，对于机电一体化设计如图 2 所示，ToddlerBot 复现了成年人体结构，以最大化主动自由度（DoF）的数量，从而实现类人的运动形态和多样化的行走-操作一体化任务每条手臂具有 7 个自由度(上图中的数字1-7所示)，采用正齿轮进行轴向对齐传动，以确保高功能性和良好的可达性每条腿具有 6 个自由度(上图中的数字8-13所示)髋关节 3 个自由度，用于实现大范围运动和优化步态；膝关节采用并联连杆机构以减少转动惯量；踝关节 2 个自由度，用于提升行走稳定性颈部具有 2个自由度，在俯仰关节处采用并联连杆实现紧凑设计，从而支持富有表现力的动作和完整的头部机动性腰部同样具有 2 个自由度，使用耦合伞齿轮在有限空间预算下高效传递来自两个电机的动力，实现偏航与横滚驱动，从而支持全身协调控制此外，ToddlerBot提供两种末端执行器设计：一种是用于抓取的平行夹爪夹持器另一种是用于需要类似手掌姿态任务的柔顺手掌。这两种末端执行器设计可以在两分钟内快速互换对于每个有源自由度，作者通过优化几何结构以避免自碰撞来最大化其运动范围（见附录 8.3）为了解决空间受限、轴线对齐以及减小惯量等问题，作者在设计中集成了三种传动机构的组合：直齿轮、联动伞齿轮和并联连杆机构（见附录 8.4）其次，对于传感器、计算与供电为增强 ToddlerBot 的能力，作者集成了一整套全面的传感器和计算组件且配备了两个鱼眼摄像头，以扩大视野范围在胸部安装了一枚惯性测量单元（IMU），用于提供状态反馈。扬声器和麦克风用于实现与人类及其他机器人之间的通信作者也在补充视频中提供了两个 ToddlerBot 实例之间对话的示例机载计算由 Jetson Orin NX 16GB 提供动力，支持机器学习模型的实时推理基于作者提出的功率度量指标（附录 8.5）选择了Dynamixel 电机，原因在于其可靠性和易获取性（附录 8.6）电源管理由一块定制设计的电源分配板负责，该电源板可以方便地在线订购（附录 8.7）1.2.3 与机器学习的兼容性——设计目标首先，对于数字孪生高保真数字孪生是实现高质量仿真数据采集和零样本仿真到现实（sim-to-real）迁移的基础作者将数字孪生的开发划分为两个关键部分：用于确保正确运动学的零点标定，以及用于获得精确动力学的电机系统辨识由于 Dynamixel 电机不具备绝对零点，因此在每次重新组装后需要一种可靠的方法进行标定作者设计了一套标定装置，可以在一分钟内将机器人对齐到期望的零点姿态，定义为双臂与身体平行站立（见附录 8.8）为了实现精确的系统辨识（sysID），作者设计了电机测试台以及自动化测试流程（见附录 8.9），用于测量动力学参数的范围接下来，作者通过给执行器发送啁啾信号 [27]，收集执行器位置跟踪数据，并利用位置跟踪结果，通过优化拟合一个驱动模型 [42]，具体细节见附录 8.10作者宣称，通过跨不同实例的测试表明，相同型号的 Dynamixel 电机在动力学参数上几乎一致这一点也通过策略在第二台 ToddlerBot 实例上无需额外系统辨识即可直接部署并成功工作得到了验证其次，对于遥操作装置受先前工作 [4,43] 启发，作者为 ToddlerBot 设计并开发了第二套上半身，作为“主端”手臂，用于采集高质量的真实世界数据在末端执行器的抓取区域嵌入了两个力敏电阻（FSR），用于检测来自操作员的压缩力，从而根据力输入控制夹爪的运动且作者使用一台手持游戏电脑（Steam Deck 或 ROG Ally X）来控制其他身体部位。摇杆发送速度指令以实现行走、转向和下蹲按键用于触发预编程或已训练的策略，并提供对颈部和腰部运动的直接控制。详细的映射关系见附录 8.111.3 系统控制1.3.1 关键帧动画关键帧动画在角色动画中被广泛采用，但它只提供运动学数据，并不能保证动态可行性[44]为了解决这一问题，作者开发了一款将 MuJoCo [45] 与图形界面（GUI）集成的工具，使得可以对关键帧运动轨迹进行实时调参和可行性验证。结合高保真数字孪生，作者能够高效生成诸如拥抱、俯卧撑、引体向上等开环轨迹，并可在真实环境中以零样本方式直接执行1.3.2 强化学习在行走任务中，作者训练一个强化学习（RL）策略，该策略根据可观测状态输出，作为关节位置设定点供比例-微分（PD）控制器使用其中为相位信号，表示速度指令，表示相对于中性姿态的位置偏移，是前一时间步的动作，表示躯干朝向，为躯干的角速度在PPO 策略训练过程中[46]，环境生成下一状态，更新相位信号，并返回一个标量奖励按照标准做法[42]，奖励被分解为：在这些组成部分中鼓励对参考行走动作的精确模仿，该参考行走动作是使用闭式ZMP（零力矩点）解[47] 生成的结合了理想行走动作的启发式规则，对关节力矩进行惩罚，并促进动作的平滑性，以尽量减少不必要的运动生存奖励在训练过程中防止情节过早终止。更多细节见附录8.121.3.3 模仿学习在真实世界的数据收集中，由人工操作员引导主机器人（leader）的手臂进行远程操控，从而控制从机器人（follower）的手臂；同时通过手持游戏控制器上的摇杆和按键来控制躯干与步态等身体运动在数据采集过程中，当上半身根据主机器人手臂的位姿指令进行跟踪时，ToddlerBot 的下半身采用两层 PD 控制器主动维持平衡第一层是质心（Center of Mass, CoM）PD 控制器，用于保持质心接近支撑多边形的中心第一层用于处理手臂运动引起的质心偏移第二层是躯干俯仰 PD 控制器，利用 IMU 读数确保躯干保持直立第二层在搬运重物时提供补偿通过这样的设置，只需 20 分钟即可为双臂操作和全身操作任务分别采集 60 条轨迹。主机器人手臂的电机位置被记录为动作，而从机器人电机位置以及其摄像头采集的RGB 图像则被记录为观测。作者在该数据集上训练一个 diffusion policy [48]，更多细节见附录 8.131.4 实验1.4.1 对于臂展、负载和续航能力为了评估 ToddlerBot 的臂展，作者通过远程操作让其在保持平衡的同时，使用柔顺掌式夹爪去拥抱一个大型物体。且作者展示了 ToddlerBot 可以抓取最大尺寸为 27×24×31 cm³ 的物体，大约是其躯干体积的 14 倍该负载测试评估上半身的举重能力以及下半身保持平衡的能力。ToddlerBot 成功举起最高1484 g，占其总重量（3484 g）的 40%。为此，为消除摩擦效应，作者在夹爪上使用3D打印的杯状结构以实现牢固锁定。然后逐渐向该杯体中增加螺丝，直到 ToddlerBot 倒下结果如图3左侧所示在耐力测试中，ToddlerBot 从满电电池开始，一边原地踏步一边运行行走强化学习（RL）策略ToddlerBot 创下了最长连续运行 19 分钟而不摔倒的记录。随着时间推移，电机温度不断升高，逐渐将其推离策略的训练分布，导致摔倒变得更加频繁ToddlerBot 最多可以承受 7 次摔倒而不会损坏结构，但即便损坏，维修也非常迅速——只需 21 分钟的 3D 打印时间和 14 分钟的组装时间，其中包括拆除受损部件、安装替换件以及执行零点标定1.4.2 对于俯卧撑、引体向上、全向行走为展示富有表现力且动态丰富的动作，我们在关键帧软件中编排了俯卧撑和引体向上的动作，并进行零样本的仿真到真实（sim-to-real）迁移（图4）在引体向上任务中，作者使用 AprilTag 帮助 ToddlerBot 定位横杆。这两个任务都要求机器人具有强健的肢体力量、上下肢力量的平衡分配以及精确的动作协调，尤其是在ToddlerBot 完成俯卧撑后从平板支撑姿态过渡到站立姿态，以及在完成引体向上后松开横杆并安全落地的过程中这些开环迁移仅依赖于在仿真中设计的一条运动轨迹，凸显了数字孪生模型的高保真度全向行走为了展示 ToddlerBot 的运动能力，作者训练了强化学习（RL）行走策略，使其以预定义的速度曲线跟随一个方形轨迹图 3 右侧给出了结果并使用动作捕捉系统采集了真实环境中的轨迹数据。由于 RL 策略本身的局限性，仿真和真实环境中的轨迹都与指令存在偏差，主要原因在于学习到的行走策略难以实现原地转向，进而导致平移偏移然而，仿真到真实（sim-to-real）的误差明显小于整体跟踪误差，这表明实现了成功的零样本迁移。此外，我们报告的位置跟踪误差方差为 0.018 m，体现出良好的重复性（更多细节见附录 8.14）1.4.3 对于基于视觉的操作作者展示了 ToddlerBot 在执行双手操作和全身操作方面的能力，将章鱼玩具从桌面以及固定到一辆小车上这两个任务都使用基于 RGB 的 diffusion policy [48]，并各自采用了 60 条示范进行训练在 20 次测试试验中，作者在双臂操作任务上达到了 90%的成功率，在全身操作任务上达到了 75% 的成功率且作者结合使用开环动作和闭环策略，以提升数据采集效率在双臂任务中，躯干旋转和释放的动作是开环控制，而在全身操作中，下跪动作是开环控制ToddlerBot 机载计算平台运行参数量约为3 亿的 diffusion policy，延迟约为 100 ms，从而支持实时运行。结果如图 4 所示1.4.4 对于ML兼容性和可复现性技能链式组合作者测试了 ToddlerBot 在推小车任务中将行走-操作技能与推车技能进行组合的能力。结果见附录 8.15为推动小车，ToddlerBot 首先执行扩散策略以抓住扶手，并在保持该姿态的同时切换到强化学习（RL）策略向前行走且为在保持抓握的前提下实现行走，作者在强化学习训练过程中，从抓握策略的训练数据（60 条演示）中对机器人的末端姿态进行采样对于可复现性为验证硬件的可复现性，作者招募了一名没有任何硬件经验的计算机科学专业学生，让其仅依靠开源的装配手册和视频独立组装第二台 ToddlerBot该学生在三天内完成了装配，其中包含 3D 打印所需的时间开源社区也已有多次成功复现 ToddlerBot 的报告，其中大多数在一周内完成（见附录 8.16）此外，在策略可复现性方面，作者将基于第一台机器人采集数据训练得到的操作策略，直接运行在第二台机器人上，在 20 次试验中同样达到了 90% 的成功率。且作者宣称，他们也成功地在两台机器人之间迁移了用于行走的强化学习（RL）策略此外，为了进一步展示两台 ToddlerBot 在性能上的等价性，作者让它们协同完成一次长时序的玩具整理任务，如图 5 所示1.5 结论、局限性与未来工作1.5.1 结论总之，作者宣称，他们通过一系列测试和行走-操作任务表明，ToddlerBot 具备与机器学习兼容、功能强大且结果可复现等特性且ToddlerBot 的能力不仅限于运动控制，还支持全身操作、角色动画、人机交互以及多种机器学习应用，使其成为一个多用途的研究平台为弥合从仿真到真实环境的差距，更构建了一套完整的系统辨识（sysID）流程，用于创建高保真数字孪生，并配套开发了全身遥操作系统以采集行走-操作数据作者认为，作为一个完全开源的平台，ToddlerBot 使研究者能够探索新的研究方向，并促进整个社区的开放协作1.5.2 局限性与未来工作对于局限性ToddlerBot 在执行更为敏捷的任务时，其性能受制于现成电机的最高转速、最大扭矩以及通信速度如果有更高性能的电机可供选择，其表现仍有提升空间。ToddlerBot并非以实现超人能力为目标，而是更接近于在行走操控（loco-manipulation）任务上达到普通人类的平均水平此外，当前的驱动模型没有考虑电机温度，在接近性能极限时其精度会下降。其微型尺度限制了与人类尺度物体的交互，不过只要使用合适尺寸的物体，这一限制并不会妨碍研究与金属外壳相比，3D 打印部件在冲击事件后更容易损坏，尽管 3D 打印本身较为快速，维修仍然需要花费时间对于未来工作为克服这些局限性，作者计划开发定制的通信板，以提高控制频率，并改进驱动模型，在电机发热时也能最大化可用工作空间作者将优化 ToddlerBot 的结构设计，以提升整体结构强度，因为作者认为设计本身比材料选择对性能的影响更大且作者还希望提升传感能力，包括用于深度感知的双目视觉、用于改进状态估计的额外 IMU，以及用于获得更丰富操作反馈的触觉传感器// 待更