机器人训练数据的稀缺是这几年做具身智能的人绕不开的一道坎。真机采数据贵、慢、还难规模化一条产线停半天可能就为了采几百条抓取轨迹。生成式AI火起来之后大家自然把目光投向它——能不能用模型造出训练数据我过去一年多在这个方向上折腾了不少从最朴素的轨迹增广到最近比较热的视频变动作踩过的坑和跑通的路线都攒了一些。这篇就把我理解的五条技术路线摊开讲清楚重点放在视频变动作这条链路上因为它最接近用现成的视频直接产出可训练动作这个理想也最容易让人高估它的成熟度。适合做机器人学习、具身智能数据管线、以及想用生成式模型补数据的朋友参考不管你是刚入门还是已经在搭pipeline应该都能捞到点能直接用的东西。1. 先搞清楚合成训练数据到底在合成什么很多人一上来就说用生成式AI造数据但没想清楚造的是哪一层的东西。机器人训练数据的本质是状态-动作-结果的序列生成式模型能介入的位置其实有好几个介入点不同难度和可用性差着数量级。我习惯把它拆成三层来看这个拆法帮我省了很多无用功。1.1 状态层、动作层、观测层的区分一条机器人轨迹可以粗略拆成三部分观测相机图像、点云、关节读数、动作末端位姿增量或关节目标、状态转移执行动作后世界变成什么样。生成式AI在这三层的能力完全不对等。观测层图像生成模型已经很强合成逼真的场景图、换背景、换光照基本是成熟能力。但光有图没用图不带动作物理想。动作层这是最难的。让模型直接想象出一段合理的机械臂动作既要符合运动学约束又要跟场景语义对齐目前没有哪条路线能稳定做到。状态转移层也就是我推一下这个杯子它会怎么倒这属于世界模型要解决的问题也是当前研究最热但最不成熟的部分。我见过不少团队一开始雄心勃勃要端到端生成整条轨迹结果卡在动作层动弹不得。后来退一步只在观测层做增广反而快速产出了能用的数据。所以第一件事是想清楚你要补的是观测多样性还是动作多样性还是物理动态的多样性这三个问题的技术选型完全不同。1.2 为什么动作是最难合成的一环动作难难在它同时受两套约束夹击。一套是运动学与动力学约束机械臂有自由度限制、关节限位、奇异点生成的动作稍微离谱一点真机执行就报错或者抖动。另一套是任务语义约束动作得真的能完成任务抓杯子得抓到杯柄而不是空气。生成模型擅长的是看起来像但看起来像的动作和物理上可行的动作之间有条鸿沟。我试过让扩散模型直接生成关节角序列生成的曲线单看很平滑一放到正运动学里算末端轨迹直接穿模到桌子底下去了。这就是典型的像素级合理、物理级荒谬。所以后面讲的所有路线本质上都是在用不同的方式给生成过程上约束——要么用逆动力学把观测反推成动作要么用仿真器做物理校验要么用世界模型保证状态转移自洽。理解了这一点五条路线的定位就清楚了。1.3 合成数据的验收标准别只看像不像这是我最想强调的一条经验。合成数据最容易骗人的地方就是视觉上以假乱真但训练价值为零甚至为负。我早期做过一批合成抓取图人眼看着跟真机拍的没区别拿去训练策略网络成功率不升反降。后来复盘发现合成图里的物体阴影方向和真实光照不一致网络学到了错误的深度线索。验收合成数据我现在固定看三个指标缺一不可验收维度具体检查项常见翻车点视觉一致性光照、阴影、材质、相机内参是否自洽阴影方向与光源矛盾网络学到错误深度物理可行性动作经正/逆运动学校验是否可执行关节超限、末端穿模、速度突变任务有效性动作是否真的推进任务进度动作合理但抓空、推错方向只有三项都过这批数据才敢往训练集里放。很多团队只做第一项结果就是数据量上去了、效果没上去还找不到原因。2. 五条技术路线的定位与适用边界把合成什么想清楚之后五条路线就好定位了。它们不是互相替代的关系而是覆盖了从最保守到最激进的一个谱系。我按落地难度从低到高排你可以根据自己的数据缺口对号入座。2.1 路线一观测增广——最稳但天花板最低观测增广是最成熟的一条本质是保持动作不变只变换观测。具体做法包括换背景、换光照、加噪声、随机遮挡、域随机化domain randomization。它的逻辑是动作是对的来自真机采集我只是让策略网络见到更多样的视觉输入提升泛化。这条路线的好处是几乎不会引入物理错误因为动作原封不动。缺点是天花板明显——它只能提升视觉泛化补不了动作多样性。如果你的瓶颈是没见过足够多的物体摆放方式观测增广够用如果瓶颈是没见过足够多的操作技能那这条路救不了你。实操上我建议把域随机化的参数范围开得比直觉更大。我一开始只随机光照强度±20%效果一般后来把色温、光源方向、背景纹理全放开泛化提升明显。代价是训练收敛变慢需要更多数据量来覆盖这个分布。2.2 路线二仿真合成——物理正确但域差距难消仿真合成是在物理引擎里跑脚本自动生成大量带标注的轨迹。它的最大优势是物理天然正确因为有引擎兜底动作一定可执行还能顺便拿到完美的状态标注关节角、接触力、物体位姿全都有。问题在于仿真到现实的域差距sim-to-real gap。物理参数摩擦、质量、柔性很难标定准视觉渲染跟真实相机也有差距。我做过一个抓取任务仿真里成功率95%直接迁移到真机掉到40%多。后来靠域随机化真机微调才拉回来。仿真合成适合的场景是任务物理相对简单、对视觉精度要求不高、且你愿意投入做域随机化和真机微调。如果任务涉及大量柔性物体或者复杂接触仿真的可信度会大打折扣。2.3 路线三扩散/生成模型直接造轨迹这条路线最性感也最容易翻车。思路是训练一个生成模型扩散模型、VAE、自回归Transformer都有人用直接输出动作序列。训练数据就是已有的真机轨迹模型学的是动作的分布。它的吸引力在于能生成全新的动作理论上可以覆盖真机没采过的技能。但前面说过纯生成的动作缺乏物理约束很容易不可执行。常见的补救办法有两个一是在生成后接一个物理校验和修正模块把不可行的动作投影回可行域二是用条件生成把目标位姿、场景点云作为条件输入约束生成方向。我的经验是这条路线目前更适合做动作先验而不是直接产出训练数据。也就是说用它生成候选动作再用仿真或真机筛选筛出来的才敢用。直接拿生成结果训练翻车概率很高。2.4 路线四世界模型——预测动作之后会怎样世界模型解决的是状态转移问题给定当前观测和一个动作预测下一时刻的观测。它本身不直接生成动作但可以配合规划器使用——规划器在世界模型里想象不同动作的后果选出最优的这条想象出来的轨迹就成了训练数据。这条路线最近很热但我要泼点冷水世界模型的预测精度在长时程上衰减很快。预测一步两步还行预测十几步之后误差累积想象出来的轨迹就飘了。所以它目前更适合做短时程的局部规划或者作为数据筛选器用世界模型判断一条轨迹是否合理而不是长轨迹生成器。2.5 路线五视频变动作——用现成视频反推动作这是本篇的重点也是我认为潜力最大但当前最被高估的一条。核心思路是互联网上有海量的人类操作视频做饭、装配、整理这些视频里隐含了丰富的操作技能。如果能从视频里反推出对应的机器人动作就相当于把互联网视频变成了机器人训练数据。它的诱人之处在于数据源几乎无限。但难点也很致命视频里是人的手机器人是夹爪形态不匹配视频是单目视角深度信息缺失视频没有动作标注动作得靠反推。这三个难点决定了视频变动作不是一个模型能搞定的而是一条需要多个模块串联的链路。下一节我详细拆这条链路。3. 视频变动作链路的完整拆解视频变动作这个词听起来像一个功能实际是一条流水线。我把它拆成四个环节视频预处理、手部/物体位姿提取、动作重定向、物理校验。每个环节都有各自的坑任何一个环节崩了后面全白搭。3.1 环节一视频预处理与可用性筛选不是所有视频都能用。我踩过的第一个坑就是拿了一堆剪辑过的短视频镜头切换频繁、视角乱跳位姿提取直接崩。可用的视频需要满足几个条件固定机位或缓慢移动镜头剧烈运动会让位姿估计失准。操作过程完整能看到动作的起止而不是掐头去尾。遮挡少手和物体大部分时间可见。光照稳定避免过曝或剧烈变化。预处理阶段我一般做三件事抽帧通常降到10-15fps就够太高反而增加计算量且冗余、镜头切分用画面直方图或特征相似度检测切换点切掉不连续段、以及自动筛选用简单的启发式规则过滤掉手部检测置信度低的帧段。这里有个经验宁可少而精不要多而杂。我一开始贪多收了上千条视频结果清洗完能用的不到一百条。后来改成先按条件筛只留高质量片段反而效率高很多。3.2 环节二从视频里抠出手和物体的位姿这一步是整条链路的地基。目标是从每一帧里估计出手部关键点和物体6D位姿。手部估计现在有比较成熟的方案基于单目RGB的手部关键点检测物体6D位姿估计也有不少工作但两者同时估计且保持一致是个难点。我实际用的组合是手部用关键点检测网络出21个关节点物体用基于CAD模型的位姿估计如果物体已知或者类别级位姿估计如果物体是常见类别。两者估计完之后还要做时序平滑因为逐帧估计会有抖动直接拿去做动作重定向会得到抖动的轨迹。提示物体位姿估计的精度直接决定后面动作的质量。如果物体是已知的、有CAD模型的优先用模型匹配的方法精度比类别级估计高一个档次。如果物体未知考虑先用重建方法建个粗略模型。时序平滑我一般用滑动窗口加样条拟合窗口大小取5-7帧。窗口太小平滑不够太大动作细节被抹掉。这个参数需要根据视频帧率调没有万能值。3.3 环节三动作重定向——从人手到机械臂这是视频变动作最核心也最难的一步。人手和机械臂的运动学结构完全不同人手有20多个自由度机械臂通常6-7个人手是五指夹爪是两指或三指。直接把手的位姿映射到机械臂上物理上根本不成立。重定向的常见做法是提取任务空间的关键量而不是逐关节映射。具体说从手部轨迹里提取末端执行器的位姿序列位置姿态以及抓取时刻的接触点然后把这两样映射到机械臂的末端。机械臂的关节角通过逆运动学求解得到。这里有几个关键决策抓取姿态怎么映射人手抓杯子和夹爪抓杯子接触点不一样。我一般用物体的局部坐标系来定义抓取把手的抓取点转换到物体坐标系再在物体坐标系里找一个夹爪可行的抓取。这一步经常需要人工规则或者一个专门的抓取生成模块。逆运动学求解的稳定性逆解可能有多解、可能无解。无解时要回退比如放宽末端姿态约束多解时要选一个跟上一帧连续的避免关节跳变。时序一致性重定向后的关节轨迹要平滑不能有突变。我一般会在逆解之后再做一次关节空间的平滑滤波。我实测下来重定向环节的失败率是最高的大概有30%-40%的视频片段在这一步被淘汰。主要失败原因是抓取映射不合理或者逆解无解。所以这条链路必须有淘汰机制不能指望所有视频都能转成功。3.4 环节四物理校验与仿真回放重定向出来的动作还不能直接信。我会把它丢进仿真器里回放一遍检查三件事关节是否超限、末端是否穿模、任务是否完成。仿真回放能筛掉一大批看起来合理但物理上不行的动作。仿真回放还有个好处能自动生成成功/失败标签。如果仿真里抓取成功这条数据就是正样本如果失败可以标记为负样本或者直接丢弃。这个自动标注能力是纯生成路线给不了的。校验通过的动作我还会做一次真机小批量验证。仿真和真机毕竟有差距抽10%左右的数据上真机跑一遍确认成功率在可接受范围再决定要不要全量入库。这一步很费时间但能避免把整批脏数据喂进训练。4. 逆动力学模型把看到什么翻译成该怎么做前面反复提到反推动作逆动力学模型Inverse Dynamics Model, IDM就是干这个的核心组件。它的输入是相邻两帧的观测输出是这两帧之间发生的动作。理解它的能力和局限是判断视频变动作可行性的关键。4.1 逆动力学和正向动力学的分工先厘清概念。正向动力学是给状态和动作预测下一状态这是仿真器干的事。逆动力学是反过来给前后两个状态反推中间的动作。在视频变动作里前后两个状态就是视频的相邻帧动作就是我们要的动作标签。IDM 的妙处在于它把生成动作这个难题转化成了从观测差异里推断动作。视频里物体的位置变化、手的移动本身就隐含了动作信息。模型要学的是这种变化到动作的映射。但 IDM 有个根本局限它只能推断出视频里能看到的变化所对应的动作。如果视频里手的移动被遮挡了或者动作很细微比如手指的微调IDM 就推不准。所以 IDM 的精度高度依赖观测质量。4.2 训练IDM需要什么样的数据IDM 本身也是要训练的训练数据是成对的观测动作。这就有点鸡生蛋的意思——你要用 IDM 造数据但训练 IDM 又需要数据。解决办法是用已有的真机数据训练 IDM再用它去处理视频。训练 IDM 的数据有几个要求动作标注要准动作标签来自真机的关节编码器或末端位姿追踪精度要够。观测要多样如果只用一种场景训练 IDM换个场景就推不准。所以训练集要覆盖多种物体、光照、视角。时序对齐要严观测和动作的时间戳必须对齐差一帧都会让 IDM 学到错误的映射。我训练 IDM 时用的损失是动作的L2误差加上一个平滑项。平滑项很重要没有它生成的动作用于训练时会抖得厉害。平滑项的权重需要调太大动作变迟钝太小抖动抑制不住。4.3 IDM的泛化边界换个场景还准吗这是 IDM 最让人头疼的地方。IDM 的泛化能力比想象中弱。我在A场景桌面、固定光照训练的 IDM换到B场景不同桌面颜色、不同光照精度就掉一大截。原因是 IDM 很容易学到场景相关的捷径特征比如把背景变化误当成动作引起的物体变化。缓解办法有几个一是在训练数据里做大量域随机化让 IDM 见多识广二是用相对量而不是绝对量比如输入相邻帧的差分而不是原始帧减少场景干扰三是加入物体掩码让 IDM 只关注物体和手所在的区域。我实测下来域随机化加差分输入的组合效果最好跨场景精度能保住七成左右。但要说完全泛化目前还做不到。所以用 IDM 造数据时最好让视频场景和真机场景尽量接近别指望一个 IDM 通吃所有场景。5. 世界模型在数据合成里的真实作用世界模型这两年热度很高很多人把它当成数据合成的万能钥匙。我的看法是它有用但用处跟大多数人想的不一样。它不是用来直接生成训练数据的而是用来做数据筛选和短时程规划的。5.1 世界模型预测的是状态不是动作先把定位摆正。世界模型学的是给定当前状态和动作下一状态是什么。它输出的是预测的观测不是动作。所以在数据合成链路里它的角色是裁判而不是选手。具体怎么用拿视频变动作来说IDM 生成了一条动作轨迹我可以让世界模型根据初始观测和这条动作预测出一段想象的视频然后跟真实视频对比。如果预测的视频和真实视频差得远说明这条动作轨迹有问题淘汰掉。这就是用世界模型做一致性校验。这个用法比直接生成动作靠谱得多因为它把世界模型放在它擅长的位置——判断这个动作会导致什么而不是该做什么动作。5.2 用世界模型做数据筛选的实操实操上我会训练一个以动作为条件的世界模型输入是当前帧加动作序列输出是预测的未来若干帧。训练数据同样来自真机。然后用它来给 IDM 生成的动作打分。打分的方式是计算预测帧和真实帧的感知相似度可以用预训练视觉特征的余弦距离也可以用像素级误差前者对纹理变化更鲁棒。相似度低于阈值的动作直接丢弃。阈值怎么定我的做法是拿一批已知正确的真机动作跑一遍看它们的相似度分布取一个偏保守的分位数比如10%分位作为阈值。这样能保证筛出来的动作至少不比真机动作差太多。注意世界模型的预测误差会随预测步长累积。所以筛选时只预测短时程比如未来3-5帧别指望它预测几十帧还准。长时程的合理性交给仿真回放去校验。5.3 理想世界模型离落地还有多远理想世界模型这个词最近被提得很多指的是那种能精确模拟物理、长时程稳定、还能泛化到新场景的模型。说实话离落地还有相当距离。当前的世界模型在短时程、特定场景下表现不错但一放到长时程、新场景误差就压不住。我的判断是未来一两年世界模型在数据合成里的角色会稳定在筛选器短时程规划器这个定位上不太可能直接变成数据生成器。真正生成数据的还是 IDM 和仿真世界模型负责把关。想清楚这个分工就不会对它抱不切实际的期待。6. 把五条路线串成一条数据管线单条路线都有局限实际项目里我很少只用一条而是组合使用。下面是我目前比较顺手的一条管线供参考。6.1 管线设计从真机数据到合成数据池管线的起点是真机采集的一小批种子数据大概几百到几千条。这批数据干三件事训练 IDM、训练世界模型、作为仿真域随机化的参考。然后分两条支线并行仿真支线在仿真器里跑脚本配合域随机化批量生成轨迹自动标注。视频支线收集可用视频走预处理→位姿提取→动作重定向→物理校验链路产出动作数据。两条支线的产出汇入统一的数据池再用世界模型做一轮一致性筛选最后抽样真机验证。通过验证的数据才进训练集。这条管线的好处是冗余仿真支线物理准但域差距大视频支线数据源广但噪声多两者互补。哪条支线出问题另一条还能撑住。6.2 各环节的产能与瓶颈实测我记录过一段时间各环节的产能数据不一定通用但能说明瓶颈在哪环节输入量产出量通过率主要瓶颈视频预处理1000条原始视频300条可用片段30%镜头切换、遮挡位姿提取300条片段280条有效位姿93%物体位姿估计精度动作重定向280条170条动作61%抓取映射、逆解无解物理校验170条110条65%穿模、任务未完成真机抽验110条95条入库86%仿真真机差距从表里能看出来动作重定向和物理校验是两大瓶颈通过率都在六成左右。整条链路从1000条视频到95条可用数据总通过率不到10%。这个数字很现实——视频变动作不是免费的午餐它需要大量筛选。6.3 数据配比合成数据和真机数据怎么混合成数据进训练集不是越多越好。我试过纯合成数据训练效果明显不如混合。合成和真机的配比很关键。我的经验配比是真机数据占30%-50%合成数据占50%-70%。真机数据虽然少但它提供了合成数据没有的真实物理细节和噪声分布是锚点。合成数据负责提供多样性。如果合成占比过高策略会过拟合到合成数据的分布上真机表现下降。配比还要看任务。如果任务简单、合成数据质量高合成占比可以高一些如果任务涉及复杂接触或柔性物体真机占比要提上去因为合成数据在这些场景可信度低。7. 实操中最容易翻车的几个点前面讲的是框架这一节讲具体的坑。这些都是我实际踩过、并且看到别人也反复踩的。7.1 位姿估计的抖动被放大成动作噪声位姿估计逐帧做天然有抖动。这个抖动在重定向和逆解之后会被放大——因为逆运动学对输入位姿很敏感输入抖一点输出的关节角可能抖很多。我早期没做时序平滑生成的关节轨迹高频抖动严重真机执行时电机嗡嗡响。解决办法就是前面说的时序平滑但要注意平滑的时机。我试过在位姿估计后平滑、在重定向后平滑、两处都平滑效果最好的是两处都做位姿估计后用轻平滑去噪重定向后再用关节空间平滑保证连续性。只做一处往往不够。7.2 抓取映射的语义错位这是最隐蔽的坑。人手抓杯子和夹爪抓杯子接触点不同。如果直接把手的抓取点映射过去夹爪可能抓在杯口边缘仿真里能勉强抓住真机一抓就滑。这种错误在视觉上很难发现因为动作看起来是对的。我的应对是在物体坐标系里重新生成抓取而不是直接映射。具体说从视频里提取的是抓取发生在物体的哪个部位比如杯柄然后在这个部位上用抓取生成算法比如基于力闭合的采样生成一个夹爪可行的抓取。这样能保证抓取在物理上成立。7.3 仿真校验的假阳性仿真校验通过不代表真机能行。我遇到过仿真里抓得好好的真机上因为摩擦系数不对直接滑掉。仿真校验只能筛掉明显不行的不能保证剩下的都行。所以真机抽验这一步不能省。我一般抽10%-20%如果抽验通过率低于80%说明仿真和真机差距太大得回头调仿真的物理参数或者干脆降低对仿真校验的依赖提高真机验证的比例。7.4 数据量上去了但多样性没上去这是最容易被忽视的。生成了一万条数据但仔细一看全是同一类物体、同一种摆放、同一个视角。这种数据量再大也没用因为多样性才是泛化的来源。我现在会定期对合成数据做多样性审计统计物体类别分布、摆放位置分布、视角分布、动作类型分布。如果某个维度过于集中就针对性地补数据。这个审计比单纯看数据量有用得多。8. 一些关于工具和参数选择的经验最后聊点具体的选型经验都是实操里攒的。8.1 位姿估计方案怎么选如果物体有CAD模型优先用基于模型匹配的方法精度最高。如果物体是常见类别杯子、盒子、工具用类别级位姿估计。如果物体完全未知只能先做三维重建再估计位姿精度最差但通用性最好。手部估计相对成熟主流的关键点检测方案都能用但要注意手物交互时的遮挡——手抓住物体时手指关键点经常被物体挡住估计会飘。这时候可以引入时序信息做补全。8.2 逆运动学求解器的稳定性调优逆解求解器我一般用基于优化的方案因为它能加约束关节限位、避障。调优的关键是初值的选择用上一帧的解作为当前帧的初值能大幅提升收敛速度和连续性。如果无解逐步放宽末端姿态约束直到有解为止。求解频率也要注意。视频抽帧后是10-15fps但逆解可以在这个基础上插值到更高频率让轨迹更平滑。我一般插值到50-100Hz再交给控制器。8.3 世界模型的训练成本控制世界模型训练很吃算力尤其是预测高分辨率图像的时候。我的做法是在低维表征上训练比如先用一个编码器把图像压到隐空间世界模型在隐空间里预测最后再解码。这样算力需求能降一个数量级精度损失可接受。预测步长也别贪多3-5帧够用。步长越长训练越难误差越大。短步长配合滚动预测效果比长步长单次预测好。8.4 合成数据的存储与版本管理合成数据量大存储和版本管理容易乱。我的做法是给每批数据打标签生成时间、生成路线仿真/视频、参数配置、通过率、真机验证结果。这样后面出问题能追溯到具体哪批数据、哪套参数。数据版本也要管。合成管线改了参数生成的数据就是新版本别跟旧版本混在一起。我吃过这个亏——两批参数不同的数据混着训练效果怎么调都上不去最后发现是数据版本混乱。9. 我对这条路线未来一年的判断说点个人看法。生成式AI合成机器人训练数据这个方向短期内的主力还是仿真和观测增广因为它们稳、可控、产能高。视频变动作潜力大但受限于位姿估计精度和重定向成功率短期内更适合作为补充数据源而不是主力。逆动力学模型会越来越重要因为它是连接观测和动作的桥梁。随着视频理解模型变强IDM 的泛化能力会提升视频变动作的通过率也会跟着涨。我比较看好这个方向但需要耐心。世界模型我保持谨慎乐观。它在筛选和短时程规划上的价值是实打实的但理想世界模型那种全能选手短期内看不到。把它放在合适的位置用别神化它。最后一句实在话合成数据永远替代不了真机数据它只是放大器。真机数据是锚合成数据是帆。锚不稳帆再大也白搭。所以别本末倒置该采的真机数据一条都不能省。