最近具身智能圈子里讨论度最高的一个方向就是某顶级 AI 实验室和某专注人形机器人硬件的公司走到了一起尝试用“视频”来训练物理 AI。什么意思呢简单说就是不再靠人工遥控机器人、一条一条录演示数据而是直接把互联网上海量的人类操作视频变成机器人学习的素材。我第一次听到这个思路的时候第一反应是“早该这么干了”但深入想了一圈之后又发现这事背后藏着大量工程细节稍不注意就会做成“看着很美落地崩盘”。这篇文章我想以一个做机器人算法和具身智能项目的人的角度把这条技术路线完整拆一遍它到底解决什么问题、为什么选视频而不是单纯的仿真或遥操作、核心链路怎么搭、里面有哪几个最容易翻车的坑以及它对整个行业的影响范围到底有多大。不管你是做视觉模型、机器人控制还是想把人形机器人落到实际场景这篇应该都值得你花点时间看完。1. 物理 AI 和“视频训练”到底在解决什么1.1 为什么人形机器人总在实验室里“表演”如果你看过一些人形机器人的演示视频会发现一个规律它们能很流畅地走路、抓杯子、叠衣服但背后基本都藏着大量人工干预和时间成本。最常见的做法是这样的团队用遥操作设备让操作员戴着动捕手套或者操纵杆一遍一遍地带着机器人做同一个动作同时记录关节角度、力矩、图像、语音指令。一个稍微复杂的任务比如“打开冰箱门再拿出饮料”可能需要采集几百到上千条演示每条演示还要保证动作质量足够好。采集完数据再花几周时间训练策略才有可能让机器人稳定复现。这种模式最大的问题不是算法不行而是数据太贵。每一条遥操作数据背后都有人的时间、机器人的损耗、硬件的维护成本。如果你想让机器人学会一千种日常任务那数据成本会高到任何一个团队都扛不住。更麻烦的是机器人硬件型号不同采集的数据还不能直接复用。换个机械臂关节限位、力控参数、相机视角都不一样原来采的数据等于作废一大半。所以整个行业其实都卡在同一个瓶颈上机器人要走向真实世界必须得有海量的、覆盖各种场景和任务的行为数据可现有人工采集方式根本供不上这个量级。1.2 传统数据路线遥操作、仿真和真机自采先把传统的三条数据路线掰开来看你就能理解为什么视频训练会被寄予厚望。第一条是遥操作采集刚才说过精度高、质量好但成本极高而且采集速度跟人的操作速度一样一小时顶多攒出几十条有效片段。第二条是仿真数据用物理引擎在虚拟环境里生成海量数据速度和成本一下降下来了但代价是“Sim-to-Real Gap”。仿真里的摩擦系数、接触形变、光照条件永远不可能跟真实世界完全一致模型在仿真里学得很溜一到真机就出现各种“水土不服”要么抓取位姿偏了几毫米要么在软物体上彻底失去判断力。第三条是真机自采也就是让机器人自己在真实环境里试错再用强化学习去学。这条路线在单一任务上效果确实不错比如某段时间很火的“机器人转笔”“机器人拧瓶盖”基本都是真机强化学习跑出来的。但它的问题是每个任务都要重新设计奖励函数、安全机制和环境采样流程换个任务等于换个项目很难形成规模化复用的数据资产。你看这三条路各有短板一个太贵一个太假一个太窄。那视频训练为什么能补上这个缺口因为它直接把人类已有的巨量行为视频当成数据源。全球互联网上有多少条做菜、打扫、修理、搬运的视频几十万小时都不止而且这些视频恰恰代表了一个核心事实人类是怎么用身体操作真实物理世界的。1.3 从人类视频里学“物理直觉”这里要澄清一个常见误区所谓“用视频训练”并不是让机器人直接看着视频就能学会动作。机器人没有人类那样的身体结构和运动经验它没法直接模仿视频里的一双手。视频训练真正做的是从这些画面里提取“物理世界的规律”什么东西可以抓、抓哪里更稳、推一个物体之后它会往哪个方向移动、桌面上的杯子和杯子碰撞之后会怎样。这些规律我们管它叫“物理直觉”。一个AI系统如果有了足够强的物理直觉再让它控制机器人去执行任务就不需要每条任务都从头学一遍。比如你让它看一眼视频里“把鸡蛋打进碗里”的动作它虽然不能照抄手的路径但它能明白鸡蛋是脆的、碗是硬的、打鸡蛋的时候需要先磕一下再掰开。这些语义理解一旦建立起来迁移到真机控制上就会容易很多。这也是为什么这条路线不只是“训练数据凑合着用”而是一种全新的建模思路先通过视频学习一个关于物理世界的预测模型再去指导机器人行动。后面我会详细拆这个链路现在你只要记住视频训练的目标是“让AI更懂物理”而不是“让AI抄动作”。2. 某顶级 AI 实验室与某机器人公司的方案选型2.1 两边为什么走到一起不把具体公司名点出来但你应该能猜到这次合作里有一方是做通用AI模型起家的顶级实验室另外一方是做高动态人形机器人硬件的公司。这两类团队过去很少深度绑定因为基因不同做算法的实验室擅长数据、模型、算力但缺真实的机器人本体和控制系统做硬件的公司擅长机械结构、运动控制、整机集成但缺少前沿AI模型的工程化能力。这次合作的关键就在于补位。实验室有训练超大模型的经验也验证过“视频生成即世界模型”这条路机器人公司则提供能在真实世界稳定跑步、抓取、上下楼梯的硬件本体。两边合在一起才可能把“用海量视频训出来的AI模型”真正装进一台物理机器里跑起来。这类合作对整个行业的信号意义比单纯的技术发布还要重要。它说明一个问题物理AI不是纯算法问题也不是纯硬件问题而是“模型数据本体”三者深度耦合的系统工程。以前很多团队先做算法再做硬件或者先做硬件再接算法效果都不好就是因为缺少这种从头就绑定的协同设计。2.2 为什么选“视频生成”而不是直接端到端学策略行业里做机器人模仿学习常用的做法是输入几段演示视频端到端训练一个神经网络直接把相机图像映射到机器人动作。这条路在固定场景、固定任务上效果很猛但泛化性很差。换一个光照条件、换一个物体颜色、换一种布局模型可能就崩了。这次合作的思路不太一样它把“视频生成模型”放在了更底层的位置。视频生成模型的本质是根据当前的画面和一段文本指令生成后续几秒会发生什么画面。比如你给它一张“手放在水杯旁边”的图再给它一句“拿起水杯喝水”它就能生成一段像模像样的未来画面。这个过程其实是在做“视觉预测”而机器人控制恰恰需要这种预测能力你得先预判物体怎么动、手应该往哪里放再决定要输出什么关节指令。所以视频生成模型在这里不是用来做特效而是被当成一个“物理世界模拟器”。传统物理仿真需要人为建模视频生成模型直接从真实视频数据里学哪个物体软、哪个物体容易滑、手碰到东西会怎么形变全部隐含在模型参数里。用它合成的视频再拿去训练机器人控制策略就能避开人工物理建模的局限。这其实是一个两层架构底层是视频生成世界模型负责“理解物理世界会怎么演变”上层是控制策略负责“基于这个理解输出具体动作”。先让世界模型看大量视频再让策略模型在世界模型生成的视频上练手。这种“先学规律再学动作”的路线比直接端到端更容易泛化。2.3 与仿真数据、扩散策略这些路线的关系你可能听过“扩散策略”“世界模型”这些词这里理一下它们的关系。扩散策略是目前机器人模仿学习里很常用的一种动作输出头它的特点是动作生成稳定、多模态能力强适合处理“同一个任务有不同做法”的情况。视频生成模型也可以作为这类策略的“大脑”给它提供更丰富的训练数据。仿真数据也没有被抛弃但它的角色变了。以前仿真数据是唯一的大规模数据来源现在视频生成模型可以先做一轮“预训练”让模型理解基本物理规律仿真数据再用来做“域随机化”也就是在虚拟环境里故意改变物体颜色、位置、摩擦力让模型学会适应各种变化最后用少量真机数据做“微调”把虚拟训练的成果对齐到真实硬件上。所以这不是一个“谁替代谁”的问题而是多条数据源开始融合。视频提供真实世界的丰富性和多样性仿真提供可控性和批量生产能力真机数据提供最后的保底精度。三者组合起来才可能支持真正通用的人形机器人控制。3. 核心环节拆解从海量视频到机器人动作3.1 数据从哪来清洗和筛选比想象中重要如果真去走这一套流程你会发现第一步最耗时的工作不是训练模型而是处理视频数据。互联网视频虽然多但绝大多数不能直接用。你要找的不是随便一条视频而是“单视角、画面稳定、操作主体清晰、动作完整、没有镜头切换”的日常操作视频。做饭视频虽然有大量手部操作但很多视频剪辑频繁、滤镜严重、镜头角度乱变这些对训练来说都是噪声。我自己的经验是数据清洗要分成粗筛和精筛两步。粗筛阶段可以用现成的多模态模型给每条视频打标签判断它是否符合“人操作物体”这个基本前提把风景、对话访谈、纯动画这些无关内容直接过滤掉。精筛阶段则要检查更细的维度画面里是否出现手或者工具、手指和物体的接触是否清晰、动作有没有被镜头切换打断、相机移动是否过大。清洗完的数据也不是直接扔进模型还需要做分帧和时间对齐。常见的做法是把一段连续视频按每秒3到6帧抽取关键帧再把连续的帧打包成“视频片段”。为什么要抽帧而不是用所有帧因为相邻两帧之间的变化很小信息冗余太高抽帧既能降低计算量又能让模型把注意力放在真正重要的状态变化上。提示不要只关注数据量大小更要在意数据的“行为多样性”。同样一条“拿起杯子”的视频如果换了十种光照、五种桌面背景比同场景下采集一百条同样角度的数据有价值得多。多样性决定了泛化能力的上限。3.2 从像素到动作VLA 模型的接入方式数据准备好之后就到了模型结构设计这一步。现在业内比较主流的方向是 VLA也就是“视觉-语言-动作”模型。输入是一段视频画面和一句任务描述输出是机器人要执行的关节动作序列。它把自然语言理解、视觉理解和动作生成统一到了一个模型里好处是可以用同一个模型处理很多不同任务而不是一个任务单独训一个网络。在视频训练这条路线里VLA模型的上游一般会接一个视频特征提取器先把连续帧压缩成时空特征。这一步通常由一个视频编码器完成它会把一段 128 帧的画面编码成一串固定长度的向量序列。然后语言指令通过文本编码器也变成一个向量两者拼在一起统一交给一个 Transformer 主干网络做融合推理。最后融合好的特征会经过一个动作解码器输出机器人各关节的目标角度或目标速度。这里有个关键设计点动作解码器的选择。早期方案直接让模型回归关节角度数值效果很不稳定因为同一段画面对应的合理动作可能有多种强制求一个平均值反而会让动作变得模糊。后来业内换成了扩散策略头也就是用扩散模型的方式从噪声中一步一步生成动作序列整个过程更稳定也更能表达“多种动作都合理”的情况。现在绝大部分先进的 VLA 方案基本都会采用这种扩散式动作输出。3.3 训练流程和计算量一个量级估算模型结构定下来后真正要面对的是算力工程。我来按一个中等规模的实验做一次估算给你一个直观感受。假设清洗后得到了 1.5 万段高质量操作视频每段平均时长 6 秒按 3 帧每秒抽帧总共约 27 万帧。如果把每 16 帧当作一个训练样本那一共可以得到约 1.7 万个训练窗口。训练时设置批次大小 32窗口长度 128 帧那么每步训练会消耗约 4096 帧。跑完整个训练集一轮大约需要 530 步。如果想让模型真正学到稳定的物理规律通常要训练 200 个 epoch也就是大约 10.6 万步。在 8 张主流训练卡上每一步大概耗时 0.8 秒整个训练过程差不多要 24 小时左右。这只是“视频世界模型”这一层的训练量。上层策略模型还要在生成的视频上继续训练这部分由于视频生成本身要迭代采样计算量通常更大。所以一个团队如果决定走视频训练路线没有稳定的算力预算很难做出成果。很多失败项目不是算法不行而是算力规划在一开始就没算清楚。3.4 评估和闭环验证训练完之后怎么知道模型真的学会了这一步行业内叫闭环验证因为机器人不能只看离线指标必须放到真实环境里执行观察它能不能完成任务。我见过不少团队在训练集上指标刷得很漂亮图像生成质量也很高但一到真机就发现动作卡顿、物体抓不住原因大多在于离线指标选错了。建议评估体系分三层。第一层看视频生成质量也就是世界模型生成的未来帧是否符合物理规律有没有出现物体穿模、手部畸形、位置跳变这类严重错误。第二层看策略模型在固定视频输入下的动作合理性也就是把同样的视频喂给策略看输出的动作轨迹是否平滑、是否符合任务语义。第三层才是真机成功率用固定的初始条件跑几十次任务统计成功比例。注意只盯真机成功率还不够一定要记录失败模式。是真机执行时抓取偏移还是模型根本没理解任务这两种失败要分开统计。如果问题出在“没理解任务”那调动作层参数没有用得回数据清洗和标注环节找原因。4. 实际操作中踩过的坑与排查实录4.1 视频里出现“六指神手”和畸形手指视频生成模型的一个典型问题是生成画面里的手常常出现奇怪的结构比如多了一根手指、手指穿进物体、手和物体之间的接触位置完全不合理。这对人类观看来说只是别扭但对机器人控制来说却是致命的因为策略模型会把这种错误的接触信息学到脑子里。排查时发现这类问题往往不是模型容量不够而是训练数据里的手部区域占比太小。一帧 1080p 的画面手可能只占几十个像素模型在重建时容易忽略细节。对策有两个方向一是数据筛选时专门过滤手指畸形的片段这可以通过一个现成的手部关键点检测器来自动完成二是在训练时对视频里的手部区域做局部放大让模型把更多注意力放在手和物体的交互上。4.2 第三人称视频如何用在第一人称机器人上互联网上绝大多数操作视频都是第三人称视角从侧面或者斜上方拍摄。而机器人头上装的相机通常是第一人称视角。这个视角差异会让策略模型在迁移时产生巨大困惑画面里手的相对位置、物体的尺度、背景的透视关系全都不一样。解决思路有两种。第一种是“视角增强”把第三人称视频按不同角度做随机裁剪、旋转、仿射变换强迫模型对视角变化不敏感。这种做法工程上简单有效但解决不了彻底的透视关系差异。第二种是“视角转换”用单目深度估计加新视角渲染把第三人称视频重建成第一人称视角的画面。这条路效果更好但多了一步额外的重建流程而且重建质量会直接影响后续训练。我当时实际做下来建议先从视角增强开始因为它足够简单而且能快速验证系统能不能端到端跑通。不要一开始就上很重的视角转换管线否则排查问题的面会变得很大。4.3 生成视频看似合理实则“物理幻觉”这也是视频训练最隐蔽的坑之一。生成模型有可能生成一段看起来很流畅、很真实但实际上违反物理规律的视频。比如一个杯子被手推了一下按物理规律应该往前滑动模型可能让杯子飘起来毛巾被拿起来之后应该垂下来模型可能让毛巾保持在半空僵住。如果你只看画面很难发现这些问题因为生成视频在局部纹理和光线上做得太好了。但策略模型一旦在这些“幻觉数据”上训练就会学到错误的行为先验。要解决这个问题最直接的办法是在训练集中混入一部分由传统物理仿真生成的数据它们虽然不够真实但物理规律绝对正确。用物理仿真的数据去“对冲”生成视频的幻觉能在训练层面显著提高策略的物理正确性。另外建议在数据管道里加一条“物理一致性校验”通过目标检测和光流法追踪视频里物体的运动轨迹再用简单的运动学公式检查轨迹是否符合常理。这样可以自动过滤掉一部分明显的物理幻觉样本。4.4 算力估算失控视频生成太吃显存如果只是训练策略模型算力还好控制但一旦接入视频生成模型资源开销就会呈几何级数上涨。视频生成模型在预测未来帧的时候需要同时处理图像、文本、时间步三个维度的信息推理时的显存占用远高于普通图像模型。一个非常现实的问题是视频生成的 batch size 稍微调大一点显存直接溢出。很多团队会在这一步把训练批次从 32 降到 4结果梯度噪声变大模型很难收敛。我的建议是不要把视频生成模型的训练和策略模型的训练放在同一个时间周期里。先单独训练好一个通用视频生成器再离线批量生成训练数据最后交给策略模型去训练。这样每个阶段都可以把硬件资源调到最合适的规模而不是挤在一起互相拖累。下面这个表是我整理出来的常见问题速查清单对应排查优先级从高到低排列。问题现象可能原因排查手段建议对策生成画面手部畸形手部区域像素占比低检测手部关键点过滤异常帧局部放大训练真机视角与训练视角不一致训练数据以第三人称为主对比真机与训练画面的特征分布视角增强或加装更接近第一人称的相机模型对物体运动预测不合理视频生成模型学到物理幻觉用光流法追踪物体轨迹混入物理仿真数据平衡数据分布训练时显存溢出视频生成模型输入过长、batch过大监控显存占用和有效批次分阶段训生成器和策略降低单步帧数策略在生成视频上挺好真机变笨生成数据与真实世界仍有偏移单独做真机盲测保留一定比例真机数据做微调5. 视频训练对机器人行业的影响范围5.1 数据壁垒被打下来一个量级如果这条路真正跑通最大的行业变化不是某个机器人变聪明了而是整个行业的“数据供给方式”变了。以前想做一个新任务先招操作员、租硬件、搭遥操作系统折腾几个月才攒出一批数据。以后可能只需要搜集相关的人类操作视频清洗一下就能变成机器人的训练数据。数据成本会下降一到两个数量级很多原本觉得“数据太少做不了”的小团队也能进入人形机器人和具身智能这个赛道。这会倒逼硬件公司重新思考机器人的本体设计。以前因为数据采集难很多团队只能把机器人做成固定工位臂现在如果视频训练成熟自由移动、多技能的双足人形机器人就可能从实验室走进更多真实场景。谁能先把手上的硬件数据和视频数据打通谁就有机会在下一阶段占住位置。5.2 视频生成器会成为“新的物理引擎”还有一个不容易被注意的影响是视频生成模型未来可能取代部分传统物理引擎的工作。传统仿真器需要工程师为每个物体建模、设置约束、写接触动力学代码复杂又费时。视频生成模型直接从真实观测数据中学习物理规律一旦成熟它很可能成为一种更通用、更廉价的世界模拟工具。这也意味着训练机器人的基础设施会从现在的“仿真环境 API”转向“视频生成模型 API”。你输入一段初始状态和任务描述它就给你生成几百条可能的过程视频策略模型再从中筛选和学习。这种工作方式的转变会影响一代算法工程师的技术栈。5.3 产业落地的可能顺序从产业落地节奏来看我判断最先跑起来的会是结构化程度最高的场景比如仓储分拣、巡检、实验室操作。这些场景的真实视频相对好找动作空间有限物理规律也相对简单。紧接着是家庭服务里的基础任务比如桌面整理、衣物折叠、简单清洁。最难的最后才是完全开放环境下的复杂操作比如做饭、维修、照护这类场景的物理交互过于复杂视频训练只是其中一环还少不了多模态感知和更强的大模型推理能力。如果你所在团队正在评估要不要跟进视频训练我给的建议是先从单个场景的“数据管道”做起不要一上来就搞大而全的通用模型。先选一个视频资源丰富、机器人本体可控的任务比如桌面物体抓取把视频清洗、世界模型预训练、策略模型训练、真机闭环这一整条链路打通。跑通之后再横向扩展任务范围。这个做法虽然看起来慢但每一步踩到的坑都是可复用的比憋大招实际得多。我从自己做类似项目的过程里最深的一个体会是视频训练最大的价值不是“省掉数据采集”而是逼着整个项目组把“模型怎么理解物理世界”这个问题想得更清楚。以前我们总在调策略网络的结构后来发现瓶颈根本不在策略层而在数据层——训练数据里缺少对物体间相互作用关系的抽象表达。只有把世界模型这一步做扎实了上层策略才能不再盲目。最后分享一个实操层面的小经验不管用什么现成的视频生成模型做预训练都要在内部保留至少 10% 的真实演示数据用于最后的微调。视频数据负责打开泛化能力的上限真实数据负责兜住物理执行的下限两者缺一不可。这个比例不一定最优但它能让你在各种任务上少走很多弯路。