最近圈子里的讨论基本被一份 benchmark 结果带火了。标题看着挺冲——“VLA 到底懂不懂物理世界一个 benchmark 把遮羞布撕了”——但说实话这个结论我一点都不意外。VLA 这个词已经热了大半年从 RT-2 到 OpenVLA 再到 π0每个新模型发布都有人喊“机器人终于理解世界了”可一旦把任务换成“物体被遮住之后还在不在”“同样形状的积木滚下去会怎么落”“那根棍子能不能把球拨过来”这种幼儿园物理题大多数 VLA 当场翻车。这篇文章我不打算复述某个具体的测试报告而是想结合我自己复现和评测 VLA 模型的经验把三件事讲清楚VLA 到底是什么、那个 benchmark 为什么能撕开它的遮羞布、以及这件事对想复现和落地 VLA 的人意味着什么。无论你是刚入行想做机器人数据采集还是已经在调 π0 这类模型的部署这文章都能给你省不少弯路。1. 先对齐基础VLA 究竟是个什么玩意儿1.1 一个模型还是两个模型网上关于 VLA 有个特别高频的搜索词“vla模型是一个模型还是2个模型”。这问题问得挺真实因为 VLA 这个名字里的三个字母——Vision、Language、Action——看起来就像把三个模块拼在一起。早期确实有人这么做比如把视觉模型输出的向量直接塞给语言模型再让语言模型吐一串动作 token这在架构图上画出来就是三段式的“拼接模型”。但严格意义上现在大家说的 VLA 是一个端到端模型视觉编码器、语言主干、动作头都放在同一个网络里一起训练。你给它一张图加一句指令它直接输出动作中间没有单独的“目标检测模块”也没有单独的“轨迹规划模块”。为什么搞清这件事很重要因为“一个模型还是两个模型”直接决定了你会怎么看待它的能力和局限。如果你把 VLA 理解为“两个模型拼起来”你会天然觉得视觉那部分可以很笨语言那部分可以瞎编动作那部分只是查表——出了问题你还会觉得是某个模块的锅。但实际上 VLA 的物理理解能力差是整体性的视觉特征里就没有隐含物理量语言表征里也没有动态推理动作头只是把前两者的错误理解映射成错误轨迹罢了。π0 这类模型虽然加了 flow matching 动作专家看起来像是额外的一个头但它依然是在同一个梯度流里端到端更新的不是独立训练的。1.2 VLA 凭什么让人产生“懂物理”的错觉VLA 给人“理解世界”的错觉来源是训练数据。一个典型 VLA 的训练集包含两部分海量的互联网图文数据和一定量的机器人操作数据。互联网图文数据里有大量“苹果会从树上掉下来”“杯子里有水才能倒出来”这种常识性描述模型读完这些文本后确实能在语义层面复述物理规律。你问它“一个球从桌子上滚下来会怎样”它能答“会掉到地上”。但这是语言统计不是物理仿真。更有迷惑性的是操作数据。π0 和 OpenVLA 在训练时用的都是人类远程操作的轨迹轨迹里天然包含完整的物理过程手伸过去、抓住物体、克服重力提起、放稳。模型学会了在给定图像上下文时输出类似的力轨迹看起来就像“知道物体有重量”。可一旦测试环境里物体的质量分布变了、摩擦系数变了、或者需要预测一个它没操作过的物体的运动它就原形毕露。说白了VLA 学到的物理是“打标签式”的物理是数据分布里被反复灌输的那一小撮物理而不是可计算的、可外推的物理。2. 那份 benchmark 是怎么设计的2.1 从“操控成功率”转向“物理理解力”大多数公开的机器人评测都盯着一个指标任务成功率。倒水成功、抓取成功、叠衣服成功成功率刷到 90% 就是好模型。但成功率高有几个水分很大的来源。第一测试场景和训练数据高度重叠模型本质是记住了这个场景里该出的动作序列跟理解不理解没关系。第二成功率是“最终结果”导向的哪怕模型中途撞飞了一个杯子只要最后把目标物体放对了位置也算成功。第三很多评测环境里物体是固定的不会掉落、不会滑动、不会因为接触而产生连锁运动等于把物理变量全关掉了。那份引起讨论的 benchmark 做的第一件事就是把评测重心从“任务完成度”挪到“物理预测与物理推理”上。它不再问你“能不能完成任务”而是直接问一系列物理问题一个物体被遮挡后模型能否判断它仍然存在并且位置合理一个物体在斜坡上模型能否预测它的滑动方向两个物体碰撞后运动状态如何变化一个柔性物体被推挤后形变大概是什么样子这些问题的共同点是不能靠“记住某个操作序列”来回答必须真的建立一个关于世界的隐含模型才能答对。2.2 评测协议的三个关键设计这个 benchmark 有三个设计细节我觉得很关键直接决定了测试结果的“杀伤力”。第一它把语言问题包装成多选或对错判断而不是让 VLA 自由发挥。给模型一个场景图加一句“桌面上的球被手推向左边的障碍物球的运动方向最可能是A 绕过障碍物继续左移B 停在障碍物前C 弹回右边”模型如果输出“停在障碍物前”说明它只学到了“障碍物会挡住东西”这个泛泛的语义而没有学到动量守恒和接触动力学。自由生成会引入太多解码噪声多选判断能干净地暴露模型内部的物理知识。第二它把“已知场景”和“奇异场景”分开测试。已知场景是训练数据里常见的情况比如桌上推杯子奇异场景则把物体换成没见过的组合比如把高跟鞋放在传送带上、把足球放在倾斜的托盘里。奇异场景是撕遮羞布的关键——统计学习模型在分布内可以靠记忆答题出了分布只能靠真实理解而 VLA 的真实理解几乎为零。第三它引入“事件序列预测”。连续给模型三帧图像让模型预测第四帧物体位置。这比单张图问答难得多因为它强迫模型做动态推理而不只是静态场景理解。VLA 在这里的表现尤其惨烈很多模型在第二三帧还能对上到第四帧直接预测出“物体穿过了桌面”这种违反常识的结果。3. 结果拆解VLA 到底在哪几个维度露怯3.1 物体恒存遮住就等于消失最打脸的一个维度是物体恒存。给模型看一个杯子放在桌上然后推入一个遮挡板把杯子完全挡住问“杯子的位置在哪里”VLA 的回答五花八门有的说杯子在挡板的位置有的说杯子消失了有的干脆拒绝回答。这个现象在认知科学里对应的是“客体永久性”——婴儿大概在 8 到 12 个月时发展出这个能力而当前最强的 VLA 在这个测试上的表现跟几个月的婴儿差不多。为什么 VLA 学不会物体恒存根源是训练数据的表征方式。图像序列输入时遮挡后的帧里确实没有杯子的像素信息模型只能靠“猜”。如果训练数据里被遮挡物体大多数时候真的不存在比如数据采集时物体被移走了模型就会学会“看不见就是没有了”。这个偏差会直接传导到真机操作上机械臂抓取一个物体手爪靠近后物体被手爪挡住了一部分VLA 可能就会认为物体消失了从而中断动作或者乱动。我实测过 OpenVLA 在遮挡场景下的表现它甚至会输出“去拿另一个可见物体”这种荒谬动作。3.2 动态物理把“倾向性”当成“预测”第二个翻车点是动态物理预测。给 VLA 看一个杯子在桌边只有一小半悬空问“接下来会发生什么”它能答出“会掉下去”。这看起来不错吧但你换个问法杯子悬空 10% 和悬空 90%哪个更容易掉模型答不上来。再换个问法同样是悬空 50%桌面是木质还是冰面杯子掉落的轨迹有何不同模型依然无法回答。这说明 VLA 学到的是“接近边缘危险”这个语言标签式的倾向性而不是力矩、重心、摩擦系数这些物理量之间的关系。它知道“悬空多了会掉”但不知道“多少算多”。这种半吊子理解在真机部署时非常危险机器人执行“把杯子推到桌子中央”的任务如果模型判断“杯子到了桌子 60% 位置就算安全”但实际上对于细长杯子来说60% 位置重心已经超出桌面边缘了就会在推的过程中把杯子推下去。语言模型学到的语义常识太粗糙物理恰恰是“差之毫厘谬以千里”的领域。3.3 工具与因果动作链条一长就崩第三个也是最能体现“不懂物理”的维度是工具使用和多步因果推理。测试里有一种经典任务一根棍子在地上目标物体在远处够不着需要用棍子把物体拨过来。VLA 的表现很有意思——它能认出“棍子可以用”因为它看过很多“用工具够东西”的图文数据但真到操作时它完全不懂“棍子长度决定了你需要站在多远”“棍子末端与物体的接触点决定了物体往哪边滚”。多步因果更是一塌糊涂。给一个场景“杯子在桌边先轻轻推一下让杯子滑出去”问“接下来最应该做什么”正确做法是“去接住杯子或将危险物品移开”。VLA 给出的回答经常是“把杯子放回原位”相当于它把“推杯子”和“杯子在桌上”这两个状态割裂了完全没意识到推这个动作已经改变了世界的状态。这种“不维护世界状态”的问题根子在于 VLA 没有显式的状态跟踪机制每个时刻的输入都是独立的图像帧模型没有把上一帧的动作结果正确地写进这一帧的理解里。4. 为什么 VLA 学不会物理机理层面的三个原因4.1 统计关联不等于因果模型VLA 的训练本质是拟合条件分布 P(动作|图像, 指令)优化目标是让输出动作与训练数据里的动作尽量接近。这个过程学的是相关性看到“苹果在地上”和“球在地上”模型输出的动作可能很接近因为训练数据里这两个场景下人的操作可能很接近。但它不知道“苹果和球的共同特征是‘会滚动’”更不知道“如果一个物体有棱角它就不会滚”。因果模型需要的是“如果我不施加力物体会保持原状态如果我施加力物体的状态会按 Fma 改变”这是一种反事实推理能力。而 VLA 的训练目标里根本没有反事实监督——它只见过“人是怎么做的”没见过“如果人换一种做法世界会怎样”。没有反事实数据的模型就像考驾照只背题库但从来没在真实路面开过车的人题库里的题目覆盖了能过稍微变形立刻崩溃。4.2 训练目标和评测目标错位VLA 的训练损失主要由动作预测误差构成语言部分也只是标准的 next-token prediction。这两个目标都鼓励模型“像人一样输出”而不是“准确地建模世界”。训练一个 VLA 让它模仿人类的操作轨迹跟训练一个物理引擎是两回事。物理引擎的目标是“给定初始状态预测最终状态”而 VLA 的目标是“给定初始状态输出动作序列”。状态预测和动作生成之间存在一条巨大的鸿沟动作序列可以靠模仿编得像模像样但状态预测做不了假——你预测错了下一帧图像直接打脸。这也是为什么很多 VLA 在仿真里成功率能刷很高但一旦接入真机就毛病不断。仿真评测看的是“动作有没有完成”真机环境里模型预测出的动作会真实地改变物理世界然后再把改变后的世界作为下一帧输入。如果模型内在的世界模型是错的动作越流畅偏离真实世界就越快几秒之内就完全跑偏。4.3 数据的“物理熵”太低很多人以为 VLA 物理能力差是模型容量不够、是参数量不够大。我给模型加参数、加算力是不是物理能力就上来了答案是否定的。物理常识能力首先取决于数据里有多少“物理多样性”。现在的主流 VLA 训练数据是什么桌面抓取、倒水、开抽屉、叠衣服这些操作的物理变量非常有限物体基本都是刚体、桌面基本是水平、重力方向永远向下、摩擦力范围很窄。模型在这些数据里见过的“物理”只是物理世界的极小子集。对比一下人类婴儿的成长环境物体从各个角度掉落、不同材质在地板上滑动、风吹动轻物、水从容器里溅出。数据多样性上差了两个数量级模型自然学不到丰富的物理先验。我见过有人用 5 万条包含“随机掉落”“斜坡滑动”“碰撞反弹”的合成数据去微调 VLA物理问答能力立刻涨了十几个点。这说明不是模型“学不会”而是大家给它的物理课本来来回回就只有那几页。5. 对复现和落地的人意味着什么5.1 复现 VLA 时最该盯住哪些环节现在想复现 VLA 的团队不少毕竟“派0 vla”这类模型的开源权重已经出来照着推理部署看起来很简单。但如果你把模型跑通就以为万事大吉后面大概率会被物理短板坑得怀疑人生。复现时我建议你把注意力放在三个地方。第一个是数据管道的“状态对齐”。你的训练数据除了图像和动作一定要记录稠密的状态信息物体位置、速度、接触点、力传感器的读数。没有这些状态标签你后续想评估模型是否“懂物理”都无从下手。很多开源数据集只给了视频和动作你只能从像素里榨取状态精度惨不忍睹。第二个是评测集的设计。不要只测成功率要单独建立一个“物理异常检测”集把训练场景里的物体质量、摩擦、重力方向随手改一改看模型输出是否合理。这个评测集不需要多大一两百条就足够暴露问题。我在实际工作中发现一个 150 条的物理评测集比 3000 条成功率评测更能反映模型部署后的真实表现。第三个是模型输出的校准。VLA 动作头输出的常常是一个连续轨迹分布π0 用 flow matching 尤其明显你要做的不只是取均值而是看整个分布的置信区间。当模型面对物理上不可能的输入时输出分布的方差通常会暴增。这个方差就是免费的“我不懂”信号可以用来触发安全策略比如让机器人停下来等待人类指令而不是硬着头皮执行。5.2 VLA 落地什么时候可以信它什么时候不能信被 benchmark 撕了遮羞布之后有些人走向另一个极端说 VLA 一点物理能力都没有是纯骗局。我觉得这也不客观。更准确的说法是VLA 适合做“分布内的高频操作”不适合做“分布外的物理推理”。什么是分布内就是训练数据里反复出现过的物体、场景和动作模式。比如一个在 10 万条桌面上抓取杯子的数据上训练过的模型你让它去抓一个和训练集很像的杯子成功率完全可以接受。什么是分布外换一个材质表面、换一个没见过形状的物体、或者任务本身需要多步因果链这时候模型输出的可靠性断崖式下跌。落地时你可以做一个简单的风险评估矩阵物体是否见过、表面是否常见、任务是否需要长程推理、是否存在被遮挡后的状态变化。四个维度只要有一个黄了就别让 VLA 全权负责。我在部署 π0 时养成的习惯是VLA 负责“我认为可以怎么动”但加一层轻量的规则/物理检查器专门拦截那些“物体位置不合理”“速度突变”“穿越障碍”的输出。这层检查器不复杂几十行代码就能实现刚体碰撞和边界约束但能挡掉 VLA 大部分物理幻觉。5.3 给模型补物理三条可行的路线既然 VLA 不懂物理接下来自然的问题是怎么补。我目前看到有三条路线每条都有人在做各有取舍。第一条是“数据补课”。用物理引擎生成大量含物理标注的合成数据注入 VLA 的预训练或微调阶段。这条路效果好且通用缺点是成本高而且仿真到真机的 gap 依然存在。你生成的数据如果物理参数范围不够宽模型还是只能记住那一小撮物理。第二条是“世界模型辅助”。让 VLA 由“直接从图像到动作”变成“图像到潜在世界状态再到动作”。也就是训练一个额外的世界模型头专门预测下一帧的状态变化再让动作头基于预测出的状态来决策。相当于给模型装了一个“内部物理引擎”这个引擎虽然也是学的但它的学习目标直接对齐物理预测比端到端动作模仿更接近因果建模。第三条是“外部物理检查器 规划器”。不做端到端的物理理解而是让 VLA 提出动作意图再用经典物理引擎或运动规划器去解析、校验、修正。这条路线成本最低、效果最稳但介于 VLA 的“智能”主要在语言语义上物理部分完全交给外部工具等于给机器人装了一副“物理拐杖”。我个人认为短期落地最靠谱的就是第三条长期看第二条有潜力成为 VLA 的下一代形态。6. 常见疑问速查与避坑心得6.1 VLA 模型是什么一个模型还是两个模型再回答一遍这个高频问题。VLA 是一个统一的神经网络内部由视觉编码器、语言骨干、动作解码器组成三者共享参数进行端到端训练输出直接是动作。你可以把它理解为“一个模型”因为它只有一个优化目标、一套权重。但你又不能把它理解为“一个黑盒”因为它的三个组件各自承接不同的表征视觉部分负责物体识别与空间关系语言部分负责指令语义和任务意图动作部分负责映射到运动空间。出错时你要会分诊图像里物体没认对大概率是视觉编码器的问题指令理解错了大概率是语言部分的问题两个都对但动作就是歪那才是动作头的问题。这么分诊能省无数排查时间。6.2 怎么快速判断一个 VLA 懂不懂物理不需要跑完整 benchmark有几个几秒钟就能做的快速测试。第一把场景图水平翻转看模型输入的动作是否还能合理执行——真正理解物理的模型对左右翻转通常依然趋向合理而记忆型模型会输出镜像错乱的动作。第二把物体的颜色换成训练集里没有的比如把红色杯子变成绿色看成功率是否大幅度下降如果下降明显说明模型依赖的是外观而非几何物理。第三用一张“物体悬空”的静态图问模型物体是否稳定——能果断说出“会掉”说明有基本常识支支吾吾或者煞有介事地分析“可以通过改变重心维持”的就是典型的语言模型逻辑自洽但物理为零。6.3 评测集里的常见坑如果你打算自己搭一个 VLA 物理评测集有几个坑我踩过提前说给你。第一别只给模型看最终结果图。物理推理测试必须给模型看连续帧或完整的初始状态描述单张静态图会让模型永远无法确定物体的运动方向。第二别用语言描述替代视觉输入。有些评测为了方便把场景写成文字给模型但 VLA 的视觉通道和语言通道很可能没有对齐文字描述会掩盖视觉理解的缺失。第三别忽略动作解码器的随机性。同样的输入模型跑十次可能给出十个不同的动作分布评测时必须多次采样取统计结果否则你以为模型“这次猜对了”其实是“这次碰巧猜对了”。6.4 这波 benchmark 对行业真正的价值我记得前两年 VLA 刚火的时候整个圈子的叙事都是“十个模型九个理解世界”谁要质疑就会被打成“不懂多模态”。现在这个 benchmark 把话题拉回了一个更健康的方向VLA 到底在什么条件下可靠、在什么条件下不可靠。这件事对行业最大的贡献不是打击某个具体模型而是逼着大家重新审视评测标准——从“成功率主义”转向“能力白盒化”。白盒化意味着每个模型发布时都要回答几个问题你的模型训练数据里有多少物理多样性你的模型在分布外场景上的失败模式是什么你是否有检测自身不确定性的机制能回答这些问题的 VLA即使物理能力依然有天花板也比那些“成功率 95% 但不知道为何失败”的模型更值得信任。我在自己团队的模型卡里已经把物理评测集列为必测项跟成功率评测放在同一张表里。这不是额外负担而是给所有下游开发者的一张诚实说明书。7. 最后分享一点我个人评测中的观察跟 VLA 模型打了一年多交道我最深的一个体会是模型在 benchmark 上的表现很多时候比它在真机上的表现更能反映本质。真机测试时噪声太大——关节抖动、相机标定误差、物体初始位置偏移这些噪声会掩盖模型的真实能力差距。而一个设计良好的物理 benchmark可以把所有外部噪声降到最低让模型的“内部物理模型”赤裸裸地暴露出来。所以别嫌这个 benchmark 太“简单粗暴”简单的问题反而最容易区分“真懂”和“背题”。还有一个观察想多说一句VLA 团队在发布模型时几乎不会主动公布物理推理的失败案例。这不一定是故意隐瞒而是大家默认“机器人模型就该看成功率”。但作为使用方你要主动去挖失败案例。方法很简单——把你测试集里成功率最高的 20 个场景逐一可视化看模型在每个场景里失败的那几次到底是怎么失败的。我敢打赌你会发现大多数失败都可以归类为“物理常识错误”而不是“视觉识别错误”或“动作精度不够”。看清这一点你对 VLA 能力的认知会立刻变得清醒。如果你接下来也要复现或部署 VLA我的建议是别把时间花在刷成功率数字上把时间花在建设自己的物理评测集和失败分析流程上。前者让你看起来很厉害后者让你真正知道自己模型的边界在哪。边界清楚了你才能决定哪些任务可以交给它哪些任务需要你兜底。这份 benchmark 撕开的不是某一个模型的遮羞布是整个 VLA 评价体系的遮羞布——而我们这些做实际工程的人恰恰是最需要这份清醒的。