1. 项目概述当机器人学会“看、说、做”最近在准备一个关于机器人学前沿的预答辩核心主题是“Vision-Language-Action (VLA) Models”也就是视觉-语言-动作模型。这玩意儿现在火得不行简单说它试图让机器人像人一样把眼睛看到的、嘴里能描述的、手里能做的这三件事给打通了。过去我们搞机器人视觉感知、自然语言理解、动作控制往往是三个独立的模块像三个各说各话的部门中间需要大量的“翻译”和“接口”才能协同工作。结果就是系统脆弱、泛化能力差换个场景、换个任务就得重新调教费时费力。VLA模型的出现就是想从根本上解决这个问题。它的野心很大希望通过海量的多模态数据图像、视频、文本、动作指令、机器人关节轨迹等进行端到端的训练直接学出一个统一的“世界模型”。这个模型接收视觉观察和语言指令然后直接输出机器人该执行的动作。听起来是不是有点像给机器人装了一个基于多模态大模型的“通用大脑”没错这就是当前具身智能领域最令人兴奋的方向之一。无论是让机械臂根据“请把那个红色的马克杯放到桌子左上角”的指令完成操作还是让移动机器人在陌生家庭环境中执行“去卧室把充电器拿来”这种复合任务VLA都被寄予厚望。我这次分享的重点不仅仅是介绍VLA是什么更想深入拆解它从理论走向现实应用所面临的核心挑战、主流的技术路径以及我们作为一线研发者在尝试复现或应用这类模型时那些论文里不会写的“坑”和实战心得。如果你正在关注机器人、多模态大模型或者具身智能希望这篇结合了最新综述和我个人思考的总结能给你带来一些实实在在的参考。2. VLA模型的核心架构与演进逻辑要理解VLA不能把它看成一个突然蹦出来的新东西而应该看作是多模态理解和机器人控制两条技术脉络交汇、演进的必然结果。它的架构设计深刻反映了研究者们如何一步步地尝试弥合“感知”与“行动”之间的语义鸿沟。2.1 从模块化到端到端策略学习范式的转变传统的机器人流水线是典型的模块化设计。一个任务下来先走视觉模块进行物体检测、位姿估计输出一堆坐标和类别标签然后这些结构化信息被送入任务规划模块可能结合语言指令进行解析生成一系列子目标比如“移动到A点”、“抓取B物体”最后这些子目标被发送给底层的运动规划与控制模块计算出具体的关节力矩或电机转速。这套流程的优点是每个模块相对独立可解释性强。但缺点也极其明显误差会逐级累积任何一个模块的失败都会导致全局失败。更重要的是它严重依赖精确的环境模型和手工制定的规则无法适应开放世界中无穷无尽的未知物体和复杂场景。VLA模型代表的端到端范式则试图抛弃这种严格的层级划分。它的输入是原始的视觉观测如图像序列和原始的语言指令输出是低层的动作指令如关节角度、末端执行器速度。模型内部的所有“理解”、“规划”和“控制”过程都被封装在一个巨大的神经网络里通过数据驱动的方式自动学习。这种范式的优势在于潜力巨大的泛化能力——模型从海量数据中学到的是视觉、语言和动作之间更本质的关联而非针对特定传感器或执行器的硬编码规则。然而它也对数据规模、质量以及模型的学习能力提出了前所未有的要求。2.2 主流架构拆解编码器-适配器-解码器的三重奏尽管具体实现千变万化但当前主流的VLA模型架构可以抽象为一个相对统一的三段式框架多模态编码器、模态对齐与融合适配器、以及动作解码器。1. 多模态编码器冻结还是微调视觉编码器通常基于强大的预训练视觉模型如CLIP的ViT、DINOv2甚至是视频理解模型。语言编码器则普遍采用像GPT、LLaMA这类大语言模型LLM的文本编码部分。这里第一个关键决策点就出现了是直接冻结Frozen这些预训练好的编码器只把它们当作特征提取器还是对其进行微调Fine-tune冻结派优势明显。预训练模型已经包含了关于世界的大量先验知识CLIP理解视觉-语言关联LLM拥有常识和推理能力冻结它们可以极大保留这些知识防止在有限的机器人数据上过拟合同时训练成本低、稳定性高。许多工作如RT-2就采用了这种策略。微调派认为机器人数据分布与预训练数据的通用分布存在差异。例如机器人视角的图片往往是第一人称、包含机械臂、且关注操作区域的与ImageNet的图片风格迥异。微调编码器哪怕只是轻量级的LoRA可能有助于模型更好地适应机器人领域的视觉和语言模式。但这需要谨慎避免灾难性遗忘。我的经验是在数据量有限例如少于10万条指令-轨迹对的初期优先采用冻结策略把有限的算力和数据预算投入到适配器和解码器的训练上是更稳妥高效的起点。2. 模态对齐与融合适配器模型的核心“翻译官”这是VLA模型的灵魂所在。编码器产生的视觉特征和语言特征是不同空间的向量适配器的任务就是将它们“对齐”并“融合”到一个统一的表示空间中。常见的技术包括交叉注意力机制让语言特征作为Query去查询视觉特征中的相关信息或者反过来。这是最直接有效的融合方式之一。可学习的连接层例如将视觉特征通过一个线性层投影到语言模型的嵌入空间然后直接拼接或加到语言模型的中间层表示上让后续的LLM在理解指令时也能“看到”视觉信息。重参数化技巧像Perceiver Resampler这类模块可以将高维的视觉特征序列压缩成固定数量的“视觉令牌”再输入给LLM处理有效降低了计算负担。适配器的设计直接决定了模型能否精准理解“语言指令所指的视觉目标”以及“该目标与动作的关联”。一个常见的坑是如果融合不够充分模型可能会“听懂”指令但“看错”目标或者相反。3. 动作解码器从语义到执行的最后一公里融合后的多模态表示需要被解码成具体的机器人动作。这里主要有两大流派离散化动作表征将连续的动作空间如关节角度离散化成一个个“动作词汇”Action Token把动作预测变成一个序列生成任务复用LLM的文本生成头。RT-2就是典型代表。这样做的好处是能直接利用LLM强大的序列建模和生成能力但离散化会带来精度损失且动作序列通常比文本序列短很多可能造成能力浪费。连续动作预测使用一个专门的多层感知机MLP作为动作头直接回归连续的动作值如速度、位置增量。这种方式更直接精度高但需要从头训练这个MLP且其泛化能力依赖于前面融合特征的质量。选择哪种方式往往取决于你的机器人平台和任务类型。对于需要高精度轨迹跟踪的任务如装配连续动作可能更合适对于需要复杂任务分解和规划的场景如“做一顿早餐”离散化并利用LLM的推理能力可能更有优势。3. 数据驱动VLA的燃料与最大瓶颈如果说架构是VLA的骨架那么数据就是它的血液和肌肉。没有高质量、大规模、多样化的数据再精巧的架构也只是空中楼阁。然而机器人数据的获取成本极高这构成了VLA发展的核心瓶颈。3.1 数据收集策略仿真与现实的权衡1. 大规模仿真数据收集在模拟环境如Isaac Gym、MuJoCo、PyBullet中我们可以以极低的成本、极高的并行度收集海量数据。通过脚本化或引入一些随机策略能轻松生成数十万甚至百万级的观察指令动作三元组。这是目前绝大多数VLA研究工作的基石。仿真的优势在于可控、多样、无风险。你可以随意改变物体纹理、光照、布局甚至物理参数来增加数据的多样性。但它的致命弱点在于“模拟到现实的鸿沟”Sim2Real Gap。仿真中的视觉渲染、物理引擎与真实世界存在差异导致在仿真中训练出的策略在真实机器人上可能完全失效。2. 真实世界数据收集这是最宝贵但也最昂贵的数据。通常需要通过示教Teleoperation或者通过“人在回路”Human-in-the-loop的方式录制。例如操作员戴着VR设备控制机器人完成一系列任务同时录制第一人称视角视频和动作数据并事后或实时为每一段数据标注语言指令。真实数据质量高但规模有限且涉及硬件损耗、人力成本和时间成本。目前像Bridge V2、Open X-Embodiment这类大型真实机器人数据集的出现极大地推动了领域发展但其数据量和多样性仍无法与互联网规模的图文数据相比。3. 混合数据与合成数据一种务实的策略是“仿真预训练真实微调”。先在丰富的仿真数据上训练一个基础VLA模型让其学会基本的视觉-语言-动作映射然后再用相对少量的真实数据对模型进行微调使其适应真实的视觉外观和物理动力学。此外利用扩散模型等生成式AI技术根据文本指令合成逼真的机器人操作视频和对应的动作序列也是一个极具潜力的数据扩充方向但目前仍处于早期探索阶段。3.2 数据标注与指令生成自动化是关键为每一段机器人操作视频标注准确、多样化的语言指令本身就是一个劳动密集型任务。为了提高效率社区发展出一些自动化或半自动化的方法模板化指令生成基于场景中的物体类别、位置关系如“靠近”、“左边”和动作基元如“拿起”、“放置”自动组合成指令句子。例如检测到“杯子”在“桌子”上可以生成“拿起桌子上的杯子”。这种方法可大规模生成但语言多样性不足。大语言模型辅助标注将视频的关键帧信息如物体检测列表、场景描述输入给LLM让其生成更自然、多样的指令。例如“请把那个红色的星巴克杯子递给我”就比“抓取红色杯子”要生动得多。这能极大提升指令的自然度和复杂性。反事实数据增强在指令中故意引入一些模棱两可或需要推理的描述。例如场景中有两个红色杯子一个干净一个脏指令是“请把干净的红色杯子给我”。这能迫使模型学习更深层次的视觉理解和常识推理。实操心得数据质量比数量更重要。在项目初期我曾盲目追求仿真数据的规模用随机策略生成了上百万条数据。但后来发现其中大量数据是无效或低质量的例如机械臂在无意义地空挥或者指令与动作完全不匹配。训练出的模型表现非常不稳定。后来我们转而采用基于任务课程Task Curriculum的脚本化数据收集先从简单的单物体抓取开始确保每条数据都是成功且精确的演示再逐步增加任务复杂度多物体、需要避障、长视野规划。虽然数据总量只有之前的十分之一但训练出的模型收敛更快、性能更鲁棒。这印证了机器人学习中的一个基本原则高质量的成功演示数据其信息密度远高于杂乱无章的随机数据。4. 训练范式与损失函数设计有了架构和数据下一步就是如何训练。VLA的训练并非简单的监督学习它涉及多模态对齐、序列预测等多个目标。4.1 训练范式离线模仿学习与在线精化1. 离线模仿学习Offline Imitation Learning 这是目前VLA最主流的训练方式。直接使用收集好的观测指令动作三元组数据集进行监督训练。模型的学习目标是给定历史观测序列和语言指令预测出下一个或多个时间步的动作。这本质上是一个条件序列生成任务。它的优点是简单直接可以利用大规模离线数据集。但缺点也很明显它只是在模仿数据中的行为无法超越演示者的水平也无法从错误中学习因为数据集中通常只包含成功的轨迹。2. 行为克隆Behavior Cloning, BC的变体 标准的BC在长视野任务中容易因累积误差而失败。为此研究者们引入了许多技巧动作分块预测Action Chunking不再逐个时间步预测动作而是预测未来一个时间窗口如1秒内的整个动作序列。这有助于模型进行更长期的规划减少抖动。条件扩散策略Conditional Diffusion Policy将动作生成建模为一个去噪扩散过程。这种方法能生成更平滑、多模态即同一指令下可能存在多种合理动作的动作分布表现往往优于直接回归的MLP。3. 在线学习与强化学习RL精化 为了让模型能适应新环境或优化其行为可以在离线训练的基础上引入在线交互数据。例如让训练好的VLA模型在仿真或真实环境中运行收集其成功或失败的交互数据然后用这些新数据继续微调模型在线模仿学习。更进阶的做法是将VLA模型作为强化学习中的策略网络通过RL优化某些特定奖励如任务完成速度、能耗最小化。这能赋予模型自我改进的能力但实现复杂且需要精心设计奖励函数。4.2 损失函数多任务学习的艺术VLA的训练通常是一个多任务学习过程损失函数是几个子损失的加权和动作预测损失L_action这是核心损失。对于连续动作常用均方误差MSE或平滑L1损失对于离散动作则是交叉熵损失。视觉-语言对齐损失L_vl为了强化模型对指令和视觉场景对应关系的理解通常会引入一个辅助的对比学习损失。例如计算视觉特征和语言特征的相似度让匹配的图像指令对相似度更高不匹配的更低。这能有效防止模型“开小差”。未来预测损失L_pred有些工作会要求模型基于当前观测和指令预测未来几帧的视觉观测。这相当于让模型学习一个隐式的世界动力学模型有助于其进行更合理的规划。这通常通过一个额外的解码器来实现损失是图像重建损失如MSE。注意事项损失权重的调参是门玄学。在早期实验中我过于关注动作损失把它的权重设得非常高结果模型很快就能输出看似合理的动作但仔细分析发现它几乎完全忽略了语言指令变成了一个纯粹基于视觉的伺服控制器。后来我大幅提高了视觉-语言对齐损失的权重并加入了“指令混淆”的负样本例如给一个抓杯子的视频配一个“推倒盒子”的指令强迫模型去真正建立指令和视觉内容的关联。这个过程需要反复的验证不仅要看训练集上的损失下降曲线更要设计专门的验证任务来评估模型是否真的理解了指令。5. 评估与部署从仿真到真实世界的惊险一跃训练出一个在测试集上表现良好的VLA模型只是万里长征第一步。如何科学地评估它并最终将其部署到真实的机器人上才是真正的挑战。5.1 系统性评估基准一个全面的评估体系应该涵盖多个维度任务成功率最直接的指标。在一系列未见过的指令-场景组合下机器人成功完成任务的百分比。需要定义清晰的“成功”标准如物体被移动到了目标区域、门被成功打开等。泛化能力指令泛化对同一任务使用训练集中未出现过的同义句或更复杂的句式来发出指令。场景泛化在全新的背景、光照条件、物体摆放布局下测试。物体泛化要求操作训练集中从未出现过的物体类别但可能是已知类别的子类如不同形状的“杯子”。长视野与组合任务评估模型执行需要多步规划的任务能力例如“把桌子上的苹果放进冰箱然后关上门”。这考验模型的内部规划能力和记忆。效率与鲁棒性推理速度FPS、对感知噪声图像模糊、遮挡的鲁棒性、以及对动作执行误差的补偿能力。目前社区有一些公认的基准测试环境如Meta的Habitat、Google的RLBench以及基于真实机器人平台的基准如BEHAVIOR、ARMBench等。在研究中应在多个基准上进行综合评估而非只看单一指标。5.2 真实世界部署的工程挑战将VLA模型从实验室的仿真环境搬到真实机器人上会遇到一系列工程难题1. 感知差异与域适应仿真中的RGB图像干净、规整而真实相机图像存在噪声、畸变、动态模糊、曝光变化等问题。即使使用了仿真数据加真实数据微调的策略模型仍可能对某些真实世界特性敏感。一个实用的技巧是在输入真实图像前进行强化的数据增强包括随机颜色抖动、高斯模糊、模拟噪声等这相当于在推理阶段给模型增加了“抗干扰”能力。更高级的做法是引入一个轻量级的图像到图像的翻译网络将真实图像“风格迁移”到仿真域。2. 延迟与实时性VLA模型尤其是基于大型LLM的模型推理速度可能较慢。而机器人控制需要较高的频率通常10-100Hz。为了解决这个问题模型轻量化对LLM部分进行量化INT8、剪枝或知识蒸馏在精度和速度间取得平衡。异步推理流水线让感知VLA模型和控制运行在不同的线程或处理器上。VLA模型以较低频率如1-5Hz输出高层目标或路径点底层的高频控制器如PID、MPC负责跟踪这些目标。这要求VLA模型输出的动作指令具有一定的“时间扩展性”比如是未来几秒内的轨迹点序列。3. 安全性与失败恢复端到端模型是一个黑盒其决策过程难以解释。在真实部署中必须加入多层安全护栏Safety Layer动作过滤对模型输出的动作进行物理可行性检查如关节限位、速度/加速度限制、自碰撞检测。不确定性估计让模型输出其预测动作的置信度。当置信度过低时触发安全策略如停止运动或切换为人工遥控模式。人类监督与干预在关键任务中保持“人在回路”的能力允许操作员随时暂停或纠正机器人的行为。4. 持续学习与场景适应一个在实验室厨房训练好的VLA模型到了真正的家庭厨房可能还是会“懵”。因此部署后的模型需要具备一定的在线适应能力。这可以通过持续收集新环境下的成功操作数据哪怕是人工干预后完成的并定期用这些新数据对模型进行轻量级的微调来实现。这类似于让机器人“积累工作经验”。踩坑实录仿真里“王者”现实中“青铜”。我们最早的一个VLA模型在仿真测试中成功率高达95%兴冲冲地部署到真实的UR5机械臂上。第一个指令“拿起那个木块”就失败了。排查后发现几个问题1. 仿真中我们用的是无畸变的虚拟相机而真实相机有轻微的桶形畸变导致物体在图像边缘时的位置估计有偏差。2. 仿真中物体的3D模型是精确的而真实木块表面有反光导致视觉特征提取不稳定。3. 最重要的是仿真中我们假设抓取动作总是完美的而真实抓取存在滑移。模型没有学习到“抓取后需要确认是否拿稳”这样的恢复策略。解决方案是在仿真中引入相机畸变模型、增加物体材质的随机反光属性并在数据集中加入大量“抓取-滑落-调整”这样的恢复性轨迹。经过这些针对性改进后真实世界的成功率才逐步提升到可用的水平。6. 未来展望与个人思考VLA模型无疑为通用机器人学习打开了一扇充满希望的大门。它让我们看到了构建能够理解自然语言、感知复杂环境并执行精细操作的机器人的可能性。从近期趋势看我认为以下几个方向值得重点关注1. 更大规模、更多样化的数据集仍是王道。当前的数据瓶颈依然突出。我们需要更多跨任务、跨机器人平台、跨场景的开放数据集。类似于“机器人界的ImageNet”这样的基础数据设施将对整个领域产生深远影响。2. 模型架构的进一步统一与高效化。如何设计更高效、更轻量的适配器如何更好地利用LLM的内部知识进行推理和规划如何将视频理解能力更深度地整合进来都是活跃的研究课题。特别是如何让模型具备“世界模型”的想象和预测能力从而能进行更安全的试错和规划。3. 从模仿学习到目标条件与强化学习的融合。纯粹的模仿学习有其天花板。未来的VLA模型可能需要融合更多目标导向的强化学习范式让机器人不仅能模仿还能自主探索、优化策略甚至创造性地解决问题。4. 具身智能与物理理解的深度融合。当前的VLA模型更多是在学习视觉和语言的统计关联对物理规律如力学、摩擦、形变的理解还很浅层。将物理仿真引擎或物理常识以某种形式嵌入模型可能是实现更鲁棒、更拟人操作的关键。从我个人的实践来看从事VLA相关的研究或开发需要兼具计算机视觉、自然语言处理、机器人学和控制理论的多背景知识。这是一个典型的交叉领域挑战巨大但每解决一个小问题带来的成就感也无比真实。对于想入门的朋友我的建议是不要一开始就想着复现最复杂的模型。可以从一个简单的仿真环境如PyBullet和一个标准的机械臂模型开始尝试用一个小型的VLA架构比如基于较小的CLIP和GPT-2去完成“抓取并放置”这类基础任务。亲手走通数据收集、模型训练、仿真评估的完整流程所获得的直观感受远比读十篇论文要深刻。在这个过程中你会深刻体会到数据质量的重要性、损失函数设计的微妙、以及仿真与现实之间那道看似细微实则巨大的鸿沟。