1. 从看不见力到摸得着力VLA模型为什么需要触觉如果你最近在关注具身智能和机器人操作方向大概率会频繁刷到VLA这个词。VLA全称Vision-Language-Action中文一般叫视觉-语言-动作模型。很多刚入行的朋友会问一个很基础但很关键的问题VLA模型到底是一个模型还是两个模型简单说它是一个统一的多模态模型输入是视觉图像加自然语言指令输出是机器人的动作序列。它不是一个视觉模型加一个语言模型拼起来这么简单而是在训练时就把三种模态对齐到同一个表征空间里推理时端到端地输出动作。这一点理解清楚了后面聊力感知才有意义。但问题来了。目前绝大多数VLA模型无论是开源还是闭源本质上都是看着做事的。摄像头告诉它物体在哪、什么颜色、什么形状语言告诉它要干什么然后它输出一串关节角度或末端位姿。这套范式在抓取规则物体、做简单堆叠任务时表现不错但一旦进入接触密集的场景比如插拔连接器、拧瓶盖、擦桌子、折叠衣物纯视觉方案就开始露怯了。原因很直接视觉看不到力。当两个物体表面接触的那一刻视觉信息几乎不再变化但力的分布、方向、大小却在剧烈变化。机器人如果只靠视觉就像一个闭着眼睛拧螺丝的人能对准位置但不知道拧没拧紧、有没有滑丝。这就是力感知在VLA里的核心价值。力数据能让模型感知到接触状态、判断任务是否完成、在视觉被遮挡时依然保持操作稳定性。但现实很骨感带力传感器的机器人硬件成本高采集力数据需要专门的遥操作设备数据量远远比不上纯视觉数据。所以行业里一直有个难题——怎么在几乎没有力数据的情况下让VLA模型学会力感知上海交大卢策吾团队和汶川团队在CoRL 2026上的这项工作给出的答案是0条带力数据预训练通过后训练阶段让VLA学会力。这个思路很有意思它绕开了必须大量采集力数据这个死结转而利用预训练阶段已经学到的视觉-语言先验在后训练阶段用少量力数据做对齐。关键词里的LIFT、后训练、力数据基本勾勒出了这条技术路线的主干。下面我会从问题本质、技术路线、实操复现、踩坑经验几个维度把这件事拆开讲透。2. 力数据稀缺这件事到底卡在哪里2.1 力传感器不是装不上是装上了也不好用很多人第一反应是力传感器又不贵装上不就行了我在实际项目里试过事情没这么简单。常见的力感知方案有几种关节电流估计、末端六维力传感器、触觉阵列皮肤。关节电流估计成本最低但精度差、噪声大只能做粗略的碰撞检测六维力传感器精度高但价格从几千到几万不等而且安装后需要做重力补偿和零漂校准标定流程繁琐触觉皮肤覆盖面积有限走线复杂长期使用容易磨损。更关键的问题不在硬件而在数据。就算你装上了力传感器怎么采集带力标注的操作数据人工遥操作时操作员感受不到机器人的力反馈很难自然地产生该用多大力的示范。用动捕手套采集人手数据又存在手-机映射的鸿沟。结果就是视觉数据可以靠大量视频和仿真轻松获得力数据却必须一条一条真机采集成本差了几个数量级。2.2 预训练阶段强行塞力数据反而拖累视觉-语言能力另一个常见误区是既然力数据重要那就在预训练阶段一起训不就行了我见过不少团队这么做效果往往不理想。原因是预训练阶段的数据规模极大视觉-语言-动作的对齐本身就需要海量数据才能收敛。如果这时候混入少量力数据模型会倾向于忽略这个稀疏且噪声大的模态因为它在损失函数里的贡献太小了。更糟的是为了拟合力信号模型可能会扭曲已经学好的视觉表征导致原本能做的任务也做不好了。所以这项工作的核心洞察是预训练阶段专注把视觉-语言-动作的基础能力做扎实力感知留到后训练阶段再注入。这就像培养一个外科医生先让他把解剖学、病理学学透再上手术台练手感而不是一上来就让他蒙着眼睛练力度。2.3 LIFT这个关键词透露了什么关键词里的LIFT我理解是这套方法的核心机制代号。从公开信息推断它大概率是一种潜在力表征对齐或者力感知微调的策略。核心逻辑应该是预训练好的VLA模型已经具备了丰富的视觉-语言先验后训练阶段只需要用少量带力数据把力信号映射到模型已有的表征空间里让模型学会看到某种视觉-语言-动作组合时应该对应多大的力。这样力感知就不是从零学起而是站在预训练的肩膀上做增量学习。这个思路的妙处在于数据效率。传统方法要几万条力数据才能学会的任务LIFT可能几百条就够了因为大部分底层能力已经预训练好了。对于硬件条件有限的团队来说这意味着复现门槛大幅降低。3. 0力数据预训练的技术路线拆解3.1 预训练阶段只喂视觉-语言-动作把基础打牢预训练阶段的数据构成很纯粹大量机器人操作视频、仿真环境里的轨迹、以及配对的自然语言指令。模型架构通常是Transformer-based的多模态结构视觉编码器提取图像特征语言编码器处理指令然后通过交叉注意力把两者融合最后动作头输出动作序列。这个阶段的目标是让模型学会看到什么、听到什么、该做什么的映射。这里有个实操细节值得注意预训练数据的质量比数量更重要。我在复现类似工作时发现如果视频里包含大量无效动作、抖动、重复模型学出来的策略也会很毛躁。所以数据清洗环节不能省要过滤掉失败轨迹、异常帧、以及指令与动作不匹配的样本。另外动作空间的归一化方式也会影响后训练阶段的力注入效果建议在预训练时就统一好动作表示避免后训练时再做转换。3.2 后训练阶段用少量力数据做表征对齐后训练阶段是这套方法的核心。输入是少量带力标注的操作数据输出是一个具备力感知能力的VLA模型。具体怎么做根据LIFT的思路大致分三步第一步冻结预训练模型的大部分参数只解冻与动作输出相关的层。这样做是为了保护已经学好的视觉-语言先验避免少量力数据把模型带偏。第二步引入一个力预测头或者力条件模块。这个模块的输入是模型中间层的特征输出是预测的力信号。训练目标是让预测力与真实力尽可能接近同时不破坏原有的动作输出。第三步做联合微调。把力预测损失和动作预测损失加权求和让模型在学会预测力的同时动作表现不下降。这里的权重需要调力损失权重太高会导致动作变形太低则学不到力感知。3.3 为什么0条力数据预训练还能学会力这个问题我第一次看到时也觉得反直觉。后来想明白了力感知不是一种全新的能力它和视觉-语言-动作共享很多底层表征。比如接触这个概念视觉上表现为两个物体表面贴合语言上可能对应按压插入这类词动作上表现为末端速度降低、位置微调。预训练模型已经学会了这些视觉-语言-动作的关联后训练阶段只需要把力这个维度挂接到已有的表征上而不是从头建立一套新的感知系统。打个比方你已经学会了骑自行车现在要学骑电动车。你不需要重新学平衡只需要适应一下油门和刹车。LIFT做的就是给VLA模型装上力的油门和刹车。4. 复现这条路线的实操步骤与关键配置4.1 环境准备硬件和软件的最低门槛如果你想复现这套方法硬件上建议至少有一台带末端力传感器的机械臂比如常见的六轴协作臂加六维力传感器。如果没有力传感器也可以用关节电流做粗略估计但效果会打折扣。GPU方面预训练阶段建议至少一张24G显存的卡后训练阶段因为冻结了大部分参数显存需求会低一些16G也能跑。软件环境上PyTorch是标配版本建议2.0以上因为要用到一些新的注意力实现。机器人中间件方面ROS或者ROS2都可以取决于你的硬件驱动。数据采集建议用专门的遥操作设备如果没有可以用手柄或者键盘遥控但采集效率会低很多。4.2 数据采集怎么用最少的数据拿到最大的收益后训练阶段的数据量不需要很大但质量要求高。我的经验是每个任务至少采集50到100条成功轨迹覆盖不同的初始位置、物体姿态、以及轻微的干扰。力数据的标注要同步时间戳对齐误差控制在10毫秒以内否则力信号和视觉帧对不上训练会发散。采集时有个技巧故意加入一些失败但接近成功的样本比如插孔时差一点没插进去、拧盖时滑了一下。这些样本能让模型学到力的边界条件知道什么时候该加大力、什么时候该收力。纯成功样本训出来的模型往往过于保守遇到新情况就不知所措。4.3 训练配置冻结策略和损失权重的调参心得冻结策略上我建议先冻结视觉编码器和语言编码器只训动作头和力预测头。跑通之后再尝试解冻动作头前面的几层做更精细的对齐。不要一上来就全量微调那样很容易过拟合。损失权重方面动作损失和力损失的比值可以从10:1开始试。如果发现动作表现下降明显就降低力损失权重如果力预测误差一直下不去就适当提高。学习率建议用预训练阶段的十分之一到五分之一太大容易破坏预训练知识。批次大小受显存限制但后训练阶段因为参数少可以用较大的批次比如64或128这样梯度更稳定。训练轮数不用太多通常几十个epoch就能收敛太多会过拟合。4.4 评估怎么判断模型真的学会了力评估不能只看动作成功率还要看力预测的准确性和任务完成的质量。我通常用三个指标任务成功率、力预测的均方误差、以及接触阶段的稳定性比如力信号的波动幅度。如果成功率上去了但力预测误差很大说明模型可能只是记住了动作序列没有真正理解力。这时候要检查力预测头的梯度是否正常回传或者力数据的标注是否有问题。另外建议做消融实验去掉力预测头只用同样的数据微调动作头看看性能差多少。如果差距不明显说明你的任务可能对力感知需求不高或者力数据的质量不够。5. 踩坑实录我在复现过程中遇到的五个典型问题5.1 力信号噪声大导致训练发散第一次跑的时候力预测损失一直震荡怎么调学习率都没用。后来发现是力传感器没做滤波原始信号里高频噪声太多。解决办法是在数据预处理阶段加一个低通滤波器截止频率根据任务调整一般5到20赫兹。另外力信号的零漂也要处理每次采集前重新校准零点。5.2 视觉-语言先验被破坏原有任务性能下降后训练之后模型在新任务上表现不错但原来预训练时会的任务反而做不好了。这是典型的灾难性遗忘。我的应对策略是在后训练数据里混入少量预训练任务的样本比例大概10%到20%让模型在学新能力的同时复习旧知识。另外冻结更多层也能缓解这个问题但会牺牲一些力感知的灵活性需要权衡。5.3 力数据时间对齐误差导致学不到接触瞬间有段时间模型总是学不会接触瞬间的力变化预测的力曲线比真实值滞后。排查后发现是视觉帧和力数据的时间戳没对齐差了大概30毫秒。重新做时间同步后问题解决。这个坑很隐蔽因为从损失曲线上看不出来只有对比预测和真实的力曲线才能发现。5.4 动作空间表示不统一后训练时要做转换预训练用的是关节角度后训练数据用的是末端位姿结果训练时损失一直下不去。后来统一成关节角度才跑通。建议在项目开始前就确定好动作表示所有数据都按这个标准来避免后期转换带来的误差和麻烦。5.5 过拟合少量数据训太久泛化能力差后训练数据少很容易过拟合。我试过用数据增强来缓解比如对视觉图像做随机裁剪、颜色抖动对力信号做小幅度的缩放和偏移。另外早停也很重要监控验证集上的力预测误差一旦开始上升就停。6. 这套方法适合谁以及后续可以怎么扩展如果你所在的团队正在做机器人操作尤其是接触密集型的任务这套0力数据预训练加后训练注入的思路值得一试。它的最大优势是数据效率高不需要你从头采集海量力数据适合硬件条件有限但想快速验证力感知价值的团队。另外如果你已经有预训练好的VLA模型想给它加力感知能力这条路线也能直接复用。后续扩展方向有几个。一是多模态融合把触觉、视觉、力觉更紧密地结合比如用触觉图像辅助力预测。二是跨本体迁移把在一个机械臂上学到的力感知能力迁移到另一个本体上这需要解决动作空间和动力学差异的问题。三是仿真到现实的迁移在仿真里生成大量带力标注的数据再迁移到真机进一步降低数据采集成本。我个人在实际操作中的体会是力感知这件事难点不在算法而在数据质量和工程细节。时间对齐、滤波、动作表示统一这些看起来不起眼的地方往往决定了复现的成败。另外不要指望后训练能解决所有问题预训练阶段的基础打得好不好直接决定了后训练的天花板。如果你正在做类似的工作建议先把预训练模型在纯视觉任务上调到满意再考虑注入力感知这样成功率会高很多。