论文标题X‑VLA: Soft‑Prompted Transformer as Scalable Cross‑Embodiment Vision‑Language‑Action Model核心一句话将NLP领域Soft‑Prompt软提示迁移到具身机器人领域使用少量可学习Embedding编码不同机器人硬件、相机、数据源带来的异构差异结合分流多模态编码 Flow‑Matching动作生成0.9B参数量小模型在大量仿真、真实机器人任务取得SOTA新机器人可通过PEFT实现高效适配。一、研究背景与核心痛点领域现状通用VLAVision‑Language‑Action模型π0\pi_0π0、OpenVLA、GR00T目标是使用一套模型适配多台机械臂、多类任务将大视觉语言模型的理解能力迁移至机器人控制。模型训练依赖大量来自不同硬件平台的机器人示教轨迹数据。现有三大痛点跨本体异构性不只是动作空间维度差异不同机器人除关节、动作空间不同外还存在相机视角顶视/腕部、采样频率、采集协议、视觉域的巨大差异。现有多数VLA仅在输出端配置独立动作头仅修正最终输出动作感知、本体状态推理阶段没有建模硬件差异。混合训练时特征空间冲突出现训练震荡、负迁移现象。已有解决方案各自存在缺陷HPT‑style域投影层为观测输入增加域专属投影层容易破坏预训练VLM的原始特征表示训练过程不稳定。硬件语言Prompt使用自然语言描述机器人型号、相机位置需要人工维护模板硬件种类增多后维护成本极高文本无法刻画全部硬件细微差异。朴素混合预训练会带来性能下降直接把多机器人异构数据输入同一个主干网络会发生严重分布漂移下游任务适配性能显著退化。本文核心洞察把每一类机器人数据源类比多任务学习中的单个任务引入一组可学习Soft‑Prompt Embedding在多模态token融合阶段注入硬件本体信息仅增加极少量参数不改动主干大模型主体结构。二、X‑VLA整体架构整体模块异构Soft‑Prompt库 分流式多模态编码管线 标准Transformer Encoder Flow‑Matching动作生成 两阶段预训练‑域适配流程。1. 异构Soft‑Prompt库核心创新为每一类数据源共7套Franka、UR5、Agibot、双Franka等分配一组独立可学习tokenprompt长度设置为32构建Prompt库。训练时根据样本dataset id取出对应prompt与图像、语言、本体、动作token拼接后送入Transformer。形式化表达pi≈Φ(hi)p_i≈\Phi(h_i)pi≈Φ(hi)hih_ihi代表硬件配置Φ\PhiΦ不是人工定义文本端到端自动学习硬件隐表征。参数开销极低域专属全部参数仅占模型总参数的0.04%。关键优势Prompt参与早期注意力计算而不是仅在输出端做后处理修正模型从推理初始阶段就感知当前样本的硬件、相机配置同时指导视觉理解、本体状态解读、动作生成全流程。T‑SNE可视化实验表明学习完成后的prompt会自动按照硬件形态聚类两套仅相机视角不同的Franka对应的prompt互相交织。证明模型不是简单记忆数据源ID而是学到不同硬件本体之间的相似性关系。2. 分流增强编码管线多模态分治不将全部图像直接送入VLM针对不同观测做差异化编码高维视觉‑语言流主视角图像 语言指令送入预训练Florence‑2‑LargeVLM负责高层语义、语言指令Grounding。腕部等辅助视角图像使用独立视觉编码器。腕相机画面噪声大、动态变化剧烈主要提供局部精细操作线索不需要参与高层语言推理。低维本体‑动作流本体关节状态、Flow‑Matching噪声动作Chunk、流匹配时间ttt做拼接通过轻量线性层映射至高维token空间与图文token维度对齐。设计目的避免低维本体、动作信号被高维图像语言特征淹没同时最大限度保护VLM预训练得到的通用知识。3. Flow‑Matching动作生成与π0\pi_0π0保持一致不直接回归动作真值学习速度场vθv_\thetavθ从高斯噪声A0A^0A0出发通过ODE迭代逐步迁移至专家动作Chunk。损失函数LBCFM(θ)Et∼U(0,1),(o,A)∼D[∥vθ(At,o,t)−(A−A0)∥2] \mathcal{L}_{BC}^{FM}(\theta)\mathbb{E}_{t \sim \mathcal{U}(0,1),(o, A) \sim \mathcal{D}}\left[\left\| v_{\theta}\left(A^{t}, o, t\right)-\left(A-A^{0}\right)\right\| ^{2}\right]LBCFM(θ)Et∼U(0,1),(o,A)∼D[vθ(At,o,t)−(A−A0)2]其中At(1−t)A0tAA^t(1-t)A^0tAAt(1−t)A0tAt∈[0,1]t\in[0,1]t∈[0,1]。动作统一表示末端执行器EEFXYZ位置 Rotate6D旋转规避欧拉角、四元数表示不连续问题 二值夹爪位置/旋转使用MSE损失夹爪使用BCE损失。意图抽象策略不逐帧预测人类示教的微小抖动将未来4秒轨迹下采样为30个锚点作为监督信号过滤示教噪声让模型学习操作意图而不是拟合人的手部抖动。4. 两阶段完整训练流程阶段一跨本体预训练训练数据集290K episodes7套硬件平台单臂、双臂来自AGIBOT、Droid、RoboMind开源数据集。训练策略主干Transformer与全套soft prompt库联合优化soft prompt、VLM模块使用更小学习率防止预训练知识发生灾难性遗忘。采样策略跨域轨迹双重打乱采样防止样本数量大的数据源主导整个训练。阶段二新机器人域适配遇到预训练从未见过的新硬件不直接全量微调Prompt Warm‑up初始化一套全新soft prompt冻结全部主干网络仅更新新prompt让新硬件在已经学习完成的prompt表征空间内找到合适位置。联合策略适配解冻部分参数联合微调prompt与主干网络支持PEFT模式仅调LoRAprompt合计9M参数占总参数量约1%完成域适配。消融实验证明两阶段warm‑up显著提升新本体适配成功率仅依靠prompt无法实现高性能新任务需要LoRA提供一定建模容量。X‑VLA‑0.9B实现细节VLM编码器Florence‑2‑Large动作主干24层标准Transformer Encoderhidden size1024soft prompt长度32预训练硬件64张A100global batch1024200K迭代bfloat16混合精度完整预训练耗时约4天三、核心实验结果评估覆盖规模6个仿真基准Libero、Simpler、Calvin、RoboTwin‑2.0、VLABench、NAVSIM自动驾驶 3台真实机器人WidowX、AgileX双臂、AIRBOT发布灵巧操作数据集Soft‑Fold包含1200条双臂叠衣示教轨迹。1. 仿真Benchmark关键指标BenchmarkX‑VLA‑0.9B此前SOTALIBERO平均成功率98.1%97.1%Simpler‑WidowX95.8%71.9%RoboTwin‑2.0 Easy / Hard70.0% /39.0%46.4% /16.4%NAVSIM自动驾驶PDMS分数87.381.72. PEFT轻量适配本文一大亮点仅调9M参数≈模型总参数量1%效果和3B规模π0\pi_0π0全微调结果接近Libero平均X‑VLA‑LoRA 93% vsπ0\pi_0π094.2%Simpler‑WidowXX‑VLA‑LoRA 54.2% vsπ0\pi_0π055.7%可调参数量仅为π0\pi_0π0的1/300证明预训练主干已经学到本体无关的通用机器人操作知识。3. 真实机器人实验Soft‑Fold双臂叠衣AgileX仅1200条示教实现33次折叠每小时性能接近闭源π0\pi_0π0‑Fold同等数据集下finetune的ACT、π0\pi_0π0‑base性能弱于X‑VLA。数据集计划开源。WidowX抓取放置BridgeData‑v2风格任务上优于对比基线。AIRBOT预训练完全未见本体仅200条示教PEFT即可完成布料拾取验证跨本体迁移能力。4. 消融实验核心结论直接异构混合预训练会带来负迁移基线开启异构PT后下游适配性能从4.1→25.0性能大幅下降。组件叠加带来的性能变化定制学习率、动作对齐、均衡采样 → 适配成功率50.0增强多模态编码管线 → 适配成功率64.6加入Soft Prompt核心模块验证误差0.053→0.041适配成功率64.6→73.8单组件最大增益。模型缩放 两阶段适配 → 最终适配成功率95.8预测窗口消融4秒窗口效果最优1s窗口完全失效8s窗口收益下降。失败尝试记录异构LoRA、MoE专家路由在该场景会出现训练震荡、专家坍缩效果较差给社区提供踩坑参考。四、主流VLA模型横向对比模型X‑VLA‑0.9Bπ0\pi_0π0OpenVLA参数量0.9B3B闭源7B异构处理方式Soft Prompt库早期注入本体信息输出端多动作头输出头OFT微调动作生成Flow‑MatchingFlow‑Matching离散tokenPEFT能力支持仅调约1%参数支持但可调参规模大LoRA/OFT特点聚焦解决混合预训练异构震荡小模型高性能叠衣数据集开源大规模闭源灵巧操作能力强开源7B基座缺点无法Zero‑Shot全新机器人新本体仍需少量示教权重闭源不公开离散token带来精度损失对比HPTHPT在输入侧使用域专属投影层修改原始特征分布破坏VLM预训练知识X‑VLA以附加token形式引入prompt不改动原有特征依靠Attention引导主干网络对预训练知识破坏更小。对比Hardware Language Prompt无需人工编写硬件描述prompt隐式学习方便扩展大量机器人数据源。五、论文创新亮点将Soft Prompt范式引入跨本体机器人预训练把硬件、相机、采集差异建模为可学习prompt token在Transformer输入阶段注入本体信息而不是仅在输出端处理动作。为本工作最重要方法论贡献。分流多模态编码范式区分主视角语言推理图像与腕部辅助视角图像缓解直接使用VLM处理全部机器人视觉带来的表征不匹配问题。完整可复现工程配方意图抽象4s下采样锚点、差异化学习率、均衡采样、两阶段Prompt warm‑up适配。证明VLA性能不单纯依靠堆模型训练配方对于异构混合预训练至关重要。极高效费比仅0.9B参数多数benchmark追上甚至超过数B规模VLAPEFT适配成本极低。社区数据集贡献开源Soft‑Fold双臂布料折叠数据集为非刚体灵巧操作提供数据基线。可解释实证T‑SNE可视化证明prompt学到本体相似关系而不是简单记忆数据源ID为未来本体检索、prompt插值研究打下基础。六、局限 未来方向不能真正零样本部署全新机器人面对完全陌生硬件仍然需要少量示教完成promptLoRA微调达不到开箱即用。强依赖数据源ID训练推理阶段需要明确样本所属数据源真实开放环境机器人硬件动态变化、数据源边界模糊如何自动推断合适prompt还未解决。监督信号主要依赖低维动作标签标签本身信息容量有限未来可以引入3D几何、物理先验、自监督视频目标进一步增强预训练。规模天花板尚未探明受算力、高质量机器人数据限制未验证更大模型、千万级轨迹下的缩放规律。没有显式引入机器人运动学知识未来可将prompt与机器人URDF、自由度、相机外参结合构建显式本体表征。七、科研启发跨本体VLA瓶颈往往不是模型大小而是异构数据融合策略。直接混合五花八门机器人数据喂给大模型会产生严重负迁移必须有专门机制吸收硬件差异。不一定要复杂MoE、大量Domain‑Adapter简单Soft Prompt配合完善训练配方即可显著改善异构混合预训练效果。预训练阶段动作预测L1验证误差与下游任务成功率强相关可以作为快速代理指标减少闭环仿真评估开销加速超参搜索。prompt空间学习得到本体相似度开辟新方向针对新机器人可以检索预训练库中最相似机器人的prompt做初始化进一步降低新本体示教需求。如果你需要我可以继续输出X‑VLA精简版读书笔记Markdown可直接复制进论文的Related Work段落基于X‑VLA衍生的创新idea列表