做机器人操作的人应该都有同感模型在仿真里跑得飞起一上真机就原形毕露。更让人头疼的是很多时候问题不在模型本身而在部署环境、任务分布、示范数据这些外围因素上。遇到这类问题常规做法是拉数据、微调、再评测一套流程走下来少则一两周多则一两个月搞不好还会把旧技能学忘了——这种按下葫芦浮起瓢的经历做过部署的人基本都体会过。SenseNova-RoboRSI 这个项目想解决的就是这个问题。它的核心主张很干脆全程冻结模型权重不做任何微调只通过运行时注入经验、推理期动作筛选和闭环重规划把机器人的任务成功率抬上去。你可能第一反应会问权重都不动表现怎么可能提升答案不在模型里面而在模型外面——这个框架把决策模型当做一个固定能力的大脑围绕它搭建一套辅助神经系统让大脑在同样的知识储备下做出更稳、更准的决策。这个方案适合手里已有预训练决策模型、又不想承担微调成本和风险的团队也适合正在做机器人部署落地的同学参考。接下来我会按为什么这么设计、核心模块怎么拆、实操怎么搭、效果怎么样、坑在哪里的顺序讲尽量把能直接借鉴的配置和思路都写清楚。1. 为什么冻结权重反而是最优解微调的三座大山与推理期优化空间1.1 微调的三座大山数据成本、灾难性遗忘、部署链路做机器人策略微调的团队几乎都会撞上三座大山绕不开也躲不掉。第一座是数据成本。机器人轨迹数据跟图片文本完全是两个世界——一个抓取任务要采几百条成功示范每条示范又得真机跑几十秒甚至几分钟如果场景里涉及多视角、多物体、多光照条件数据量直接翻几倍。某实验室曾经统计过一个包含 8 个操作场景的微调数据采集前后花了三周人力成本不算光是设备折损和调试时间就够喝一壶。更麻烦的是机器人数据还有很强的时效性换一个物体、换一种夹具旧数据的一部分就不适用了得重新采集一遍。第二座是灾难性遗忘。预训练模型在通用操作上表现不错微调之后新任务可能学会了但旧任务的成功率掉一截这是非常常见的现象。做视觉语言动作模型的朋友应该深有体会模型在某个新数据集上微调后之前掌握的技能反而退化有时候退化得还很均匀几乎每个旧任务都掉几个点。想回滚更麻烦因为意味着重新评测、重新调参甚至重新设计训练策略代价比当初微调还大。第三座是部署约束。微调意味着新的权重文件、新的评测报告、新的回归测试。到了产线上还得解决版本管理、灰度发布、异常回退等一堆问题。很多团队辛辛苦苦调完发现上线流程比训练本身还麻烦模型最终只能躺在实验记录里吃灰。这三座大山合在一起指向一个很实际的方向能不能不碰权重只在推理环节动手脚把表现提上去这正是 SenseNova-RoboRSI 的出发点。1.2 不改权重不等于不改进把模型当作固定能力的决策先验如果把决策模型比作一位手艺固定的厨师权重就是他多年练成的刀工和火候。改权重相当于让他重新学做菜代价高、周期长、还容易把拿手菜做砸。但不改权重不代表拿他没办法——你可以换菜单、改备菜流程、加一道品控检查、让他临场多参考几份优秀菜谱。这些改动不改变厨师的内功但能明显提高出菜质量。这个类比背后其实是两类完全不同的优化思路。权重优化试图改变模型的知识成本高、风险大、见效慢推理期优化试图改变模型使用知识的方式成本低、风险小、见效快。SenseNova-RoboRSI 走的正是后者。它不关心模型内部那些参数怎么摆只关心怎么把模型的潜力用足——通过更好的输入组织、更聪明的动作选择、更及时的纠错机制让同一个模型在不同场景里发挥出更高水平。很多人刚接触这个思路时会有疑虑不动权重模型的能力上限就在那儿外围做再多也白搭。这话对了一半。模型的能力上限确实固定了但模型在实际任务中能达到的表现水平往往远低于它的上限。推理期优化就是把从实际表现到能力上限之间的这段距离尽量填平。1.3 整体架构与数据流经验库、检索器、注入器、决策优化器整个框架由四个核心模块组成经验库、场景检索器、技能注入器、决策优化器。它们各管一段协同完成一次完整的决策闭环。数据流大概是这样的机器人的感知模块把当前状态送入场景检索器状态里包含视觉观测、关节角度、力觉信息等检索器从经验库中找出最相似的历史成功片段技能注入器把这些片段组织成决策模型能接受的输入格式拼到上下文里决策模型在增强后的输入上输出多个候选动作决策优化器用轻量奖励模型对候选动作打分排序选出最优动作执行执行过程中持续监控置信度一旦低于阈值就触发重规划重新检索并重新决策。这四个模块彼此独立意味着任何一个模块都可以单独升级、替换、回滚完全不影响其他部分。这也是这套方案在工程上非常讨喜的原因——你不需要动那个最敏感、最不稳定的决策模型只需要在外围做文章风险面小得多。2. 核心模块拆解RSI 的四个关键零件与实操要点2.1 经验库不是数据集是决策提示词库经验库是整个框架的地基也是我最早开始搭建的部分。它跟传统训练数据集有本质区别数据集是用来更新权重的经验库是用来提示模型的。组成单元不是整条轨迹而是从历史成功轨迹中提取出来的关键片段每个片段包含三部分信息——当前状态的特征表示、采取的动作、该动作执行后的结果元信息是否成功、耗时、力觉反馈特征等。有了结果元信息后续训练奖励模型、做失败分析时才有据可查。片段粒度非常关键这是我在这个项目里踩得最深的一个点。粒度太细比如逐帧存储检索结果会冗余注入上下文过长模型反而抓不住重点粒度太粗比如整条轨迹作为一条相似度匹配会完全失去区分度可能一个抓取任务和另一个完全不同的装配任务共享同一条经验。我实际使用的粒度是一个关门动作或一次对准插入动作这样的语义单元也就是从底层动作序列中人工或自动标注出有明确意图的阶段。这一步建议用动作分割模型辅助不要纯手工标注否则经验库规模到几千条之后标注这件事会变成噩梦。经验库还需要做版本管理这一点容易被忽略。我习惯把经验库、场景配置、决策模型版本三者绑定记录每次更新都留档。后面排查问题的时候这个习惯能省下大量时间——你永远能快速定位当前表现对应的经验库是哪一版而不是在十几个文件夹里翻来翻去找不到源头。2.2 场景检索让模型找到对的前任经验检索器的任务是根据当前场景找到最相关的历史经验片段说白了就是让模型看看以前类似的情况是怎么做对的。常用做法是把状态表示编码成向量用 FAISS 这类向量检索工具做近似最近邻搜索毫秒级返回结果性能完全够用。这里有一个极其关键的实操要点状态的编码必须和决策模型的输入对齐。如果决策模型内部的视觉编码器输出的是 512 维特征那么检索器用的状态向量最好也是同一种特征空间的表示否则检索结果虽然在语义上相关格式却不兼容注入进去模型根本不认。我一开始没注意这一点用了一套独立的特征提取器做检索结果检索出的片段看起来都对注入后效果纹丝不动排查了很久才找到原因。另一个容易忽略的问题是状态归一化。关节角度、末端位置、力觉数据的量纲完全不同直接拼成一个向量做余弦相似度力觉分量会主导检索结果位置信息反而被淹没。我在项目里对每个维度做了 z-score 归一化实测检索准确率提升非常明显。注意归一化用的均值和方差要从整个经验库统计不能拿在线运行时的数据临时算否则数据分布会漂移检索结果越到后面越偏。top_k 的选择也值得反复调。取太少比如 1容易受单条片段的噪声影响取太多比如 20上下文会被无关信息污染模型反而不知道该信哪条。我最后落在 top_k5同时配了一个检索分数阈值低于阈值的片段一律不注入。这样既保证信息的充分性又把噪声挡在门外。2.3 轻量奖励模型推理期动作排序的品控口奖励模型是这套框架里最微妙的部分它承担的是品控官的角色。决策模型输出的是动作分布我们不能直接拿一个采样出来的动作就去执行而是从分布里采集多个候选动作让奖励模型打分排序选最高分的那个执行。这样做的好处是把决策模型的犹豫变成比较——它不用一次就赌对只需要提供一个足够好的候选集合。奖励模型不需要做得多大两三层 MLP 或者一个小型 Transformer 就够输入是状态 候选动作的联合特征输出一个标量分数。大部分情况下128 维的隐藏层容量就足够完成任务了。关键是训练数据从哪来。我用的方案是从历史数据中构造偏好对同一场景下成功轨迹中的动作标为正样本失败轨迹中的动作标为负样本数据里有部分成功的情况就按任务完成度给软标签比如物体移动了目标距离的 60%就给 0.6 的分数。训练目标用二分类或者回归都可以我实测下来回归更稳不容易出现分数爆炸。这里有个经验奖励模型的训练数据要足够多样否则它只会在见过的场景里给对分数换一个场景就乱打分。如果实在没有失败轨迹数据可以用任务进度的增量做弱监督信号比如执行这个动作之后物体相对目标位置的距离减少了多少。这类信号噪声大但胜在数量管够实践中往往够用。还有一种做法是在仿真里对状态加扰动生成负样本我试过效果也不错但要注意扰动的幅度别太夸张否则奖励模型会学到任何扰动都是坏事这种过于粗糙的规律。提示奖励模型的训练数据里正负样本比例别差太多。正样本占绝对多数时模型会倾向于给所有动作打高分排序就失去了区分度。2.4 闭环重规划失败检测与及时纠偏最后一道保障是闭环重规划它解决的是一步错、步步错的问题。决策优化器在每一步执行之后会计算当前置信度这个值是奖励模型分数与执行结果反馈的融合结果如果低于设定阈值就认为当前策略可能跑偏触发重新检索和重新决策。重规划和简单重新推理的区别在于它会优先利用当前执行结果中新出现的状态信息去更新检索条件而不是机械地重复上一次的输入。比如插销插入任务里如果模型第一次对准偏了重规划会结合当前的力觉反馈重新检索对准但受阻场景下的经验片段而不是又按初始状态的经验再来一遍。实测下来加入重规划之后长任务失败率降低得非常明显。因为很多失败其实不是一开始就错而是中途偏离了示范轨迹如果不及时纠偏误差会逐步累积最后滚成一个大失误。但重规划的触发频率也要控制好阈值设太低会频繁触发打断正常的动作流机器人看起来手忙脚乱阈值设太高等触发时已经错了太远纠偏也救不回来。我在实验里把阈值控制在 0.5 左右具体数值需要先跑一批离线日志统计置信度分布之后再定。3. 从零搭一套 RoboRSI环境准备、五步流程与参数调优3.1 环境与依赖Python 3.10 PyTorch FAISS 就够了先说环境这套框架对基础设施的要求不高一个标准的深度学习环境就能跑起来。核心依赖包括 Python 3.10、PyTorch决策模型与奖励模型的推理、FAISS向量检索以及 numpy、pandas 这些常规数据处理库。建议用 docker 把环境固定下来因为项目里同时涉及多个模型和一个检索服务版本冲突是家常便饭环境漂移了之后排查起来特别费劲。如果决策模型是视觉语言动作模型还需要准备视觉编码器对应的预处理管线。这里给一个工程建议把决策模型包装成一个动作生成服务对外只暴露 REST 接口输入是状态序列输出是候选动作列表。RSI 外围框架只调这个服务的输入输出不关心模型内部实现。这样做的好处是决策模型的版本更新、部署迁移都不会影响外围模块两者彻底解耦。我甚至见过有人把这个服务部署在另一台机器上靠网络调用RSI 这边完全无感知。3.2 五步搭建流程从示范数据清洗到真机回归第一步采集并清洗示范数据。重点不是数量而是质量。我采集时对每条轨迹都标注了成功/失败并且要求成功轨迹必须保证任务真的完成而不是看起来接近完成。有条件的话同时记录力觉反馈和任务进度信号这两类信息对后续训练奖励模型非常有价值。第二步构建经验库。对成功轨迹做动作切分提取状态-动作片段编码成向量存入检索库。这一阶段建议连同样本的元信息一起存包括场景 ID、物体类别、光照条件、夹具型号等。这些元信息平时用不上但排查问题时就是救命稻草——你会遇到成功率莫名其妙的下降一查发现经验库存了好几个不同夹具的数据问题立刻清楚了。第三步训练轻量奖励模型。用偏好对数据训练验证集上的 AUC 建议做到 0.9 以上否则排序质量会拖累整体效果。训练数据不够时可以先在仿真里对成功轨迹加扰动生成一批负样本凑够数量再训练。注意奖励模型的验证集要和训练集来源不同避免过拟合被掩盖。第四步接入推理链路。把检索、注入、采样、排序、重规划按顺序串起来先跑仿真验证再上真机。仿真的意义在于控制变量能最快暴露算法层面的 bug避免把机械误差和算法误差混在一起排查。我在仿真阶段抓到过两个低级 bug一个是特征维度对不上一个是归一化参数用了在线统计值都是上了真机很难一眼看出来的问题。第五步调参与回归。重点调三个参数——top_k、采样数 N、置信度阈值。逐个调不要同时动否则出了效果提升你也说不清是谁的功劳出了问题更不知道从哪查起。每次调参后留一份对照记录哪怕只是简单的表格长期看价值巨大。3.3 推理回路代码骨架把四个模块串起来下面是一份推理回路的代码骨架去掉包装和日志之后大概二十多行可以看到检索注入、动作重排序、重规划是怎么协作的def robot_step(state, memory, model, reward_model, cfg): # 1. 状态编码与归一化 state_vec encoder.encode(normalize(state)) # 2. 检索历史经验并做分数过滤 candidates memory.search(state_vec, top_kcfg.top_k) if candidates[0].score cfg.retrieval_threshold: context memory.format(candidates) else: context None # 3. 决策模型采样多个候选动作 actions model.sample_actions(state, context, numcfg.n_samples) # 4. 奖励模型打分排序选最优动作 scored [(reward_model.score(state, a), a) for a in actions] best_score, best_action max(scored, keylambda x: x[0]) # 5. 置信度低于阈值触发重规划 if best_score cfg.confidence_threshold: context memory.format( memory.search_with_feedback(state, last_feedback) ) actions model.sample_actions(state, context, numcfg.n_samples) best_action max( (reward_model.score(state, a) for a in actions), keylambda x: x[0] ) return best_action这段代码里最核心的就是两步检索注入步骤 2 到 3和奖励模型重排序步骤 3 到 4。重规划逻辑只有几行但它在长任务里的价值最明显因为一个错误动作的后果会不断放大越早纠偏损失越小。特别注意sample_actions 这一步要求决策模型本身支持从动作分布采样多个候选。如果模型设计成只输出一个动作那就得改造生成过程要么调整温度参数做多次采样要么对动作空间做随机扰动后多次推理。这两种方式我都试过温度采样更自然随机扰动在一些离散动作场景下效果也不错。还有一种思路是让奖励模型做渐进式优化先粗选一批再对高分段做精细采样但这个要看具体任务的复杂度不一定值得。3.4 关键参数怎么调top_k、采样数 N、置信度阈值把调参过程中最常涉及的参数整理成了一张表方便对照参数取值范围推荐起点说明top_k3 - 105检索经验片段数量retrieval_threshold0.3 - 0.70.5检索分数过滤阈值n_samples8 - 3216候选动作采样数confidence_threshold0.3 - 0.70.5触发重规划的置信度阈值reward_hidden_dim64 - 256128奖励模型隐藏层容量调参的顺序是有讲究的。先固定 n_samples调 top_k 和 retrieval_threshold找到检索模块的最优区间再固定检索参数调 n_samples观察提升是否还有明显增量最后根据在线执行时的置信度分布定 confidence_threshold。整个过程建议配合离线回放工具来做——把历史日志喂进去快速验证参数组合别一上来就在真机上试。真机试一次的成本高、耗时长用离线数据先筛一遍能省下大量调试时间。4. 实测效果与关键参数对照三类任务的真实数据4.1 实验设定模拟环境控制变量先验证算法增益我在一个模拟桌面操作任务集上做了对比实验包含三类典型任务单物体抓取、插销插入、方块叠放。选模拟环境的目的很明确——控制变量排除真机上机械误差、标定误差的干扰先验证算法层面的增益到底有多少。这一步非常必要否则把机械误差和算法误差混在一起你根本判断不了 RSI 到底有没有用调参也失去方向。决策模型统一使用同一个预训练权重一套权重跑全部实验中间不做任何微调。RSI 外围模块则使用同样的经验库、同样的奖励模型配置。每组实验跑 200 次记录成功率和平均操作步数。经验库从任务对应的成功示范轨迹中构建每个任务约 100 条示范。4.2 结果对比成功率提升与步数缩短任务基线成功率RSI 成功率基线平均步数RSI 平均步数单物体抓取78.2%86.5%14.211.8插销插入52.0%68.3%22.616.4方块叠放64.5%74.6%19.114.9单物体抓取的提升幅度相对小原因在于这类任务本身对序列决策的要求不高基座模型已经够用外围辅助的边际收益自然有限。插销插入提升最大这类任务对精度要求极高一个错误动作就可能导致整个后续流程崩盘RSI 的纠偏机制恰好对症。方块叠放介于两者之间收益主要来自检索注入对摆放策略的引导——模型参考了相似场景下的成功做法减少了试错动作更果断。平均步数的缩短同样值得注意。步数缩短说明 RSI 不只是把失败救回来而是真的让决策更高效。我印象最深的是插销插入任务基线方案经常在插入阶段反复尝试、来回调整加入 RSI 之后模型参考经验片段中对准动作的参数经常一次到位。这个现象在离线回放日志里看得特别清楚基线方案的动作序列里有很多重复的修正动作RSI 方案里这些冗余明显减少。4.3 消融实验每个模块贡献多少一测便知为了搞清楚每个模块的贡献我做了一组消融实验分别去掉经验检索、去掉奖励模型重排序、去掉闭环重规划记录成功率变化。去掉经验检索之后成功率几乎回落到基线水平这说明经验注入是整体收益的主要来源占比最大。去掉奖励模型重排序之后成功率下降了大概 6 到 8 个百分点这说明候选动作的二次选择有实质价值不是可有可无的锦上添花。去掉闭环重规划之后短任务几乎不受影响但长任务失败率明显上升——纠偏机制是长任务稳定性的关键短任务因为很快就结束了根本没有多少累积错误的空间。还有一个值得注意的发现经验检索和重规划之间存在协同效应。检索到的优质片段不仅直接提升当前动作质量还让重规划更精准因为重规划时的新检索条件本身就依赖经验库的质量。好的经验库与好的决策优化器是互相成就的这在消融实验里看得非常清楚。所以如果你资源有限优先把经验库做扎实其次是重排序最后才是重规划。5. 常见问题与排查技巧实录5.1 典型问题速查表现象可能原因排查方法检索结果明显不相关状态编码与决策模型输入不对齐检查特征维度、归一化方式与输入格式奖励模型分数普遍偏高训练数据里负样本太少增加失败轨迹或在仿真中构造负样本重规划频繁触发但效果差置信度阈值设得太高降低阈值并观察执行结果变化注入经验后模型输出异常上下文格式不兼容对比模型在有无注入时的输入规范差异效果提升不稳定经验库中存在脏数据抽检经验库样本剔除可疑轨迹这些问题里检索结果不相关是最容易出现的基本都能在半小时内定位。奖励模型分数偏高则隐蔽很多需要专门统计训练数据的正负样本比例我见过一个项目因为正样本占了 95%奖励模型几乎变成打分机器——所有动作都给 0.9 以上排序完全失效。5.2 三个容易踩的坑经验库污染、奖励模型过拟合、检索抖动第一个坑是经验库污染。如果经验库里混入了看起来成功但实际没完成任务的轨迹检索注入的效果会大打折扣甚至比不注入更差——因为模型会被错误示范带偏。我的做法是入库前做人工抽检每批次至少抽 10% 的样本确认质量。有条件的话设置自动质检规则比如用当时记录的力觉曲线判断物体是否真正被抓起而不是镜头里看着像抓起了。力觉数据不会说谎这是判断抓取成功与否的最可靠信号。第二个坑是奖励模型过拟合。奖励模型只在训练分布内有效遇到分布外的场景会乱打分。缓解办法有三个给奖励模型的输入加状态扰动做数据增强打分时结合决策模型自身的置信度做加权不完全依赖奖励模型以及定期用新采集的数据增量更新奖励模型。这三个办法可以叠加使用我目前在生产环境里就是三个一起上的。第三个坑是检索抖动。相邻两步检索出来的经验片段差异过大会导致动作输出不连贯机器人会出现犹豫甚至物理上的抖动。我的解决方案是在检索结果上做时间平滑当前步的结果与上一步的检索结果做加权融合权重按场景变化幅度动态调整。场景变化快就多信任当前检索场景稳定就多沿用上一步的经验。这个机制在抓取和装配任务里都很管用动作序列的连续性能明显改善。6. 从这套方案里得到的一些经验我不太喜欢写总结式的东西直接分享几条最实在的经验。第一冻结权重的方案特别适合已经有稳定模型、又在快速迭代任务场景的团队。你不用每次换任务都重新训练只要更新经验库和奖励模型这两者的更新成本比微调低一个数量级。我见过不少团队在微调上反复折腾其实换到这种权重不动、经验更新的模式之后迭代速度快了很多团队成员的精力也释放出来了。第二这个方案不是万能的。如果决策模型本身能力太弱比如连基本的抓取都学不会外围辅助系统再强也救不回来。RSI 提升的是模型潜力的使用率而不是模型能力的上限。所以选型时一定要先评估基座模型的原始能力别指望 RSI 能把一个不合格的模型救成合格的机器人。判断方法很简单跑几个基线任务如果成功率连一半都不到先解决模型本身的问题再谈外围优化。第三试过几种不同模型之后我发现模型对检索信息的利用效率差异很大。有些模型天然适合上下文注入式的引导加提示词就明显提升有些模型比较固执输入里多了一段经验动作分布几乎不变。这种情况下重排序和重规划模块的作用就会凸显。所以实际落地前先用一个小实验摸摸模型的脾性再决定资源倾斜到哪个模块上——有的模型适合把功夫下在检索注入上有的模型更适合靠重排序兜底。最后再分享一个小技巧把经验库的版本和任务场景版本绑定管理每次换场景就切换对应的经验库模型权重从头到尾不变。这种数据与模型解耦的设计在多人协作时特别舒服版本仓库里维护的是场景配置和经验库而不是动不动就几个 GB 的权重文件协作效率、审阅效率都高出一截排查问题时也能做到指哪打哪。