让机器人拿一瓶可乐感知说‘在那’认知说‘能喝’规划说‘够不着’——环环相扣∞目录01 感知不是“装了摄像头”而是形成可行动的状态02 认知不是“识别到了”而是理解它与任务的关系03 规划任务步骤、几何路径和时间轨迹要分开04 控制与动作策略会输出动作不等于就是底层控制器05 记忆不是上下文窗口也不是简单接一座向量数据库06 把五类功能放回同一个任务机器人“拿一瓶可乐”时发生了什么07 端到端还是模块化未来不是一道二选一“大模型让机器人拥有了大脑”已经成为一种常见说法。但机器人从听懂一句指令到真正完成动作中间还要经历对环境的观察、对任务的理解、对行动的安排以及对身体的实时控制。即使端到端模型把多个环节压进同一套网络真实世界中的身体、环境和反馈也不会因此消失。因此机器人的具身“大脑”并不是某个无所不能的单一模型而是一套让机器人能够感知世界、理解任务、规划行动、控制身体并积累经验的智能系统。本文将围绕这五类核心功能讲清具身“大脑”如何理解世界、组织行动并在真实反馈中不断调整。▲图1 | 具身大脑不是单向流水线而是由五类功能构成的多时间尺度闭环01 感知不是“装了摄像头”而是形成可行动的状态感知要回答的核心问题是现在的外部世界和机器人自身处于什么状态摄像头、激光雷达、触觉阵列和编码器能产生大量原始信号但有信号并不意味着机器人已经“看懂”了世界。感知模块的真正任务是把像素、点云、触觉图像和关节角等繁杂数据转化为后续决策可以直接使用的状态或表征。具身感知通常需要同时处理两类信息一类是外感受Exteroception它关注外部环境中有什么、在哪里、状态如何。典型的输入包括图像、点云和触觉输出则是物体的类别、位姿、深度和接触状态等。另一类是本体感受Proprioception它关注机器人自身的身体状态。通过编码器和力矩传感器等输入系统能够实时掌握关节角度、运动速度和机体受力情况。因此仅仅能在二维图像中框出一个物体并不等于完成了具身感知。机器人不仅要识别“那是一个杯子”还需要估计杯子的三维位姿、形状以及可接触区域。特别是在手内操作时目标物体会被手指严重遮挡仅靠单一的视觉信号往往不够。▲图2 | NeuralFeels 融合视觉、触觉与机器人运动学信息在线估计手内物体的姿态和形状NeuralFeels 提供了一个典型例子。该系统面向手内操作期间的物体状态估计把 RGB-D 视觉、基于视觉的触觉图像和机器人本体/运动学信息结合起来在线优化神经有符号距离场neural SDF联合估计物体姿态与三维形状。这个案例说明传感器读数只是输入感知结果才是可供行动使用的状态多模态信号可以被融合为几何与姿态估计并不代表它单独完成了语义理解、任务规划或控制。感知与认知之间也没有一条绝对清晰的分界线。传统目标检测更偏向回答“是什么、在哪里”语义感知则已经在靠近“它对当前任务意味着什么”。这也是为什么同一个视觉基础模型在不同系统里可能被放在感知层也可能成为认知层的一部分。02 认知不是“识别到了”而是理解它与任务的关系认知要回答的核心问题是这些观测和指令意味着什么它们与当前任务有什么关系如果感知层告诉系统“桌面上有一个红色圆形物体位于特定坐标”认知层就需要进一步把它组织成与任务相关的表征它是一个苹果是一个可以抓取的对象或者正是用户指令中提到的“水果”。认知处理的重点是提取语义、理清对象关系、判断任务约束和引入常识先验。近年来大语言模型和视觉语言模型确实让机器人处理开放指令和常识知识的能力有了质的飞跃。但更准确的说法是大模型为机器人提供了丰富的语义与常识先验但这并不代表它自动拥有了可靠的物理世界模型——这些常识先验仍然必须接受当前观测、机器人实际能力以及安全约束的检验。在认知层面最容易出现三种误解1首先是认为“视觉模型识别出了物体所以机器人就理解了任务”。实际上识别出物体只是感知结果这个物体是否与当前任务相关、是否处于可操作状态还需要进一步的语义判断。2其次是觉得“语言模型知道清理水渍应该拿海绵所以动作一定能执行”。语言常识只能说明这个动作在逻辑上是对的但并不能保证机器人在当前的物理空间中够得着、抓得住那块海绵。3最后是误以为“模型输出了长篇推理文本所以它已经完成了规划”。语言推理可以辅助生成高层计划但最终仍需检查底层技能的可用性、几何路径的可行性以及物理执行的真实反馈。▲图3 | SayCan 将语言模型给出的任务有用性与机器人技能的可执行性评分结合SayCan 正好揭示了认知与具身执行之间的差别。系统使用语言模型评价候选技能对完成高层指令是否“有用”再利用与机器人技能相关的价值函数评估该技能在当前状态下是否“可执行”最后组合两类评分从预先定义的技能集合中选择下一步动作。举个例子面对“清理洒出的饮料”语言模型可能认为“拿海绵”在语义上有帮助但如果海绵不在可达范围内机器人侧的可执行性评分就会降低。所以认知并不等于“大模型”大模型也不等于完整认知系统。机器人还需要把语义判断锚定到具体身体、具体环境和实时状态中。不过理解任务只是起点。机器人知道目标以后还需要决定先做什么、后做什么以及身体该沿着怎样的路线运动。这就进入了规划环节。03 规划任务步骤、几何路径和时间轨迹要分开规划要回答的核心问题是为了达到目标接下来应该做什么又应该如何穿过空间与时间“规划”可能是具身智能中最常被一词多用的概念。要准确理解它我们至少需要把它拆开成以下三个层级任务规划Task Planning解决的是“大目标应该被拆成哪些离散步骤”。它的典型输出是类似“移动到桌边—抓取杯子—走向水池—放下杯子”的动作序列。常见的方法包括行为树、状态机以及当前流行的利用语言模型生成计划。运动规划Motion Planning解决的是“从当前姿态到目标姿态怎样避开障碍并保持可行”。它的典型输出是一条没有碰撞的几何路径。经典的算法有 A、RRT 等。轨迹生成/轨迹优化Trajectory Generation/Optimization解决的则是“机器人应该在什么时间到达什么状态并满足速度、加速度和力矩等物理约束”。它的输出是带有时间参数的状态或控制序列。简单来说路径主要描述的是几何路线而轨迹则带有时间、速度和加速度等信息。认知与规划的区别同样重要认知负责理解任务和场景的语义而规划则是在既定目标和物理约束下选择未来的具体行动。语言模型可以同时参与这两个环节但“同一个模型参与”并不代表这两种功能已经变成了同一回事。▲图4 | PaLM-E 将视觉和连续状态等具身输入编码进语言模型并以文本形式生成多阶段计划PaLM-E 是一个容易被“误读”的案例。它可以接收图像、连续状态估计和文本等交错输入并在机器人任务中生成文本化的多阶段计划其核心仍是自回归生成文本的具身多模态语言模型。Google Research 的系统说明明确指出机器人执行还需要把文本决策交给低层 language-to-action policy 转换成动作。因此PaLM-E 展示的是大模型如何参与具身多模态理解、推理和任务层计划而不是“一个语言模型直接输出电机控制”。在安全性、实时性和可验证性要求较高的场景中大模型负责任务理解和高层步骤传统运动规划器负责路径可行性低层控制器负责稳定执行依然是一种常见的工程组合。但计划写得再完整如果不能被身体稳定执行也只是停留在“纸面”上。规划之后具身“大脑”还要面对最直接的物理问题——控制。04 控制与动作策略会输出动作不等于就是底层控制器控制要回答的核心问题是如何把期望状态或参考轨迹稳定、及时地变成物理执行在经典机器人学中反馈控制器会不断比较参考目标与实时状态之间的误差并据此输出位置、速度、力或力矩命令持续修正偏差。控制循环通常比高层的语言推理和任务规划快得多以便及时应对物理世界中的突发扰动。而在当前的具身智能研究中我们更常听到的词是动作策略Action Policy。策略通常表示从观测状态到具体动作的映射可以通过模仿学习或强化学习等方式训练得到。这两个概念虽然密切相关但不能简单画等号策略Policy强调的是在当前观测下“系统应该选择什么动作”。它输出的可能是目标位姿、动作序列或技能编号。但策略并不天然具备可证明的稳定性也不一定直接驱动底层的电机。反馈控制器Controller则强调“如何依据误差稳定地跟踪参考目标并抵抗外界扰动”。它输出的是底层的位置、速度或力矩命令。相对地控制器通常不负责语义理解和高层的任务分解。Diffusion Policy 就是一个典型的学习策略。它把视觉运动策略表示为以观测为条件的去噪扩散过程生成一段未来动作序列并采用滚动时域方式执行系统执行其中一部分动作获得新观测后再重新生成后续序列。这里的“闭环滚动执行”不等于最底层的电流环或关节伺服。策略给出的动作目标通常仍需通过机器人平台更低层的位置、速度或力控制接口落实。▲图5 | RT-2 将机器人动作离散化为 token使视觉、语言与动作预测在同一模型中联合学习RT-2RT-2 则进一步压缩了语义理解、任务判断和动作策略之间的接口。它把机器人动作离散化为 token与视觉—语言数据和机器人轨迹数据共同训练推理时再把动作 token 反解为机器人动作并在闭环中执行。但“端到端输出动作”也并不等于“一个模型取代全部控制栈”。RT-2 可以跨越传统的认知、规划和动作策略边界却不会自动消除状态估计、底层伺服、安全约束、碰撞检查和实时系统。端到端压缩的是功能接口不是物理世界的反馈需求。不过仅仅完成眼前的动作还不足以支撑长期、连续的任务。机器人还需要保留过去的信息并在合适的时候重新调用这就是记忆的作用。05 记忆不是上下文窗口也不是简单接一座向量数据库记忆要回答的核心问题是哪些过去的信息需要被保留、如何组织以及在什么时候被取回在机器人系统中历史信息可以隐式地存在于循环网络的隐藏状态中也可以显式地存放在地图、场景图、技能库和外部数据库里。经典机器人系统早已在使用地图和信念状态而今天具身智能所推动的新变化是把时间跨度更长、语义更开放的信息纳入到可检索、可推理的记忆系统中。为了便于理解我们可以把记忆按功能粗略分为四类首先是工作记忆Working Memory主要用于短期保持和操作当前任务信息例如刚刚收到的指令、最近几帧的视觉观测以及尚未完成的子任务。其次是情景记忆Episodic Memory负责保存过去发生的具体事件及其时空背景。例如让机器人能够回想起“十分钟前在会议室的桌子上见过那个红色的杯子”。第三是语义记忆Semantic Memory用于保存抽象事实、对象关系和环境常识。比如“厨房里通常会有冰箱”或者“这种柜门需要向外拉”。最后是技能或程序性记忆Procedural Memory用来保存如何执行特定动作或复用已有技能包括抓取策略、导航参数和成功经验的索引。此外我们还需要区分记忆功能与记忆载体。大模型的上下文窗口只是一种短期的信息载体向量数据库也只是负责存储和检索而模型参数承载的则是训练阶段形成的统计知识。一个完整的具身记忆系统不仅涉及存储还涉及信息的写入、压缩、更新、遗忘以及检索结果如何真正影响后续的认知、规划和行动。▲图6 | ReMEmbR 将视频描述、机器人位置和时间戳写入可检索的时空记忆用于问答和导航目标生成ReMEmbR 展示了一种外部、非参数化的长时空记忆方案。系统把机器人长期视频切分为片段生成文本描述并将描述嵌入、机器人位置和时间戳写入向量数据库查询时LLM 代理可以迭代调用文本、空间和时间检索函数回答历史问题或生成可导航位置。因此机器人可以处理类似“之前在哪里看到过某个物体”的查询并把检索结果转成导航目标。但 ReMEmbR 并不等于机器人获得了统一的人类式长期记忆也不意味着模型参数会根据每次经历持续更新。该研究展示的本质是外部时空记录、检索、语言推理与行动接口如何被组合起来系统仍可能因物体描述混淆而产生错误目标。记忆也不是认知之后的附加组件。没有记忆机器人只能依赖当前观测被动反应有了可写入、可检索、可用于行动的历史认知和规划才可能真正跨越长时间尺度。06 把五类功能放回同一个任务机器人“拿一瓶可乐”时发生了什么抽象概念最终要回到身体与环境中。假设对机器人说“把我刚才放在客厅的那瓶冰可乐拿过来。”这句话至少同时调动五类功能顺序也不是固定的。机器人可能先从记忆中找到大致位置再导航到客厅新的视觉观测发现瓶子已被移动后感知结果会促使认知更新指代规划器重新规划控制器继续执行。这才是具身智能真正的闭环智能并不只发生在“想出答案”的瞬间也发生在动作改变世界、世界反过来修正系统的过程中。07 端到端还是模块化未来不是一道二选一当感知、认知、规划、控制和记忆被放进同一套系统后一个新的问题随之出现这些功能应该分别实现还是尽可能交给一个端到端模型当前具身智能主要沿着两条路线发展。一条是端到端融合。VLA、扩散策略等模型试图减少人工设计的中间接口让视觉、语言和动作数据在同一套网络中学习。这样做有机会减少模块之间的信息损失也更容易从大规模数据中学习复杂的跨模态关系。另一条是模块化协同。大模型负责理解开放指令、处理语义和安排高层任务状态估计、运动规划、反馈控制和安全系统则继续负责实时执行与物理约束。这样做更容易定位问题也更便于保证关键环节的稳定性。▲图7 | 从传统模块化系统到端到端 VLA变化的是接口边界而不是感知、反馈和物理约束的消失现实中的机器人系统很可能长期处在两者之间部分接口被大模型合并部分安全关键和高频模块继续保持独立某些能力由数据驱动策略完成另一些能力仍由解析模型、搜索、优化和反馈控制承担。所以面对一个新的具身模型真正值得追问的并不是“它是不是机器人大脑”而是它让感知、认知、规划、控制或记忆中的哪一环变得更强它接收什么信息、输出什么结果在真实机器人上还需要哪些系统与它配合把这几个问题说清楚我们才能判断一个模型究竟是在完善具身“大脑”的某一部分还是已经真正打通了从理解到行动的闭环。