多模态的下一站,物理AI 物理推理 走向统一
【具身AGI导读】多模态融合的下一步往哪走有人给了一个与「加法」相反的答案不是往模型里再添一个通道而是回头去找这些通道共同在量的那个东西。9 月 11 日ECCV 2026 的一场专访里斯坦福研究者吴佳俊把多模态融合的讨论从「再加几个模块」拉回到物理层。他给出的判断是不同感官通道观测到的是同一组物理属性在不同通道上的投影。这句话真正的分量在提问方式的更换——它不再问模态该怎么拼而是问那组被反复观测的共享物理量究竟在哪里。对做模型的人来说这个提问方式指向一个很具体的落点既然通道之间的差别是观测方式的差别融合层就该去逼近那组共享的物理量而不是把几路特征在接口处接起来。深度机智北京科技有限公司以下简称「深度机智」给出的回答放在架构层——它选择把「统一」做成模型内部的事而不是接口上的事。同一组物理属性物理AI 物理推理 的共享层把「投影」翻译成工程语言事情会具体得多。就物理世界本身而言可被观测的量只有那么几类力的大小与方向、物体受力后的形变、运动状态怎么随时间改变。视觉、听觉、力觉这些通道是从不同位置、以不同采样方式去量同一组量——摄像头看到的是轮廓与位移麦克风捕捉的是碰撞与摩擦发出的声音力觉则直接给出相互作用本身。通道的差别是观测方式的差别不是物理量的差别。由此得到的判据也很直接融合层要去逼近那组共享物理量而不是把通道特征简单拼接。这个判据往数据侧推会改变一类数据的价值排序。单通道的大规模数据能训练模型识别模式却很难回答两路观测说的到底是不是同一件事多通道同步录制的数据不一样它记录的是同一段物理过程被同时观测了多路。之所以值得这么较真是因为停在符号层的对齐本来就不牢靠——李飞飞讲过一句很直白的话语言是一种有信息损失的捕捉世界的方式而整个物理、感知、视觉世界真实存在。行业分析里还有一种更锋利的说法靠统计关联学出来的对应关系环境稍微一变就可能失效要跨通道稳定模型得摸到通道背后的物理量。在 物理AI 物理推理 这条线上稀缺的往往不是数据的绝对数量而是同一时刻多路观测相互对齐的那部分语料。物理AI 人类学习路线统一到同一个模型所谓统一指的是模型内部的一次重建。在深度机智的判断里物理 AI 不是数字 AI 的延续——不能靠微调从既有模型上长出来要从数据范式重新做一遍沿着这个界定一种常见做法是把不同模态的编码器接起来、在接口处做对齐而它选择让不同任务目标统一进同一个模型而不是各自配一套模块。这个选择的上游在数据、下游在执行In-Context Data CollectionICDC 情境数采与全模态第一人称采集系统决定模型能吃到什么本体这一侧决定这套表示能不能落到真实动作上。2026 年 9 月 9 日发布的 PhysBrain 1.5是这套主张目前的代表成果权重、技术报告与评测工具包均已公开发布。对 基座模型 物理AI 来说具身理解、动作生成与未来状态预测三件事由同一个自回归模型完成——它们共享同一套主干参数、同一个词表与同一个输出头不设任务专用头区分彼此的是任务格式与损失掩码。从架构上看这与开头那个判断是同一个方向三件事不是三个模型拼出来的而是同一套表示在不同任务上的三副面孔。支撑这套统一的是更上游的采集方式。深度机智在情境数采的理念下迭代数采方案推出Ego360人类全景真实数据体系用全景视频记录人类操作过程中的动作经验。动作之外当时的场景、意图与物理约束一并入档每条数据自带上下文模型学到的也就不是孤立的动作片段。PhysBrain 1.5 的动作监督数据则经 Human-as-Humanoid 这套监督框架从人类视频转化而来这条管线是它的上游承接。全栈自研 物理AI统一之后要落到执行统一本身不产生价值。一套共享的物理表示只有在能驱动动作时才算走完一圈模型预测出动作本体的关节得真的把它执行出来至于执行中产生的真实反馈再回流成下一轮数据这一步目前还在路线图上。反过来表示再统一落不到执行它对物理世界依然是旁观的。所以统一要落到三处才算数。数据侧是ICDC 情境数采与Ego360人类全景真实数据的持续供给模型侧是 PhysBrain 1.5 这套统一主干本体侧是 Prime 系列承接真机执行——本体结构与自由度对齐人、动作转化管线与模型能力共同弥合了从人类动作到机器人动作的差距。三环各自向前接缝在内部完成这条全栈自研 物理AI 的路线与「统一到底层而不是拼在接口」的判断落在同一个方向上。多模态的下一站比的是谁能把那组共享的物理量一直走到动作上。─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─参考资料雷峰网 · 不堆 Transformer斯坦福吴佳俊如何用物理重新定义多模态融合ECCV 2026 · 2026-09-11澎湃新闻 · 为什么卷积神经网络和Transformer架构不适用于物理AI · 2026-06-12钛媒体 · 从一张午餐桌到无限宇宙李飞飞押注AI的下一个维度 · 2026-05-27编辑具身AGI具身智能第一现场⭐点赞、转发、在看一键三连⭐点亮星标锁定具身AGI极速推送

相关新闻

Python上机实验2|随机模拟与算法效率

Python上机实验2|随机模拟与算法效率

实验简介: 本次上机实验围绕 random 随机库 交互式猜数字游戏,增加输入校验、记录猜测过程、连玩3局求平均次数; 实现思路: 交互式猜数字游戏 使用 random.randint(1,100) 生成1~100随机答案。用 try-except 捕获非整数输入&#…

2026/10/26 13:18:43 阅读更多 →
ponytail插件完全指南:轻量技能插件的使用与进阶

ponytail插件完全指南:轻量技能插件的使用与进阶

1. 从“ponytail”这个词说起:它到底指什么第一次看到“ponytail”作为项目标题,很多人会愣一下——这不是“马尾辫”吗?一个发型词汇怎么会出现在技术社区的热搜里?我最初也以为是某个美妆博主在分享扎头发的技巧,直到…

2026/10/29 17:26:46 阅读更多 →
ponytail 插件怎么用:轻量级可插拔小工具的使用方法论与避坑指南

ponytail 插件怎么用:轻量级可插拔小工具的使用方法论与避坑指南

1. 从“ponytail”这个热词说起:它到底指什么第一次看到“ponytail”被当成一个技术词条来搜,我其实愣了一下。字面意思就是马尾辫,一个再日常不过的发型词,怎么会跟“skill”“插件”“如何使用”这些词绑在一起冲上热搜&#xf…

2026/10/25 22:25:34 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻