1. 从“苦涩的教训”谈起AGI之路上的范式之争最近在圈子里一篇名为“苦涩的教训”的短文又被翻了出来反复咀嚼。这篇由强化学习先驱理查德·萨顿撰写的文章虽然篇幅不长却像一把精准的手术刀剖开了我们追求通用人工智能AGI道路上最核心、也最令人不安的症结。文章的核心观点用大白话讲就是过去七十年里AI研究最大的教训是那些试图将人类知识、逻辑或特定领域结构“硬编码”进AI系统的努力最终都被基于大规模计算和数据的“蛮力”方法所超越。这个结论对于许多深耕于符号主义、知识图谱或试图为AI设计“完美架构”的研究者而言无疑是苦涩的。为什么说它“苦涩”因为这挑战了我们作为智能生物的一种本能优越感。我们总认为人类的智慧是精妙的、结构化的、充满先验知识的。我们试图让机器模仿我们的思维方式为它们设计复杂的推理引擎、知识表示框架和逻辑规则。然而“苦涩的教训”指出这种“人类中心主义”的路径效率低下。真正的突破往往来自于放手让简单的学习算法比如搜索、神经网络在近乎无限的计算资源和海量数据的驱动下自己去发现规律。从国际象棋到围棋从图像识别到自然语言处理历史一再证明基于搜索和学习的方法最终碾压了基于人类专家知识精心设计的系统。现在当我们谈论AGI特别是结合最新的“多模态AGI”热潮时这个教训显得愈发尖锐。多模态AGI不再是处理单一的文字或图片它要求模型能理解、关联并生成跨越文本、图像、音频、视频甚至更多感官模态的信息。面对如此复杂的任务我们是应该投入巨大精力去设计一个能“理解”世界运作原理的超级符号系统还是应该构建一个足够庞大的模型用前所未有的算力和数据去“喂”它让它自己从原始信号中涌现出跨模态的理解能力当前的趋势显然强烈地指向后者。这不仅是技术路径的选择更是一种思维范式的根本转变。2. “蛮力”的胜利计算与数据何以成为AGI的基石萨顿所说的“苦涩的教训”其底层逻辑是“可扩展性”的胜利。人类知识是宝贵的但也是有限的、有偏见的、难以形式化的。而计算和数据的增长在过去几十年里遵循着近乎指数级的摩尔定律和数据爆炸规律。一个依赖于人类先验知识的系统其性能天花板在系统设计之初就被锁定了。但一个基于学习和搜索的系统其性能理论上可以随着投入的计算资源和数据量无限提升。我们可以看看几个标志性的案例。深蓝击败卡斯帕罗夫核心是暴力搜索结合了精心调校的评估函数其中的人类象棋知识已经让位于强大的算力。而AlphaGo击败李世石则是一个更纯粹的“苦涩教训”范例。它初期通过人类棋谱学习模仿学习但最终超越人类的AlphaGo Zero和AlphaZero完全摒弃了人类知识仅通过自我对弈强化学习和蒙特卡洛树搜索从零开始发现了甚至颠覆人类千年围棋定式的下法。它的“智能”完全源于海量的模拟对局和计算。到了今天的多模态大模型如GPT-4V、Gemini等这一趋势达到了新的高度。这些模型没有内置的“视觉常识推理模块”或“图文对齐知识库”。它们所有的“理解”能力都来自于在数万亿token的文本和数百亿张图像-文本配对数据上的训练。模型通过海量数据自发地学习到了像素阵列与语言描述之间复杂的统计关联从而能够进行看似需要深层理解的跨模态任务比如根据描述生成图像、回答关于图片的复杂问题等。这里的“智能”是一种从数据分布中涌现出来的属性而非预设的规则。这带来了一个关键启示在通往AGI的道路上构建一个能够高效利用近乎无限计算和数据的学习架构比试图将人类所有知识编码进去更为根本和有效。这个架构需要具备极端的可扩展性模型规模、数据规模、计算规模、强大的泛化能力以及从多模态原始数据中自我学习的能力。当前基于Transformer的架构配合海量数据和分布式训练正是这一思想的体现。它的成功不在于其结构多么精巧地模仿了人脑而在于它作为一个“计算容器”能够贪婪地吸收并利用计算与数据资源。3. 多模态AGI当前实践如何印证并挑战“教训”“多模态AGI”作为最新的热点可以看作是“苦涩的教训”在更复杂战场上的延续和压力测试。当前的实践强烈印证了数据与计算的核心地位但也暴露出这一路径下的新挑战。印证方面所有领先的多模态模型其核心能力无一不是通过在海量、高质量的多模态对齐数据上进行大规模预训练获得的。例如训练一个既能看懂图又能生成文字描述的模型需要数以亿计的图像文本描述配对数据。模型的性能与训练数据的规模和质量呈现出强烈的相关性。没有这些数据再精巧的模型设计也无济于事。同时训练这些模型所需的算力是天文数字进一步凸显了“计算”作为核心资源的地位。模型从这些数据中“自学”出了颜色、形状、空间关系、物体功能乃至社会常识的关联这个过程几乎没有注入显式的人类知识规则。挑战方面“苦涩的教训”路径在多模态场景下也遇到了新的“苦涩”。数据瓶颈与对齐难题高质量、精准对齐的多模态数据如图文对、视频-文本对的获取和清洗成本极高。互联网上的数据噪音大存在大量错误关联或描述模糊的数据。模型从有噪声的数据中学习会继承甚至放大这些偏见和错误。这就是为什么多模态模型有时会产生“幻觉”——生成与输入图像无关或事实错误的文本。这可以看作是一种新的“教训”即使有海量计算数据的质量和对齐精度成为了新的瓶颈。“理解”还是“关联”批评者认为大模型学到的只是表面上的统计关联而非真正的因果理解。例如模型知道“苹果”这个词常与红色圆形物体和“吃”这个动作一起出现但它是否理解苹果是一种水果、可以生长在树上、有营养价值根据“苦涩的教训”我们或许不该纠结于这种哲学意义上的“理解”只要这种统计关联足够强大和泛化能解决复杂任务就可以视作一种有效的智能形式。然而在需要深度推理、因果判断或长链条规划的AGI任务中仅靠统计关联可能力有不逮。能耗与可持续性这条路径是极度“贪婪”的对算力和电力的需求不断攀升。训练一个顶尖多模态模型的碳足迹可能相当惊人。这引发了关于技术路径可持续性的伦理和社会思考。纯粹的“规模扩张”是否有一个物理或经济上的极限我们是否需要寻找更高效的学习算法在吸收“苦涩教训”精髓的同时降低对资源的依赖注意在多模态模型开发中数据质量的重要性已经超越了数据规模的粗放增长。构建一个干净、多样、对齐精准的高质量数据集往往比单纯堆砌十倍规模的噪声数据更能提升模型性能并能显著降低后续对齐和纠偏的成本。4. 超越“苦涩”寻找下一阶段的合成路径完全拥抱“苦涩的教训”意味着将AGI的研究完全押注在扩大模型规模、收集更多数据、投入更多算力上。这固然是当前的主航道且潜力巨大但我们也应看到其局限性。未来的AGI之路可能需要一种新的合成在接纳“规模优先”这一核心教训的基础上巧妙地融入结构化先验和因果推理而不是简单地回到老路。首先我们需要区分“有害的先验”和“有用的归纳偏置”。“苦涩的教训”反对的是那些过于具体、僵化、限制系统学习能力的人类知识例如为围棋程序编写具体的开局定式。但它并不反对为学习系统提供一些更通用、更底层的“归纳偏置”。例如卷积神经网络CNN的局部连接和权重共享思想就是一种针对图像空间局部相关性的有效归纳偏置它极大地提升了学习效率。对于多模态AGI类似的偏置可能包括对时空连续性的假设、对物体持久性的假设、对因果方向性的偏好等。将这些作为模型架构的软约束而非硬规则可以引导学习更快地收敛到更好的解空间而不是从零开始“重新发明轮子”。其次强化学习与基础模型的结合可能是关键突破口。“苦涩的教训”源于强化学习领域而当前的大语言/多模态模型主要是通过自监督学习获得知识。让这些拥有庞大先验知识的基础模型在一个模拟或真实的环境中通过强化学习进行“试错”和“目标驱动”的学习是让它们从“知识库”迈向“智能体”的必经之路。AlphaGo Zero的成功已经展示了自我博弈强化学习的威力。将这种范式应用于拥有多模态理解能力的基础模型让它们为了完成复杂任务如操作软件、控制机器人、进行科学研究而主动规划、行动并从结果中学习有望催生出更接近AGI的行为能力。最后模块化与系统化思维可能重新变得重要。一个纯粹的、单一的巨大模型可能并非AGI的最优形态。未来的系统或许是由多个 specialized 的、通过“苦涩教训”方式训练出来的大模型通过一种可学习的、灵活的协作机制组成。有的模块擅长感知有的擅长规划有的擅长工具使用。系统架构本身也可以被优化。这样既能保持每个模块强大的数据驱动学习能力又能通过架构引入必要的功能分离和协作逻辑以应对超长链条、需要多种认知能力的复杂任务。我个人的体会是“苦涩的教训”不是一个终点而是一个路标。它告诉我们不要试图用人类的智力去“雕刻”AI而要为AI的自我成长提供最肥沃的土壤——无限的计算和数据以及一个足够开放的学习框架。但在开垦这片土壤时我们可以选择播下更有潜力的“种子”更好的归纳偏置并设计更高效的“灌溉系统”更优的学习算法与架构。多模态AGI的征程正是我们在这条被指明的道路上面对新挑战寻找新平衡点的持续探索。最终那个能通过图灵测试、能通用地解决各类问题的系统很可能既不是纯粹符号主义的结晶也不是完全无引导的暴力产物而是在深刻吸收了这一“苦涩教训”之后进化出的一个更高级的合成体。