1. 从“评分”到“基准”AGI评估为何需要一场范式革命最近谷歌DeepMind搞了个大动作发布了一个名为“AGI终极评分”的框架还配套了20万美元的全球悬赏。这事儿在圈内炸开了锅不是因为奖金多诱人而是它直指当前大模型评测的“皇帝新衣”。我们每天都在看各种榜单某某模型在MMLU上又拿了多少分在HumanEval上刷到了新高。但冷静下来想想这些分数真的能代表模型离“通用人工智能”更近一步了吗恐怕未必。很多时候我们只是在用一套精巧的“应试技巧”去应对一套固定的“考题”模型学会了“刷题”而非真正“理解”。DeepMind这次出手核心意图就是“撕下伪装”。它不再满足于测试模型在某个狭窄任务上的表现而是试图构建一个多维度的、动态的、更接近人类综合智能的评估体系。这背后反映的是一个根本性的焦虑我们现有的评测基准可能已经无法有效区分“记忆大师”和“思考者”更无法衡量模型是否具备跨领域迁移、自主学习和解决开放问题的能力。当模型在特定测试集上分数趋同甚至饱和时我们急需一套新的“标尺”来指引AGI研发的下一步方向。这个“终极评分”框架可以看作是DeepMind试图为混乱的AGI竞赛立下的新规矩。2. 拆解“终极评分”超越传统基准的四大核心维度传统的基准测试如GLUE、SuperGLUE、MMLU等本质上是静态的、封闭域的技能考核。而DeepMind提出的“AGI终极评分”框架其野心在于构建一个动态的、开放域的“能力全景图”。根据其公开的技术报告和讨论这个框架至少围绕着以下几个核心维度展开这也是它试图“撕下伪装”的关键所在。2.1 维度一任务泛化与零样本学习能力传统基准往往在一个固定数据集上训练和测试模型容易过拟合到数据分布的统计特征上。“终极评分”框架强调评估模型在完全未见过的任务类型和领域上的表现。这不仅仅是增加几个新数据集而是设计一套机制能够生成或选取与模型训练数据分布差异极大的挑战性任务。例如一个在编程和科学问答上表现优异的模型突然面对一个需要结合中世纪历史知识和现代物理原理来设计一个奇幻世界经济体系的开放式问题。评估的重点不是答案的“正确性”因为可能没有标准答案而是解决方案的逻辑自洽性、创意性和跨领域知识融合的深度。这要求模型不能只是“检索”或“拼接”已知信息而必须进行深度的推理和创造。框架可能会通过自动化任务生成、对抗性示例构造等方式持续产生这样的“泛化压力测试”。2.2 维度二持续学习与知识更新效率当前的大模型本质上是“一次成型”的静态知识库。训练完成后其知识截止于某个时间点且难以高效融入新知识而不产生灾难性遗忘。“终极评分”将模型持续学习的能力纳入核心考核。这不仅仅是评估它能否通过指令微调学会新技能更是评估它在增量学习、在线学习场景下的表现。具体可能包括给定一小批关于某个新兴事件如一项刚发布的前沿科技突破的文档要求模型在极少的样本下快速理解并整合新知识然后回答基于新旧知识混合的复杂问题。同时评估其在此过程中对原有核心知识的保留程度。这模拟了人类“活到老学到老”且知识体系不断演进的过程。评估指标会兼顾学习速度、知识整合的准确性和对旧知识的记忆稳定性。2.3 维度三复杂推理与规划链条的深度许多现有基准的推理步骤相对较短或者可以被模式匹配所解决。“终极评分”框架致力于测试模型进行长链条、多步骤逻辑推理和分层规划的能力。这不仅仅是做数学题或逻辑谜题而是涉及现实世界中的复杂决策。例如给出一个模糊的商业场景描述“一家中小型制造企业面临成本上升和订单减少的双重压力同时其核心技术人员有被竞争对手挖角的风险。”要求模型扮演咨询顾问制定一个为期一年的、包含多个阶段如短期维稳、中期转型、长期创新的详细应对计划。计划需要涉及财务预算、人力资源策略、市场开拓、技术研发等多个相互关联的子模块。评估将关注计划中各环节的因果逻辑是否严密资源分配是否合理是否预见了潜在风险并制定了备选方案。这需要模型具备将高层次目标分解为可执行子任务并在资源约束下进行优化的能力。2.4 维度四社会智能与价值对齐的具身评估这是最具挑战性也最容易被传统基准忽略的维度。AGI最终需要与人类在复杂的社会环境中协作。“终极评分”框架试图评估模型的社会常识、情商、伦理判断和价值对齐程度。这远不止于回答几个道德困境选择题。评估可能通过复杂的多轮对话模拟、角色扮演游戏或基于文本的交互式叙事环境来进行。例如让模型在一个模拟的社区管理场景中处理居民之间因公共资源使用产生的冲突。模型需要理解各方的诉求、情感和潜在动机引用相关的社区规约或普遍社会规范提出既能解决问题又能维护社区和谐的方案。同时评估者会故意设置一些包含文化差异、价值观冲突或道德模糊性的情境观察模型的反应是否一致、合理且符合广泛认可的人类伦理原则。这个维度的评估很难完全自动化可能需要引入大量人类评估者进行细粒度的评判。3. 悬赏背后的战略意图开源生态、真实数据与方向引领拿出20万美元举办竞赛DeepMind显然不是钱多没处花。这场悬赏活动是“终极评分”框架落地的关键一步其战略意图是多层次的。首先是众包挑战收集“对抗性”样本。再精妙的理论框架也需要真实数据的验证和压力测试。通过悬赏可以吸引全球的研究者、黑客甚至爱好者绞尽脑汁去构建能让当前最先进大模型“原形毕露”的测试案例。这些案例往往是研发团队在实验室里想不到的“边缘案例”或“对抗性攻击”它们能最有效地暴露模型的脆弱性和局限性从而反向推动评估框架和模型本身的改进。这相当于用全球的智慧为AGI评估进行一次大规模的“模糊测试”。其次推动评估基准的开源与社区化。DeepMind很可能希望将“终极评分”框架打造为一个开放的、持续演进的社区标准而非自家私有的评估工具。通过悬赏竞赛吸引社区贡献代码、任务和评估方法能快速丰富框架的内容提升其权威性和公信力。一旦形成生态它就能成为衡量AGI进展的“事实标准”这对于DeepMind在AGI领域建立长期的话语权和影响力至关重要。最后也是最根本的是引导研发方向。当前大模型的研究存在一定的“刷榜”惯性容易陷入针对特定基准的过度优化。DeepMind通过设立这样一个指向“通用能力”而非“特定任务分数”的悬赏是在向整个行业发出信号是时候将注意力从“刷分”转移到构建真正具有泛化、学习和推理能力的系统上了。它希望用竞赛和奖金将行业的研究资源牵引到那些对实现AGI更为本质、但也更困难的课题上比如如何评估和提升模型的元认知能力、因果推理能力等。4. 对现有大模型生态的冲击与挑战“AGI终极评分”框架的提出无疑是对现有大模型竞技场的一次“降维打击”。它可能会带来几个立竿见影的影响和长期挑战。短期影响榜单洗牌与宣传话术失效。可以预见当模型们被置于这个新的、更严苛的评估体系下时现有基于MMLU、GPQA等传统基准的排名可能会发生剧烈变化。一些在传统“选择题”考试中表现优异的模型可能在开放域生成、复杂规划任务中表现平平。这将迫使所有厂商调整其技术宣传的重点从“我们在XX基准上领先多少百分点”转向“我们的模型在解决复杂、开放问题方面有何优势”。整个行业的竞争维度被拓宽和深化了。技术挑战评估成本飙升与主观性难题。“终极评分”所倡导的评估方式其计算成本和人力成本将远高于运行一遍标准的测试集。复杂的交互式评估、需要人类评判的开放性任务都使得大规模、高频次的评估变得困难。此外对于创造力、社会智能、伦理判断等维度的评估不可避免地会引入主观性。如何设计既可靠又高效的自动化或半自动化评估方法将是框架能否被广泛采用的关键。这本身就是一个极具挑战性的研究课题。研发范式挑战从“预测下一个词”到“构建认知架构”。这对模型研发者提出了更高的要求。仅仅扩大数据规模和参数数量或者进行更精细的预测训练可能不足以在“终极评分”中取得好成绩。研发者需要更多地思考模型的内部认知架构例如如何显式地表示和操作知识如何进行模拟和规划如何实现持续稳定的学习而不遗忘。这可能会促使更多混合架构如神经符号系统的研究以及将强化学习、课程学习等范式更深度地融入大模型训练中。对我个人而言在实际跟进各类模型和尝试解决实际问题的过程中一个很深的体会是模型的“考试能力”和“做事能力”之间存在鸿沟。一个能在学术基准上拿高分的模型在接手一个具体的、定义模糊的、需要多步协调的现实项目时比如“帮我分析一下这个开源项目的代码结构并规划一个添加XX功能的开发方案”往往会表现得手足无措给出泛泛而谈或逻辑断裂的建议。DeepMind的这个新框架正是试图去度量这种“做事能力”。它提醒我们在关注模型“知道什么”的同时更要关注它“能用知道的东西做什么”以及“如何学会做新的事情”。这无疑是AGI道路上更值得努力的方向。