欢迎来到人工智能的世界博客主页卿云阁欢迎关注点赞收藏⭐️留言首发时间2026年7月30日✉️希望可以和大家一起完成进阶之路作者水平很有限如果发现错误请留言轰炸哦万分感谢目录论文信息论文的核心内容智能体的演进核心的维度What to Evolve进化什么When to Evolve何时进化How to Evolve如何进化论文信息论文原文https://arxiv.org/pdf/2507.21046GitHub项目地址https://github.com/CharlesQ9/Self-Evolving-Agents论文的核心内容智能体的演进人工智能从“大语言模型”逐步走向“下一代智能体”的能力演进路线随着台阶不断升高智能水平也不断提升。第一阶段是大语言模型LLMs例如 GPT-4、Claude-4 和 DeepSeek-R1核心能力是语言理解和文本生成。第二阶段是基础智能体Foundation Agents例如smolagents、Manus 和 ChatGPT agent它们在大模型基础上增加了规划、工具调用和工作流构建能力能够借助工具真正执行任务。第三阶段是自进化智能体Self-evolving Agents例如Alita 和 Gödel agent它们不仅能执行任务还能从环境反馈和历史经验中学习通过学习与进化机制不断改进未来表现图中的“Our Survey”表示这篇综述重点研究的正是这一阶段。最后一个尚未完全明确的阶段是“下一代智能体智能”图中用“???”和“To be Explored”表示其具体形态仍有待探索可能具备比当前自进化智能体更高层次的自主学习、长期进化和通用智能。右侧向上的箭头表示从语言模型到基础智能体、自进化智能体再到未来智能体其智能程度总体上逐级提高。核心的维度What to Evolve进化什么这是智能体进化过程中的第一个问题。研究者们探讨了以下关键组件的进化可能性模型本身包括模型结构、参数更新机制等。上下文例如记忆模块、提示优化Prompt Optimization帮助智能体更好地理解当前任务。工具如API调用、代码执行等提升智能体的实用性和灵活性。架构包括单智能体和多智能体系统的设计优化。When to Evolve何时进化智能体的进化时机至关重要。论文将进化分为两类Intra-Test-Time Self-Evolution测试期内进化在同一个任务或对话中智能体实时调整策略。Inter-Test-Time Self-Evolution跨测试期进化在多个任务之间积累经验逐步提升性能。这种分层进化机制使得智能体既能快速响应当前任务又能长期积累知识形成更强大的适应能力。How to Evolve如何进化这是实现自我进化的关键技术路径。论文详细分析了多种方法基于奖励的学习通过设定奖励函数引导智能体优化行为。模仿学习通过观察其他智能体或人类的行为进行学习。种群进化方法利用多智能体之间的竞争与合作推动整体进化。在线与离线学习结合兼顾实时反馈与长期知识积累。此外论文还探讨了奖励粒度、策略选择on-policy vs off-policy等关键因素为实际应用提供了理论支撑。任务内部进化为了把当前这一次任务做得更好改进通常是即时的。任务之间进化把当前任务的经验保留下来用于改进以后遇到的任务更新更具有持续性。智能体可以利用不同形式的“奖励信号”判断自己的行为好不好并据此不断改进策略这就是基于奖励的进化。奖励主要包括四类文本反馈用自然语言指出原来的计划哪里不对、应该如何修改内部奖励由模型根据自身的预测概率或确定程度进行自我评价外部奖励由环境运行结果、多数投票或明确规则提供评价隐式奖励则是在当前上下文中用简单的数值信号引导智能体调整。简单来说无论反馈是一段文字、模型自己的信心、外部评价还是一个分数只要它能说明行为的好坏就可以帮助智能体总结经验并逐步进化。这张图从三个角度说明智能体可以怎样实现进化在学习方式上可以先收集和筛选数据、再微调模型即离线学习也可以让智能体在与环境实时交互时持续学习即在线学习。在策略一致性上On-policy同策略进化使用当前智能体亲自执行产生的轨迹来改进自己Off-policy异策略进化则可以利用旧策略、人类示范或其他智能体产生并存入回放库的经验进行学习。在奖励粒度上可以评价任务执行的每一个步骤即过程奖励可以只评价最终结果即结果奖励也可以将两者结合形成混合奖励。简单来说这张图是在说明智能体可以选择“什么时候学、向谁的经验学以及按照过程还是结果来评价”从而形成不同的自进化方案。这张图说明自进化智能体的研究与应用可以分为两类一类是面向各种任务的通用领域主要通过记忆机制保存和复用经验、让基础模型与智能体共同进化以及采用由简单到复杂的课程式训练提升智能体的通用能力另一类是面向具体业务的专业领域包括编程、图形界面操作、金融、医疗、教育及其他场景智能体需要结合行业知识、业务规则和实际反馈进行针对性进化。简单来说前者研究“智能体普遍怎样学习和成长”后者研究“智能体在某个具体行业里怎样越做越专业”。这张图说明自进化智能体的评价不能只看一次任务是否成功还要从适应性、经验保留能力、安全性、泛化能力和运行效率五个方面综合判断在评价时间跨度上又可以分为三个层次静态评价主要利用外部任务和智能体内部组件测试当前能力短期自适应评价通过增强型传统基准或内置动态基准观察智能体能否在较短的交互过程中快速调整长期终身学习评价则使用终身学习基准和持续变化的动态基准考察智能体能否长期积累经验、适应新任务同时不遗忘原有能力。简单来说就是既要看智能体“现在做得好不好”也要看它“短期能不能改进”和“长期能不能越学越好”。