Loop+Harness:清华大学自进化Agent论文解读(附下载)
当下Codex、Claude Code等各类Agent层出不穷但绝大多数产品仍停留在预训练固定提示词静态工具的模式模型上线后能力冻结交互产生的经验无法沉淀复用每一轮对话都是重复从零推理。2026年6月清华大学、Frontis.AI联合发布重磅综述《Self-Improving Agents in the Era of Experience : A Survey of Self-to Meta-Evolution》首次系统性提出经验时代Era of Experience推翻了靠静态数据集训练模型的传统思路完整搭建从自进化到元进化Agent全链路技术框架。AI正式进入经验时代传统大模型逻辑是训练阶段定型、部署阶段消耗。研发阶段投喂海量静态文本、代码数据完成预训练上线后仅依靠Prompt、固定工具库完成单次任务交互用户操作、环境试错产生的交互轨迹用完即弃不会反哺模型本身。而经验时代核心逻辑完全反转。AI Agent的核心价值不再取决于预训练数据集而是部署运行过程中持续生成的交互经验。整套系统形成闭环循环和用户/环境交互产生轨迹→提炼有效经验→改造自身能力底座→再次交互迭代实现越用越强。经验时代的基础设施什么是Harness讨论智能体如何进化之前必须先理解一个核心概念——Harness。一个部署后的智能体系统由四个部分共同决定基座模型、可变的状态化Harness、用户侧目标与反馈、环境侧工具与执行状态。其中Harness是经验进化的核心载体。为什么Harness如此关键因为模型权重更新一次需要数天和数百万美元而Harness的状态在部署期间可以被快速检查、修改和治理。它直接决定了模型能看到什么、能做什么、能捕获什么证据以及哪些交互能变成可复用的经验。当前Agent的发展可以划分为三代第一代任务闭环Task LoopsAgent在一个任务内完成推理、行动、观察的闭环任务结束循环即终止。仅实现思考工具调用基础链路任务结束后所有记忆、操作记录全部清空。这样的缺点是无法沉淀跨任务经验只能处理一次性简短需求不存在长期迭代能力。第二代跨任务复用Cross-Task Reuse引入持久记忆、标准化技能库、可复用工作流不同会话间能复用历史操作。但整套运行框架、Skill、记忆规则全部依靠人工提前配置上线后无法自主更新人类是唯一的系统维护者不存在自主进化机制。第三代运行时系统Runtime Systems将Harness本身变为可被Agent修改和进化的对象。系统部署上线后无需人工干预自动采集交互记录、提纯有效经验目前Codex、Claude Code、OpenClaw等爆款编码智能体底层架构全部基于Harness体系搭建。三代演进的核心变化正是循环从“任务内闭环”扩展为“跨任务、跨部署的持续进化循环”。论文将进化过程分为两条路径快速路径是在Harness层面更新技能和记忆便宜、快速、可逆慢速路径是将累积经验内化到模型参数中昂贵、缓慢、几乎不可逆。这两条路径构成了整个自我进化体系的骨架。智能体如何进化从外到内的五大路径论文详细拆解了经验驱动进化的五个主要层面。Skills把经验沉淀成可复用的程序这是最直观的外部进化方式。智能体可以将成功解决某类问题的步骤打包成一个可复用的技能Skill存储在外部库中包含描述文档、执行指令、参考资料、可运行脚本四大模块。完整闭环分为创建、使用、进化三阶段创建包括人工编写、从已有资源中挖掘、从成功轨迹中提炼三种方式搭建初始技能仓库使用Harness 根据用户需求检索匹配技能支持多技能拼接组合在沙箱环境安全执行自主进化从成功/失败轨迹自动挖掘优化点自主新增技能、修复流程缺陷、淘汰长期闲置冗余技能。传统 RAG 仅存储静态文本技能直接沉淀完整操作流程企业搭建智能体时仅迭代技能库就能适配业务无需改动底层大模型。2.记忆沉淀历史状态、用户偏好与失败教训技能解决“怎么做事”记忆解决“发生过什么、用户偏好、历史问题”存储碎片化、非流程化长期交互经验。论文把记忆分成三层表示层关注存什么、怎么组织。记忆可以是原始日志、情景轨迹或语义摘要组织结构可以是扁平记录、分层存储或图结构。操作层把记忆看作动态管理的流核心操作包括写入、压缩、合并、检索和更新每种操作都涉及该写什么、该清理什么的决策。演进层是记忆系统自身的进化内容进化包括智能体写新经验、压缩旧记录、更新过期信息。机制进化更进一步让智能体改进记忆的组织和提取方式。策略进化则让系统学习何时该写、何时该取、何时该忘。这已从被动存储走向主动管理。3.环境Agent进化的天花板论文将环境定义为Agent能力的天花板。一个只能聊天的Agent和一个能操作文件、执行代码、浏览网页的Agent成长上限完全不同。环境决定了Agent能获取什么样的经验而这些经验的质量直接决定了改进的上限。论文从三个维度分析环境的能力上限行动多样性能执行什么操作、反馈密度环境能提供多频繁、多可归因的反馈信号、任务时长支持多长的有状态任务中间错误是否可恢复。这三个维度互相耦合增加动作多样性但不改善可观测性会让轨迹更丰富但更难诊断。环境建设框架包括三层。第一层是可执行性软件能不能变成Agent可以实际操作的环境终端和命令行是最直接的路径。第二层是协议标准化MCP标准化了Agent与工具的边界A2A标准化了Agent之间的边界AG-UI标准化了Agent与用户界面的边界。第三层是可学习性环境产生的交互轨迹能不能转化为可用于训练的信号这是最难的因为大多数环境只有最终的成功或失败信号缺少密集的过程奖励。很多人只盯着模型变强但环境的改进往往投入产出比更高。给Agent更好的终端环境、更丰富的工具接口、更密集的反馈渠道可能比微调模型参数效果更明显。4.参数固化把经验内化进权重前面三条路径都是外挂式改进Skill存在外部文件里记忆存在外部存储中环境是外部系统。这些改进灵活但有一个代价每次使用都要重新加载到上下文里消耗token、增加延迟。参数固化是另一条路把稳定的经验内化进模型权重本身。这条路的价值主要体现在三个方面第一内化稳定的运行时先验省去反复的上下文编排开销。第二权重更新的迁移性更好。一个Skill文件只有被正确检索到才有效但一个好的策略更新可以跨任务、跨会话生效。第三参数更新支持集体进化多个用户的经验可以汇聚成训练信号。参数固化分成部署前训练和部署后训练。部署前训练是当前主流用可执行环境、验证器和强化学习在模型发布前把Agent能力训练好SWE-RL和ComputerRL都是代表性工作。部署后训练是前沿方向Cursor的实时RLLoop就是一个例子生产环境中的用户反馈被聚合为奖励信号频繁更新模型权重。目前部署后训练仍处于非常早期的阶段。5.元进化谁来决定如何进化当进化过程本身也成为优化的对象时就进入了元进化时代。论文用两个维度来回答这个问题。**谁控制进化是智能体自己决定还是由一个独立的元层来调度“什么在进化”**是具体的内容资产还是执行机制抑或是改进策略本身两个维度交叉形成了三种清晰的进化形态。**形态一TaskAgent自我进化。**这是最基础的形态智能体将部署经验转化为可复用的内容资产增删技能、写入记忆。进化是行动的自然副产品没有独立的监督者。**形态二TaskAgent元学习。**智能体不再只是积累内容而是改进自己的执行方式或学习策略。比如学习“什么时候该寻求帮助”、“如何筛选高质量训练数据”。控制回路仍在TaskAgent内部但改进的是如何学习和执行本身。形态三元进化智能体。这是最高形态。改进TaskAgent不再由内部自发完成而是由一个功能独立的元层持续控制。元层不解决用户任务它解决的是如何让TaskAgent更好地解决用户任务。这个元层可以控制TaskAgent的记忆规则、修改Harness配置、甚至管理整个技能库的增删策略。理想的元进化Agent应该把内容资产、执行机制、改进策略、元层自身都纳入统一的可学习控制问题。这是一个尚未实现的目标。怎么测一个Agent是否真的在变强现有 SWE-bench、WebArena 只测单次任务得分完全无法衡量持续进化效果论文提出纵向评估六大核心指标正向泛化增益进化后新任务完成率反向留存率进化后旧能力不遗忘长期稳定性多次更新后性能不衰减进化效率每提升能力消耗的交互/算力成本路径归因能力提升来自技能/记忆/模型哪一层安全无退化进化不新增漏洞、风险。同时推出 SIP-Bench 标准化评测协议统一所有自进化Agent纵向对比标准未来所有自进化类产品都将基于这套框架做对标。潜在风险自进化等于移动攻击面自进化让安全问题发生了质变。传统AI安全做的是一次性审计模型发布前测试一遍确认安全后上线。但自进化Agent在部署后持续变化今天安装的Skill、写入的记忆、更新的策略都可能让昨天通过审计的系统不再安全论文指出了四大核心新型威胁技能供应链攻击恶意技能植入库长期窃取密钥、执行高危操作记忆投毒污染历史信息长期扭曲Agent判断反馈操纵伪造成功轨迹诱导AI学习错误行为对齐漂移持续迭代后原本合规的AI逐步偏离安全约束。当前的安全方法大多只针对单一攻击面属于局部缓解而非系统级保障。理想的安全架构应该覆盖发布前认证、部署中监控、每次更新都治理、支持回滚和恢复。开放问题论文最后列了九个开放问题挑几个最有讨论价值的来说。弱反馈下的信用分配。自进化在程序执行和形式验证等领域进展最快因为成功与否有可靠的检查。但部署环境的信号通常很弱目标不明确、奖励稀疏。一条轨迹成功了到底是哪一步、哪个Skill、哪条记忆起了作用这个问题目前没有好的解法。自生成经验的稳定性。Agent从自己的交互中学习意味着主要在学习自己生成的数据上。递归地在自产数据上训练会收窄分布Agent可能在自己的先验上打转逐渐丢失曾经拥有的能力。没有外部信号的定期校准长期运行的Agent可能会悄悄退化。跨模型版本的迁移。Skill、记忆、环境配置这些外部资产在模型升级后还能用吗一个为Claude3.5写的Skill文件换了Claude4还有效吗随着模型迭代速度加快这个问题越来越紧迫。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相关新闻

硬核拆解:7B 模型到底怎么算出来的?以 Qwen2.5-7B 为例手把手复现

硬核拆解:7B 模型到底怎么算出来的?以 Qwen2.5-7B 为例手把手复现

很多人看到大模型名字里的7B,只知道是“70 亿参数”,但到底是哪些层、哪些参数加起来等于 7B?为什么官方写 7.61B 还叫 7B 模型? 今天我们就以Qwen2.5-7B官网公开参数为实例,一步步把“7B 规模”完整算清楚&#xff0…

2026/10/15 0:06:23 阅读更多 →
商业活动人形机器人租赁项目:从技术选型到现场部署完整落地方案(青岛瀚森传媒实操版)

商业活动人形机器人租赁项目:从技术选型到现场部署完整落地方案(青岛瀚森传媒实操版)

随着人形机器人运动控制、高精度语音交互、ROS2架构及大模型智能交互技术持续迭代升级,人形机器人已广泛落地于科技展会、企业展厅、商场开业、校园科技节、品牌发布会、楼盘营销、企业庆典等商业场景。不同于普通设备暖场,现阶段商业人形机器人项目是一…

2026/10/14 1:41:00 阅读更多 →
Linux 解压查看神器 bzcat 超详细教程|不解压直接看 .bz2 内容

Linux 解压查看神器 bzcat 超详细教程|不解压直接看 .bz2 内容

Linux 学习资料 https://pan.baidu.com/s/1A6qqBk2ViE_Le2cQjSowkQ?pwd7uz8 一、命令简介 bzcat 是一个用于直接查看 .bz2 格式压缩文件内容的 Linux 命令行工具。它无需实际解压文件到磁盘,而是将解压后的内容直接输出到标准输出(通常是终端屏幕&a…

2026/10/14 15:58:51 阅读更多 →

最新新闻

手动部署OpenTelemetry Collector:从配置到运维的实践指南

手动部署OpenTelemetry Collector:从配置到运维的实践指南

简介:基于C#编写的winform Socket通信示例,面向需要掌握网络编程的C#初学者,演示了服务端与多个客户端同时连接与数据交互的实现过程。压缩包内包含服务端与客户端两个独立工程,可对照学习服务端监听、客户端连接以及多客户端并发…

2026/10/15 0:05:58 阅读更多 →
SpringBoot整合knife4j实战:接口文档与在线调试完整指南

SpringBoot整合knife4j实战:接口文档与在线调试完整指南

1. 为什么接口文档这件事值得单独拎出来聊做后端开发的人都有一个共识:写接口不难,难的是让前端、测试、甚至未来的自己看懂接口。早些年大家用 Swagger 那一套,ApiOperation、ApiModel注解满天飞,UI 长得像上世纪的产物&#xff…

2026/10/15 0:05:58 阅读更多 →
openrig 实战:用 tmux 与 Node.js 编排 Claude Code 和 Codex 多代理工作流

openrig 实战:用 tmux 与 Node.js 编排 Claude Code 和 Codex 多代理工作流

1. openrig 到底想解决什么问题第一次看到 openrig 这个名字,加上关联的 Claude Code、Codex、Node.js、tmux 这几个词,我脑子里冒出来的判断是:这大概率是一个把多个 AI 编码工具统一编排起来的工程化脚手架。后来实际折腾了一圈&#xff0c…

2026/10/15 0:04:56 阅读更多 →
AI入门避坑指南:零基础6个月可验证学习路线

AI入门避坑指南:零基础6个月可验证学习路线

1. 这不是“学AI”的路线图,而是帮你绕开99%初学者陷阱的生存指南你搜“人工智能入门”,页面刷出来全是“30天速成大模型”“零基础玩转ChatGPT”“PythonTensorFlow年薪30万”。我盯着屏幕看了三分钟,默默关掉网页——不是内容不好&#xff…

2026/10/15 0:04:56 阅读更多 →
探矿数据进RAG前的清洗全攻略:TXT、Word、PDF、网页四类文档处理实践

探矿数据进RAG前的清洗全攻略:TXT、Word、PDF、网页四类文档处理实践

1. 探矿数据进RAG之前,为什么必须先过清洗这一关1.1 探矿领域的文档生态:比想象中更杂做探矿业务的知识库和做通用知识库完全是两码事。通用场景里的文档再乱,基本也就是网页、PDF、Word这几类,格式相对规整。探矿业务呢&#xff…

2026/10/15 0:04:56 阅读更多 →
基于bbox的PDF文档解析:多栏重排与水印过滤实战

基于bbox的PDF文档解析:多栏重排与水印过滤实战

1. 项目概述:多栏和水印为什么是 RAG 解析里的两座山先说个场景。上个月我把一批技术论文和旧版产品手册塞进自建的 RAG 知识库,原以为 PDF 解析早就不是问题,结果检索结果让我怀疑人生:同一个问题的答案碎片化,有的片…

2026/10/15 0:04:56 阅读更多 →

日新闻

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

1. 为什么选择容器化方式部署 LoRa 网络服务LoRa 物联网项目落地时,网络服务器是整个链路的核心枢纽。它负责接收网关上报的数据包、完成去重与解密、再把有效载荷分发给上层应用。早期大家习惯把网络服务器直接装在物理机上,依赖一堆系统库和特定版本的…

2026/10/15 0:00:46 阅读更多 →
共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

1. 共享推理服务里,扩缩容到底难在哪做过大模型推理服务部署的人,大概都经历过这样的场景:一个团队共用一套推理集群,A 业务跑的是 7B 的小模型,B 业务跑的是 72B 的大模型,C 业务白天流量高、晚上几乎归零…

2026/10/15 0:00:46 阅读更多 →
Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

1. 引子:一次内核恐慌引发的追查先从一个真实场景说起。某次我给一台老旧的嵌入式设备折腾系统裁减,为了把启动时间压进两秒以内,我手贱地把一串自认为“没用”的 systemd 服务给 disable 了,其中就包括systemd-remount-fs.servic…

2026/10/15 0:00:46 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/14 3:30:28 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/14 16:30:29 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/14 3:29:58 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 22:01:27 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 22:45:47 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 7:53:34 阅读更多 →