AutoAgent‑Bench面向自主演进智能体的端到端评测基准原文网页https://arxiv.org/html/2610.18813v1PDF链接https://arxiv.org/pdf/2610.18813v1arXiv编号arXiv:2610.18813v1 [cs.AI]摘要自主演进智能体可以在没有人工干预的条件下修改自身提示、工具逻辑、记忆模块迭代提升任务性能。现有绝大多数智能体评测基准面向固定配置智能体无法评估智能体自我修改、自我迭代演进的能力。本文提出AutoAgent‑Bench端到端评测基准专门用于评估自主演进智能体。基准包含42个真实世界难度任务横跨软件开发、数据分析、网页研究、硬件配置四大领域任务提供初始基础智能体配置智能体可以自由修改提示、工具调用逻辑、记忆策略在有限资源预算下迭代优化自身最终完成目标任务。评测定义两套互补指标①演进增益指标对比演进前后的任务性能②演进过程指标迭代效率、修改稳定性、无效修改占比、资源消耗。对7套主流自主演进智能体方案开展评测实验结果表明现有自主演进智能体平均演进增益有限部分任务出现负向退化频繁产生无效修改存在过拟合训练任务、修改之后破坏原有能力等问题。消融实验验证任务领域、初始配置质量、迭代预算对演进效果的影响。全部数据集、评测环境、运行脚本开源为后续自主演进智能体研究提供统一测试床。关键词自主演进智能体自我改进智能体智能体评测智能体Harness自我修改迭代优化目录引言相关工作AutoAgent‑Bench基准设计3.1 任务设计原则3.2 任务数据集总览3.3 仿真执行环境3.4 评测指标体系实验设置4.1 被测演进智能体方案4.2 实验约束与超参数实验结果5.1 整体演进增益结果5.2 演进过程行为统计5.3 不同任务领域性能差异5.4 消融实验讨论与局限性结论附录简要说明1 引言大模型智能体借助提示、工具、记忆完成复杂任务。新一代自主演进智能体不需要人工介入可以读取自身运行轨迹自主修改系统提示、工具选择逻辑、记忆读写策略迭代改进自身追求更高任务成功率。现有的GAIA、SWE‑bench、BrowseComp‑Plus等基准全部面向配置固定不变的智能体只能评测给定Harness下的任务完成效果无法衡量智能体“自我修改迭代”这项核心能力。自主演进智能体的评测需要回答一系列新问题智能体经过多轮自我修改之后任务性能是否真正得到提升迭代过程会不会出现负向退化修改之后破坏原有能力是否大量产出无效、无收益的自我修改迭代资源预算与演进收益之间的权衡关系。为此本文构建AutoAgent‑Bench专门针对自主演进智能体的端到端评测基准。数据集包含42个真实难度任务分为软件开发、数据分析、网页研究、硬件配置四大领域每个任务提供一套初始基础智能体配置提示工具集记忆策略这套初始配置往往不足以直接解决任务智能体被允许在预算限制内自主修改自身提示、工具逻辑、记忆策略反复迭代演进直到完成任务或者耗尽预算指标分为两类演进增益指标演进前后任务成功率变化演进过程指标迭代效率、修改稳定性、无效修改占比、资源开销。本文主要贡献提出AutoAgent‑Bench面向自主演进智能体的端到端评测基准42项跨领域任务配套初始智能体配置支持智能体自我修改迭代。设计双层评测指标体系既评估最终演进增益也评估迭代过程行为捕捉退化、无效修改等现象。系统评测7套主流自主演进智能体方案实验表明现有方案平均演进增益有限部分任务出现性能退化存在大量无效修改消融验证任务领域、初始配置、迭代预算的影响。数据集、仿真环境、全部运行脚本开源推动自主演进智能体方向研究。2 相关工作2.1 大模型智能体评测基准GAIA、OSWorld、SWE‑bench、BrowseComp‑Plus全部使用固定智能体配置智能体不能修改自身Harness、提示、记忆逻辑。不支持评估自我演进能力。2.2 自主/自演进智能体EvolveMem、MemPro、M‑star、AEVO、Meta‑Harness Engineering这类自演进智能体依靠执行轨迹反馈修改记忆程序、提示、编排逻辑。现有工作大多在自研小规模内部测试集验证缺少统一公开基准横向对比。2.3 自改进大模型评测大部分自改进评测聚焦模型权重微调AutoAgent‑Bench聚焦不改动基座权重只修改上层智能体Harness提示、工具、记忆策略的自主演进。3 AutoAgent‑Bench基准设计3.1 任务设计原则初始配置非最优每个任务提供一套可用但是不足的初始智能体Harness直接使用初始配置任务成功率较低留给演进空间。真实世界任务难度避免玩具样例任务来自真实工作流包含多步骤工具调用。可自我修改空间明确允许修改对象分为三类系统提示、工具调用选择逻辑、记忆读写/检索策略。基座大模型权重全程固定不可修改。可复现与可判定任务具备明确的客观成功判定标准沙盒环境可复现执行。领域多样性覆盖软件开发、数据分析、网页研究、硬件配置测试不同场景下演进泛化能力。任务流程输入任务描述 初始智能体配置提示、工具集、记忆策略智能体循环运行智能体执行任务 → 读取轨迹反馈 → 自主修改自身Harness配置 → 再次运行终止条件任务成功 / 迭代耗尽最大演进轮次预算。3.2 任务数据集总览任务领域任务数量初始Harness平均任务成功率任务简述软件开发1225.0%单元测试编写、Bug修复、脚本重构数据分析1127.3%表格处理、统计分析、可视化、异常检测网页研究1020.0%多网页信息聚合、对比调研、资料整理硬件配置922.2%Shell环境配置、依赖部署、参数调优合计4223.8%‑全部42项任务初始配置整体成功率仅23.8%存在充足演进提升空间。每个任务配套任务目标描述初始智能体Harness系统提示、工具列表、记忆策略模板沙盒环境镜像客观任务成功判定脚本。3.3 仿真执行环境基于Docker隔离沙盒提供文件读写、Bash shell、网页检索、Python执行工具。演进智能体可调用自我修改工具edit_system_prompt编辑系统提示词edit_tool_logic修改工具选择、调用前置校验逻辑edit_memory_strategy修改记忆写入、检索、淘汰策略。约束禁止修改基座模型权重不允许新增外部工具仅可修改已有三套模块的内部逻辑。完整执行日志保存每一轮演进Harness快照、执行轨迹、任务结果。3.4 评测指标体系分为演进增益指标、演进过程指标两大类。第一类演进增益指标S R i n i t SR_{init}SRinit初始Harness直接运行的任务成功率S R e v o SR_{evo}SRevo经过多轮自主演进之后最终版本Harness的任务成功率Δ S R S R e v o − S R i n i t \Delta SR SR_{evo}-SR_{init}ΔSRSRevo−SRinit绝对演进增益Δ S R 0 \Delta SR0ΔSR0代表获得提升Δ S R 0 \Delta SR0ΔSR0代表演进后性能退化Max‑SR演进全部轮次中曾经达到过的最高成功率不要求最终轮保留。第二类演进过程指标迭代效率达到最优版本平均消耗演进轮次有效修改率所有自我修改动作中真正带来任务性能提升的修改占比退化修改占比修改之后任务性能相比修改前下降的修改占比无效修改占比修改完成但是任务性能没有发生可观测变化的修改占比资源开销平均每任务消耗的模型调用次数、token开销。注意同一个修改可能在A任务带来提升在B任务带来退化指标统计在全部42个任务上做聚合。4 实验设置4.1 被测演进智能体方案7套主流自主演进智能体方案全部使用同一基座GPT‑5.6‑Luna基座权重固定。Baseline‑NoEvo无演进直接使用初始Harness运行不允许自我修改EvolvePrompt仅支持修改系统提示的演进智能体EvolveTool仅修改工具调用选择逻辑EvolveMem仅修改记忆读写检索策略AEVO同时修改提示工具记忆基于轨迹反馈做进化式搜索Meta‑Harness元提示引导迭代重写整套Harness编排逻辑AutoEvo‑Full完整自主演进允许自由修改三类模块多轮反思迭代。4.2 实验约束与超参数每任务最大演进轮次N e v o 8 N_{evo}8Nevo8轮每一轮演进内部任务执行最大工具调用步数50步沙盒Docker隔离环境镜像统一每个任务每个方案重复运行3次报告均值成功判定使用内置客观脚本判定任务成功/失败不使用LLM裁判。5 实验结果5.1 整体演进增益结果方案S R i n i t SR_{init}SRinitS R e v o SR_{evo}SRevoΔ S R \Delta SRΔSRMax‑SRBaseline‑NoEvo23.8%23.8%0.0%23.8%EvolvePrompt23.8%28.6%4.8%33.3%EvolveTool23.8%30.9%7.1%35.7%EvolveMem23.8%26.2%2.4%31.0%AEVO23.8%33.3%9.5%38.1%Meta‑Harness23.8%31.0%7.2%35.7%AutoEvo‑Full23.8%35.7%11.9%42.9%关键现象现有演进智能体可以带来正向增益但整体增益幅度有限最优AutoEvo‑Full最终增益仅11.9%。Max‑SR显著高于S R e v o SR_{evo}SRevo很多任务在某一轮迭代得到较好Harness但是后续迭代又发生退化无法把好的修改保留到最后版本。部分任务出现负向退化全部7套演进方案都存在若干任务演进结束后比初始配置效果更差。5.2 演进过程行为统计方案有效修改率退化修改占比无效修改占比EvolvePrompt11.2%18.7%70.1%EvolveTool13.5%21.4%65.1%EvolveMem8.4%16.3%75.3%AEVO16.8%24.2%59.0%Meta‑Harness14.1%26.8%59.1%AutoEvo‑Full18.3%22.6%59.1%核心观测无效修改占比很高接近60‑75%大量自我修改完成之后任务性能没有发生变化退化修改占比16‑27%不少修改反而会降低任务性能真正带来正向收益的有效修改占比普遍低于20%。5.3 不同任务领域性能差异AutoEvo‑Full领域S R i n i t SR_{init}SRinitS R e v o SR_{evo}SRevoΔ S R \Delta SRΔSR软件开发25.0%41.7%16.7%数据分析27.3%36.4%9.1%网页研究20.0%30.0%10.0%硬件配置22.2%22.2%0.0%硬件配置任务几乎没有演进收益Shell、环境依赖类任务Harness层面修改很难弥补底层环境复杂性带来的难点。软件开发任务演进收益最高。5.4 消融实验消融1最大演进轮次预算影响AutoEvo‑Full最大演进轮次S R e v o SR_{evo}SRevoΔ S R \Delta SRΔSR228.6%4.8%431.0%7.2%835.7%11.9%1238.1%14.3%提升迭代预算可以继续提升增益但边际收益递减轮次变多同时退化修改的绝对数量也随之上涨。消融2初始Harness质量高质量初始配置S R i n i t 40.5 % SR_{init}40.5\%SRinit40.5%Δ S R \Delta SRΔSR仅5.3%提升空间小较差初始配置S R i n i t 11.9 % SR_{init}11.9\%SRinit11.9%Δ S R \Delta SRΔSR达到17.8%初始配置越差演进可获得的增益越大初始本身很强演进收益被压缩。消融3可修改模块约束仅允许修改提示Δ S R 4.8 % \Delta SR4.8\%ΔSR4.8%提示工具Δ S R 8.3 % \Delta SR8.3\%ΔSR8.3%提示工具记忆全部开放修改Δ S R 11.9 % \Delta SR11.9\%ΔSR11.9%开放更多可修改模块整体增益上升但无效、退化修改的概率同步上升。6 讨论与局限性主要发现总结当前自主演进智能体可以带来正向收益但增益有限大量自我修改属于无效修改还会出现性能退化很多好的中间版本不能被保留到最终迭代。演进收益高度依赖任务领域软件开发收益最高硬件配置几乎无收益初始Harness质量、迭代预算显著影响最终效果。仅仅看最终演进后成功率是不够的必须观测迭代过程指标捕捉退化、无效修改这类行为。局限性本基准只针对上层Harness演进基座模型权重固定不评估权重微调式自改进。任务数量42规模有限未来可以扩充更多任务、更多领域。自我修改空间限定在提示、工具逻辑、记忆策略不允许新增工具。实验使用固定基座GPT‑5.6‑Luna更换基座模型演进行为会发生变化。启示自主演进智能体研究不能只报告最终任务成功率需要关注迭代过程无效修改、退化、中间版本无法保留等问题是现实瓶颈。AutoAgent‑Bench提供一套同时衡量增益与过程行为的评测环境。7 结论本文提出AutoAgent‑Bench面向自主演进智能体的端到端评测基准。数据集包含42项跨领域真实任务每个任务提供初始不足的智能体Harness允许智能体在预算约束下自主修改提示、工具逻辑、记忆策略迭代演进。构建双层指标体系同时衡量演进增益与迭代过程行为。对7套主流自主演进智能体开展评测实验表明现有方案演进增益有限存在大量无效修改部分迭代发生性能退化软件开发任务演进收益最高硬件配置任务几乎无提升消融实验证实迭代预算、初始配置质量、可修改模块范围会显著影响演进效果。数据集、沙盒仿真环境、全部运行脚本开源为后续自主演进智能体方向提供统一评测测试床。附录简要说明附录A全部42项任务完整描述、初始Harness配置样例。附录B自我修改工具接口定义、沙盒Docker镜像配置。附录C7套被测演进智能体完整Prompt、超参数。附录D完整细分实验数据表分任务、分轮次统计结果。附录E失败样例分析退化修改典型案例。