这篇文章是来自斯坦福等机构的研究论文《Meta-Harness: 端到端优化模型工具链》核心是用AI自动搜索和优化LLM应用的外围“工具链harness”代码从而大幅提升系统性能。以下是全面总结一、研究背景与问题工具链Harness指围绕LLM的代码负责决定存储什么信息、检索什么内容、以什么形式呈现给模型。实践表明更换工具链可在同一基准上产生高达6倍的性能差距其重要性不亚于模型本身。然而当前工具链工程主要依赖人工——工程师手动检查失败案例、调整启发式、反复迭代设计。二、现有方法的不足文本优化器如OPRO、TextGrad、GEPA等可用于自动优化提示或代码但它们不适用于工具链工程因为它们使用短视或高度压缩的反馈仅标量分数、短摘要、当前候选方案工具链的决策影响是长周期的一个检索策略或记忆更新可能影响后续许多推理步骤压缩反馈会丢失关键诊断信息这些方法每步可用的上下文通常仅100~30,000个令牌而本研究中单次工具链评估可产生高达10,000,000个令牌的诊断信息。三、核心方法Meta-Harness核心理念让一个编码智能体coding agent通过文件系统访问所有先前候选工具链的源代码、评估分数和执行轨迹然后自主提出新的工具链形成闭环优化。搜索循环提案智能体读取文件系统中的历史记录代码、分数、轨迹诊断失败原因提出新工具链。评估在搜索集上运行新工具链获得性能分数。记录将新工具链的代码、分数、执行日志写入文件系统。迭代重复上述过程维护一个帕累托前沿。关键设计选择不压缩历史完整保留所有候选方案的源代码和执行轨迹智能体通过grep、cat等工具按需检索。智能体自主决策不预设父代选择、变异算子等固定规则让智能体自行决定看什么、改什么。代码空间搜索直接修改完整的Python程序而非填充模板或局部文本片段。四、实验设置与结果Meta-Harness 在三个领域进行了评估1. 在线文本分类3个数据集LawBench、Symptom2Disease、USPTO-50k对比零样本/少样本、ACE、MCE以及OpenEvolve、TTT-Discover、GEPA等文本优化器。结果比ACE高7.7个点48.6% vs 40.9%同时上下文令牌减少4倍11.4K vs 50.8K。仅用4次评估即达到OpenEvolve/TTT-Discover的最终性能最终准确率超出10个点以上。在9个未见过的分布外数据集上Meta-Harness平均准确率达73.1%优于ACE70.2%。2. 检索增强的数学推理200个IMO级别问题背景数学推理中检索很少被使用因为朴素检索难以找到正确示例。方法让Meta-Harness在50万道题的语料库上搜索最优检索策略BM25变体为每个问题动态选择路由组合/几何/数论/默认。结果在5个未见过的模型上平均提升4.7个点38.8% vs 34.1%无检索基线。超过BM25检索37.5%、稠密检索34.4~38.1%和随机少样本。3. 智能体编码TerminalBench-289个复杂命令行任务背景TerminalBench-2是竞争激烈的前沿基准多家团队直接针对其优化。方法从Terminus-KIRA基线出发搜索更优工具链配置。结果在Claude Opus 4.6上达到76.4%通过率排名第2超越Terminus-KIRA 74.7%在较弱的Claude Haiku 4.5上达到37.6%排名第1超越Goose35.5%发现的关键改进是环境快照引导在智能体循环前注入系统环境信息消除了2~4个浪费的探索回合。五、关键洞察与分析为什么Meta-Harness有效完整的执行轨迹访问使智能体能够进行因果推理。在TerminalBench-2的搜索日志中智能体识别出早期失败是“提示编辑”与“结构修复”的混淆主动将两者解耦然后转向更安全的纯加法修改最终获胜。消融实验表明仅提供标量分数的中位数准确率为34.6分数摘要为34.9而完整轨迹达50.0证明原始执行轨迹是核心信息源。泛化性发现的工具链可迁移到未见过的数据集分类和未见过的模型数学推理。工具链代码是可读、可检查的脆弱的硬编码逻辑可在检查时发现不像权重空间那样不透明。六、局限与未来方向依赖特定编码智能体Claude Code Opus-4.6不同生成器的影响有待更广泛研究。未来可探索工具链与模型权重共同进化使外部策略与内部表示相互塑造。当前主要应用于3个领域更多领域的适用性需进一步验证。Meta-Harness 是一个通过编码智能体和完整历史文件系统访问自动搜索优化LLM外围工具链代码的系统在文本分类、数学推理和智能体编码三个任务上均大幅超越人工设计和现有自动优化方法。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示官方项目主页地址在这里如下所示项目地址在这里如下所示Artifact在这里如下所示图 1左图在文本分类任务上Meta-Harness 的性能超越了先前最佳的人工设计工具链ACE以及现有的文本优化器TTT-Discover, OpenEvolve仅需 4 次评估就达到了次优方法的最终准确率。右图在 TerminalBench-2 基准上Meta-Harness 超越了所有已报告的 Claude Haiku 4.5 工具链。摘要大型语言模型LLM系统的性能不仅取决于模型权重还取决于其工具链harness即决定存储、检索和向模型呈现哪些信息的代码。然而工具链目前仍主要由人工设计现有的文本优化器与这一场景并不匹配因为它们过于激进地压缩了反馈信息它们要么是无状态的只依赖于标量分数要么将反馈限制在简短的模板或摘要中。我们提出了Meta-Harness一个用于搜索 LLM 应用工具链代码的外层循环系统。它使用一个智能体生成器agentic proposer该生成器通过文件系统访问所有先前候选方案的源代码、分数和执行轨迹。在在线文本分类任务上Meta-Harness 相较于最先进的上下文管理系统提升了 7.7 个点同时使用的上下文令牌数减少了 4×。在检索增强的数学推理任务上单个发现的工具链在 200 个 IMO 级别的问题上对五个未见过的模型平均提升了 4.7 个点的准确率。在智能体编码任务上发现的工具链在 TerminalBench-2 基准上超越了最佳的人工设计基线。这些结果共同表明对过往经验更丰富的访问方式能够实现工具链工程的自动化。1 引言更改围绕固定大型语言模型LLM的工具链可能在同一基准上产生高达 6× 的性能差距 [47]。工具链——即决定存储、检索和向模型展示何种信息的代码——其重要性往往与模型本身相当。这种敏感性激发了人们对工具链工程日益增长的兴趣即改进 LLM 外围代码以提升整体系统性能的实践 [36; 21; 10; 9]。尽管其重要性不言而喻工具链工程在很大程度上仍然是手动的实践者检查失败案例、调整启发式规则并迭代少数设计方案。在本文中我们探讨这一过程本身能否实现自动化。一个自然的起点是近期关于文本优化的工作因为工具链工程也涉及到利用先前尝试的反馈来迭代改进文本和代码工件 [38; 39; 35; 26; 1]。然而这些方法并不适用于工具链工程因为它们通常基于短视或高度压缩的反馈进行操作一些方法仅依赖于当前候选方案 [31; 51; 53]另一些主要依赖标量分数 [35; 12]还有一些将反馈限制在短模板或 LLM 生成的摘要中 [1; 26]。这是一种务实的可扩展性选择而非表明长程依赖性信息无用。工具链在长周期内运作关于存储什么、何时检索或如何呈现信息的单一选择可能会影响后续许多推理步骤的行为。压缩后的反馈通常会移除追溯下游失败至早期工具链决策所需的信息。在几个代表性文本优化器所研究的任务中每个优化步骤可用的上下文范围仅为 100 到 30,000 个令牌表 1远低于工具链搜索的诊断需求。更广泛地说关于检索和记忆增强语言模型的研究表明有用的上下文通常应该被自适应地访问而不是被整体打包到单个提示中 [28; 48; 37; 56]。我们通过Meta-Harness解决了这一限制这是一个用于通过端到端搜索优化工具链的智能体式工具链图 2。它的生成器是一个编码智能体coding agent即一个可以调用开发者工具和修改代码的、基于语言模型的系统。选择编码智能体而非原始 LLM很重要因为经验积累的速度很快会超出上下文限制因此生成器必须决定检查什么并通过与代码库的直接交互来验证编辑。其关键设计选择是通过文件系统公开完整历史记录从而能够选择性地诊断原始的先前代码和执行轨迹而不是从压缩的每个候选方案的摘要中进行优化。对于每一个先前的候选工具链文件系统都存储了其源代码、评估分数和执行轨迹生成器通过诸如grep和cat等标准操作来检索这些信息而不是将它们作为一个单独的提示整体接收。在实践中在我们要求最高的设置中生成器每次迭代平均读取 82 个文件每步参考超过 20 个先前的候选方案附录 A。在我们研究的设置中单次评估可以产生高达 10,000,000 个令牌的诊断信息这大约比先前文本优化设置中使用的最大反馈预算高出三个数量级表 1。图 2Meta-Harness 搜索循环。(1) 一个智能体读取包含所有先前候选方案的源代码、执行轨迹和分数的文件系统并提出一个新的工具链。(2) 我们在评估任务上评估所提出的工具链。(3) 所有日志提出的代码、推理轨迹、评估分数都被存储到文件系统中的一个新目录中然后循环重复。一个自然的起点是近期文本优化工作因为工具链工程也涉及利用先前尝试的反馈来迭代改进文本和代码工件 [38; 39; 35; 26; 1]。然而这些方法与工具链工程不太匹配因为它们通常使用短时或高度压缩的反馈进行操作有些仅依赖于当前候选 [31; 51; 53]另一些主要依赖标量分数 [35; 12]还有一些将反馈限制在短模板或 LLM 生成的摘要中 [1; 26]。这是出于实际扩展性的选择而非证据表明长程依赖无信息量。工具链在长周期内运行一个关于存储什么、何时检索或如何呈现的选择可能会影响许多推理步骤后的行为。压缩反馈通常会移除追溯下游故障至早期工具链决策所需的信息。在几个代表性文本优化器研究的任务中每个优化步骤可用的上下文范围仅为 100 到 30,000 个令牌表 1远低于工具链搜索的诊断规模。更广泛地说关于检索和记忆增强语言模型的工作表明有用的上下文通常应自适应地访问而非整体打包到单个提示中 [28; 48; 37; 56]。我们通过 Meta-Harness 解决此限制这是一个用于通过端到端搜索优化工具链的智能体式工具链图 2。其生成器是一个编码智能体即一个基于语言模型的系统可以调用开发者工具并修改代码。选择编码智能体而非原始 LLM很重要因为经验量会迅速超出上下文限制因此生成器必须决定检查什么并通过与代码库的直接交互来验证编辑。其关键设计选择是通过文件系统公开完整历史从而能够选择性地诊断原始先前代码和执行轨迹而不是从压缩的每个候选摘要中进行优化。对于每个先前的候选工具链文件系统存储源代码、评估分数和执行轨迹生成器通过标准操作如 grep 和 cat检索而非将它们作为单个提示输入。在实践中在我们要求最高的设置中生成器每次迭代读取中位数 82 个文件每步参考超过 20 个先前候选附录 A。在我们研究的设置中单次评估可产生高达 10,000,000 个令牌的诊断信息大约比先前文本优化设置中使用的最大反馈预算高出三个数量级表 1。我们在在线文本分类、数学推理和智能体编码上评估 Meta-Harness。在在线文本分类上Meta-Harness 发现的工具链比 Agentic Context Engineering (ACE, Zhang et al. [59]) 提高了 7.7 个点同时使用的上下文令牌数减少了 4×并且仅用 4 次评估就达到了次优文本优化器的最终性能图 1。在检索增强的数学推理上单个发现的工具链在 200 个 IMO 级别的问题上对五个未见过的模型平均提升了 4.7 个点的准确率。在 TerminalBench-2 基准上发现的工具链超越了 Terminus-KIRA并在所有 Haiku 4.5 智能体中排名第一。2 相关工作从高层次来看Meta-Harness 将更广泛的信用分配和元学习文献 [40; 46; 3; 17; 44; 2] 中的思想带入了由编码智能体最新进展所开启的新领域。该系统并非更新模型权重而是在工具链层面分配信用它利用过往执行的经验来仔细推理哪些步骤和组件导致了失败然后重写控制未来行为的外部代码。更具体地说该方法位于几个近期研究方向的交叉点它与自适应访问外部上下文、可执行代码搜索和文本优化的工作最直接相关。外部记忆与自适应访问。几项先前的工作指出了将大型知识源或长输入作为外部资源、由语言模型自适应访问的好处而不是一次性消费它们。具体来说检索增强生成 [28]、检索与推理交错 [48]、基于记忆的智能体 [37] 或递归语言模型 [56] 都是自适应访问外部上下文的机制。Meta-Harness 使用了类似的访问模式但在更苛刻的工具链工程环境中生成器选择性地检查大量外部代码、分数和执行轨迹历史以改进上下文管理程序本身。可执行代码搜索。近期方法搜索函数、工作流或智能体设计的可执行代码。早期工作提出使用大型模型作为进化程序搜索中的突变和交叉算子 [27]。后来的方法在固定程序框架内进化指定函数 [39]使用元智能体根据先前发现编程新智能体 [20]或搜索智能体系统的工作流图 [58]。另一条工作线搜索持续学习智能体的记忆设计其中记忆跨任务流持久化 [57; 50]。相比之下Meta-Harness 搜索特定领域的工具链包括提示构建、检索和在任务间重置的状态更新策略。其外部循环故意保持极简它不依赖固定框架、先前发现的存档或持久记忆机制而是赋予生成器对先前经验的无限制文件系统访问权限。这让智能体决定检查哪些信息并能搜索完整的工具链实现而非预定义的上下文管理程序空间。文本优化方法。Meta-Harness 也与 ProTeGi, TextGrad, OPRO, GEPA, AlphaEvolve/OpenEvolve, 和 Feedback Descent 等方法密切相关这些方法利用先前尝试的反馈迭代改进提示或其他文本工件 [38; 31; 53; 51; 1; 35; 43; 26]。然而这些方法不太适合工具链工程因为其优化目标是完整的可执行程序且相关的环境反馈分布在代码、分数和执行轨迹中难以预先总结。Meta-Harness 中的生成器并非仅对标量分数或摘要做出反应而是可以对失败的示例及其执行轨迹进行推理以提出有针对性的编辑。关于这些论文和我们所考虑的问题规模比较见表 1关于在我们问题设置中与 OpenEvolve、GEPA 和 TTT-Discover 的直接比较见图 1 和图 4。3 Meta-Harness用于优化工具链的工具链本节描述 Meta-Harness我们的用于搜索特定任务工具链的外层循环过程。Meta-Harness 建立在这样一个想法之上工具链优化受益于允许生成器通过文件系统访问选择性地检查先前的代码和执行轨迹而不是从有损摘要或额外的手工设计搜索结构中进行优化。从高层次看它反复提出、评估和记录新的工具链。Meta-Harness 本身在广义上也是一个工具链因此得名因为它决定了生成器模型在搜索过程中能看到哪些信息。除非另有说明我们使用“工具链”指代正在被优化的特定任务程序。当多个目标相关时例如准确率和上下文成本我们根据帕累托优势评估候选方案并报告最终的前沿。在实践中这种搜索传统上由人类工程师和研究人员执行他们手动迭代地改进提示、上下文管理规则和工具使用逻辑。Meta-Harness 搜索循环。Meta-Harness 使用一个单一的编码智能体生成器该生成器可以访问一个不断增长的文件系统 D作为其反馈渠道sup1/sup。这里编码智能体是一个基于语言模型的系统可以调用开发者工具并修改代码。与将改进逻辑外部化到手工设计搜索循环中的先前系统不同Meta-Harness 将诊断和提案委托给编码智能体本身它决定检查哪些先前工件、处理哪些失败模式以及是进行局部编辑还是进行更实质性的重写。等价地生成器不是一个在由外部循环组装的固定提示上操作的原始下一个令牌预测模型它是一个在搜索过程中检索信息、导航先前工件和编辑代码的智能体。每个被评估的工具链都贡献一个包含其源代码、分数和执行轨迹如提示、工具调用、模型输出和状态更新的目录。文件系统通常远大于生成器的上下文窗口因此生成器通过终端工具如 grep 和 cat查询它而不是将其作为一个单独的提示输入。在每次迭代中生成器首先检查先前的代码、分数和执行轨迹然后推理可能的失败模式最后生成一个新的工具链。Meta-Harness 维护一个候选方案群体 H 和一个已评估工具链的帕累托前沿但不施加父代选择规则生成器在提出新工具链时可以自由检查任何先前的工具链及其执行轨迹。我们运行固定迭代次数的进化并在帕累托前沿上进行最终的测试集评估。这种简洁性是故意的通过将诊断和编辑决策留给生成器而非硬编码搜索启发式Meta-Harness 可以随着编码智能体能力的增强而自动改进。生成器从未见过测试集结果其唯一反馈来自搜索集用于评估候选工具链以生成改进反馈信号的任务实例子集以及在那些搜索运行期间记录的执行轨迹。代码空间搜索的优势。工具链优化发生在代码空间中其中对检索、记忆或提示构建逻辑的小改动可能会影响许多步骤之后的行为使得局部搜索启发式方法不适合该问题。通过检查执行轨迹生成器通常可以推断出工具链为何失败以及哪些早期设计选择可能导致失败而不仅仅是知道它失败了如附录 A 和 A.2 中的搜索轨迹所示。在那里我们看到生成器广泛阅读先前的代码和日志然后利用这些轨迹来识别混杂的编辑、隔离可能的因果变化并在重复出现回归后转向更安全的修改。因此生成器可以在算法结构层面修改工具链从更改检索、记忆或提示构建逻辑到完整的程序重写而不是填充模板或应用预定义的变异算子。在实践中它通常从一个强大的先验工具链开始但这是一个涌现策略而非硬编码规则。尽管搜索空间很大但将工具链表示为程序提供了自然的正则化偏差编码模型倾向于提出连贯的算法而不是脆弱的、硬编码的解决方案这使搜索偏向于可重用的上下文管理程序。这个行动空间与前沿编码助手所训练的读写执行工作流密切相关。实际实现。在我们的实验中每个工具链都是一个单文件的 Python 程序用于修改特定任务的提示、检索、记忆和编排逻辑。在我们的实验中生成器 P 是 Claude Code [4]使用 Opus-4.6 模型。生成器由一个最小领域特定的技能skill引导该技能描述了在哪里编写新工具链、如何检查以前的工具链及其执行轨迹以及它可以和不可以修改哪些文件。基础模型 M 因领域而异并且始终保持冻结详见第 4 节。在我们的实验中一次典型运行在 20 次迭代中评估大约 60 个工具链。我们在附录 D 中提供了在新领域实现 Meta-Harness 的额外提示。4 实验我们在三个任务领域评估 Meta-Harness在线文本分类、数学推理和智能体编码。在每个领域中我们将搜索发现的工具链与使用标准评估指标的领域适当基线进行比较。请参阅每个小节了解精确的实验设置。我们与两大类方法进行比较。(1) 人工设计策略这些是针对每个领域的手工制作工具链代表了上下文构建的当前最先进水平。我们在相应的小节中描述这些基线。(2) 程序搜索方法这些方法使用反馈和奖励信号搜索候选工具链但设计用于比工具链工程更小规模的设置。4.1 在线文本分类我们遵循 Zhang 等人 [59] 和 Ye 等人 [52] 的在线文本分类设置一个 LLM 逐个接收带标签的示例更新其记忆并在保留的测试集上进行评估。我们使用 GPT-OSS-120B 作为 LLM 文本分类器并考虑设计用于文本分类的工具链的问题。我们使用三个数据集因其难度和领域多样性而选择LawBench (Law) [16] 根据案件描述预测刑事指控215 个类别Symptom2Disease (S2D) [19] 根据症状描述预测疾病22 个类别USPTO-50k [41] 根据产物分子预测前体反应物180 个类别。我们从该设置中的主要基线工具链初始化搜索群体 H零样本zero-shot、少样本few-shot、ACE 和 MCE。我们进行了 20 次进化迭代每次迭代产生两个候选方案共产生 40 个候选工具链。与文本优化器的比较。我们将 Meta-Harness 与代表性的文本优化方法进行比较。为了公平比较我们使用相同的生成器配置Opus-4.6最大推理仅根据搜索集性能选择候选方案并保留测试集直至最终评估。由于评估是主要的计算瓶颈我们给予每种方法相同的提案工具链评估预算。我们考虑以下比较点Best-of-N从初始种子独立采样无搜索结构作为计算量匹配的对照以检验搜索是否重要。OpenEvolve [43]基于程序的进化搜索使用 LLM 进行变异。TTT-Discover [55]我们仅使用其方法的文本优化组件即通过 PUCT 复用规则进行提案选择。在该设置中Meta-Harness 在 0.1× 的评估次数下匹配了最佳的先前文本优化器OpenEvolve, TTT-Discover其最终准确率超过它们 10 个点以上图 1 和表 4。我们将这种加速归因于有意设计的选择即对外部循环施加了最小的必要结构第 3 节。特别是Meta-Harness 使用文件系统保留完整的经验历史并允许生成器检查任何必要内容而 OpenEvolve 和 TTT-Discover 都使用更具结构化和显著受限的生成器输入而非完整的文件系统访问。我们注意到在线文本分类是我们研究的最小上下文设置表 1因此如果结构繁重的文本优化器在此已经落后它们在更困难的领域的局限性可能只会更大。Meta-Harness 速度提升 10× 并收敛到更好的工具链在该设置中Meta-Harness 在比最佳先前文本优化器OpenEvolve, TTT-Discover少 10×10× 的完整评估次数下匹配了它们其最终准确率超过它们 10 个点以上。为了隔离生成器接口的哪些部分最重要我们在在线文本分类中比较了三种条件仅分数scores-only条件、分数加摘要scores-plus-summary条件生成器接收 LLM 生成的摘要但无原始轨迹以及具有执行轨迹访问权限的完整 Meta-Harness 接口表 3。结果显示完整接口有巨大优势仅分数条件达到 34.6 中位数和 41.3 最佳准确率而分数加摘要条件达到 34.9 中位数和 38.7 最佳准确率。相比之下Meta-Harness达到了 50.0 中位数和 56.7 最佳准确率甚至其中位数候选方案也优于在任一消融条件下找到的最佳候选方案。我们认为这表明对执行轨迹的完全访问是接口最重要的组成部分摘要无法恢复丢失的信号甚至可能因压缩掉对诊断有用的细节而产生负面影响。表 2所有工具链在三个数据集上的测试集指标。Ctx 表示输入上下文中的额外令牌数千。†实现来自 Ye 等人 [52]。↓越低越好。Meta-Harness 在提高在线文本分类准确率的同时使用了更小的输入上下文。图 3在线文本分类上准确率与上下文令牌数的帕累托前沿。Meta-Harness 实现了比所有比较方法更强的准确率-上下文帕累托前沿。与最先进工具链的比较。我们的主要比较点是为该问题设置手工设计的工具链Agentic Context Engineering (ACE, Zhang 等人 [59])它使用反思性记忆管理随时间构建上下文以及 Meta Context Engineering (MCE, Ye 等人 [52])它维护并进化一个用于上下文构建的自然语言技能库。作为额外基线我们评估了零样本提示和 N∈{4,8,16,32,全部} 个示例的少样本提示。表 2 中的结果显示Meta-Harness 相较于先前手工设计的工具链有显著改进。选中的 Meta-Harness 2 达到了 48.6% 的准确率比 ACE 高出 7.7 个点比 MCE 高出 8.6 个点。这些提升并非来自使用更多上下文Meta-Harness 仅使用 11.4K 上下文令牌而 ACE 为 50.8KMCE 为 28.5K。表 4不同文本优化器提出的工具链在文本分类上的准确率搜索集。Meta-Harness 在工具链优化上远更有效。准确率-上下文权衡。由于 Meta-Harness 对工具链代码进行自由形式的优化我们可以表达对准确率和上下文成本的联合偏好而无需预先承诺一个单一的标量目标。仅给定当前指标和所需的权衡生成器能够发现跨越前沿广泛范围的工具链在图 3 中产生平滑的准确率-上下文帕累托曲线。这使得我们能够以可控的方式用额外的上下文换取更高的测试准确率而不是承诺于单个手工设计的操作点。分布外OOD任务评估。我们评估发现的工具链是否能泛化到搜索期间未见过的全新数据集。我们考虑了九个不同的数据集并在附录 C.1 中详细描述。选中的 Meta-Harness 系统实现了最佳平均准确率73.1%优于 ACE70.2%和所有少样本基线表 5。值得注意的是我们观察到在 7/9 的任务中朴素地添加超过 32 个少样本示例会损害性能。Meta-Harness 在 6/9 的数据集上表现最高这表明发现的工具链捕获了文本分类的通用有效策略而非过拟合于搜索期间使用的特定数据集。4.2 用于检索增强推理的工具链我们研究了一个在奥赛数学解题中略显非标准的设置为模型增加从大型语料库检索示例的能力。从原理上讲有充分的理由期望检索有助于数学推理因为解决方案通常共享可重用的证明模式因此先前的推理轨迹包含模型在测试时可能能够利用的信息。表 5分布外文本分类数据集评估。我们报告了每个数据集的测试准确率和所有九个数据集的平均额外上下文令牌数。Meta-Harness 在这 9 个先前未见过的任务上比次优方法高出 2.9 个点。表 6在 200 个 IMO 级别数学问题上的检索增强数学问题求解。我们展示了每个问题三次采样平均的 pass1括号内为相对于基线的绝对提升。发现的 Meta-Harness 检索策略在所有五个未见模型上均提升了这些 IMO 级别问题的推理能力相对于无检索器平均提升了 4.7 个点。然而检索尚未成为该设置的标准组成部分先前工作表明在推理密集的数学基准上检索的成功率远低于在更多事实型领域 [42; 49; 6]。难点在于朴素的检索很少能以正确的形式提供正确的轨迹。这表明成功不仅取决于添加检索本身更取决于发现正确的检索策略。与其手动设计该策略我们向 Meta-Harness 提供一组困难的奥赛问题并让检索行为本身从搜索中涌现。检索语料库包含来自八个开源数据集的 ≥500,000 个已解决问题。我们仔细地对其进行了去重和去污decontamination以排除评估基准和搜索集确认保留的问题在我们的字符串过滤器下没有精确前缀匹配并手动检查了保留示例的 top BM25 检索结果附录 C.2。我们使用 Meta-Harness 在 250 个奥赛难度数学问题OlympiadBench Omni-MATH hard的搜索集上优化工具链 40 次迭代产生了 109 个候选检索工具链。我们从该设置中的主要基线工具链初始化搜索群体 HH零样本、少样本和 ACE。我们基于使用 GPT-OSS-20B 的搜索集性能选择单个工具链附录 B.2。我们在 200 个来自 IMO-AnswerBench、IMO-ProofBench 和 ArXivMath [30; 6] 的先前未见过的 IMO 级别问题上评估此工具链。除了 GPT-OSS-20B我们还在搜索期间未见过的四个模型上评估相同的检索工具链GPT-5.4-nano、GPT-5.4-mini、Gemini-3.1-Flash-Lite 和 Gemini-3-Flash。我们遵循先前工作的标准评估协议 [30]并报告每个问题三次采样的平均准确率。结果。表 6 比较了发现的工具链与无检索、使用独立嵌入模型 text-embedding-3-small 的稠密检索、随机少样本提示和 BM25 检索。相比之下Meta-Harness 完全在代码空间中操作基于与稀疏基线相同的 BM25 词法检索栈而非引入额外的稠密编码器。发现的检索工具链在所有五个未见模型上均优于无检索基线平均增益为 4.7 个点。它平均也达到或超过了最强的固定基线总体比 BM25 检索高出 1.3 个点同时避免了稠密检索和随机少样本提示在多个模型上观察到的性能下降。Meta-Harness 提升 IMO 级别数学问题的推理能力在检索增强的数学推理中单个发现的检索工具链可迁移至五个未见模型平均准确率比无检索提升 4.7 个点在比较的方法中取得了最强的整体平均性能。4.3 在 TerminalBench-2 上评估智能体编码工具链TerminalBench-2 [33] 在 89 个具有挑战性的任务上评估 LLM 智能体这些任务需要长周期、完全自主的执行涉及复杂的依赖关系和大量的领域知识。先前工作表明智能体工具链的选择对此基准的性能有很大影响。我们从两个强大的开源基线开始搜索Terminus 2 [33] 和 Terminus-KIRA [25]。对于此实验我们在相同的 89 任务基准上进行搜索和最终评估。我们将此基准用作一个发现问题 [54]其目标是发现一个能在此困难且公开竞争的基准上提升性能的工具链配置。这是标准做法公开文章已经描述了在 TerminalBench 本身上进行的重复的、针对基准的工具链迭代 [18; 34; 25]并且该基准规模小且评估成本高引入单独的数据分割会实质性地削弱搜索信号。我们额外通过手动检查和基于正则表达式的审计来检查进化出的工具链中是否存在针对特定任务的字符串泄露。我们注意到尽管所得工具链专门针对 TerminalBench-2 领域但从单一指令自主完成困难的长期任务是核心能力并且该基准包含许多前沿模型和重度工程化工具链都难以应对的任务。结果。我们在表 7 中报告了在两个基础模型上的完整基准结果Claude Opus 4.6 和 Claude Haiku 4.5。在 Opus 4.6 上Meta-Harness 发现了一个达到 76.4% 通过率的工具链超越了手工设计的 Terminus-KIRA (74.7%)并在 TerminalBench-2 排行榜上所有 Opus 4.6 智能体中排名第 2。唯一得分更高的 Opus 4.6 智能体是 ForgeCode (81.8%)然而我们无法仅从公开可用的代码重现其报告的结果这表明他们的排行榜分数依赖于已发布仓库之外的组件。在较弱的 Haiku 4.5 模型上改进更大Meta-Harness 达到 37.6%比次优报告智能体Goose35.5%高出 2.1 个点。TerminalBench-2 是一个被积极竞争的基准多个团队直接针对其进行优化因此自动搜索方法能在此前沿取得收益对于长周期文本优化循环来说是一个令人鼓舞的迹象。生成器的定性行为。工具链搜索轨迹有助于解释 Meta-Harness 为何能取得这些收益我们在附录 A 中提供了详细总结。在早期迭代中生成器将有希望的结构修复与提示模板编辑相结合并观察到两个候选方案均出现性能回退。然后它明确假设这些回退是由共享的提示干预所混淆将结构性变化与提示重写隔离开来并最终转向一个更安全的加法修改该修改成为运行中的最佳候选。这提供了定性证据表明文件系统访问使生成器能够以足够的细节检查先前的经验以形成因果假设并相应地修改工具链。表 7TerminalBench2 上的通过率。其他结果为官方排行榜数据。Meta-Harness 在所有 Opus-4.6 智能体中排名第 2在所有 Haiku-4.5 智能体中排名第 1。Meta-Harness 在 TerminalBench-2 上超越人工设计的智能体在 TerminalBench-2 上Meta-Harness 自动发现了在 Opus 4.6 上超越 Terminus-KIRA 并在所有 Haiku 4.5 智能体中排名第一的工具链。5 讨论除了超越现有工具链外Meta-Harness 还具有几个实际优势。发现的工具链可以泛化到分布外的分类数据集表 5和数学设置中未见的基础模型表 6。一次搜索运行在几个小时的墙钟时间内完成却能产生可读、可迁移的策略这些策略可以跨模型复用包括未来更强的模型。代码空间中的过拟合也更易于检查脆弱的 if-链或硬编码的类映射在检查时可见而权重空间的过拟合则不然。更广泛地说我们的结果表明Meta-Harness 的主要优势不仅仅是对代码的搜索而是带有对先前诊断经验的选择性访问的搜索。生成器不限于标量奖励或固定摘要它可以检查原始代码、执行轨迹和先前的失败然后利用这些信息来形成和测试关于要更改什么的假设。附录 A.2 中的定性搜索轨迹直接展示了这种行为。我们的发现反映了机器学习中反复出现的模式 [45]一旦搜索空间变得可访问更强大的通用智能体就能胜过人工设计的解决方案。未来工作的自然下一步是共同进化工具链和模型权重让策略塑造模型学习的内容反之亦然。虽然我们在三个不同的领域进行了评估但我们的实验表明工具链搜索可以使用一个特别强大的编码智能体生成器Claude Code工作关于效果如何随不同生成器智能体变化的更广泛研究仍有待未来工作。