Harness Engineering:AI Agent开发的核心方法论
1. Harness Engineering驾驭工程完全指南在AI Agent开发领域一个令人震惊的实验结果正在改变工程师们的认知同一个大模型仅通过改变工具调用的接口格式编码基准测试分数从6.7%飙升至68.3%。这个发现揭示了一个被长期忽视的真相——决定AI Agent表现的天花板往往不是模型本身的智能水平而是工程基础设施的质量。1.1 为什么需要Harness Engineering传统思维的三大误区在AI工程实践中我们常常陷入以下认知误区模型越强效果越好实际案例表明同一模型在不同Harness下效果可能相差10倍提示词写好就够了在长链路任务中Prompt只能解决局部问题等下一代模型出来就好了如果基础设施不解决再强的模型也会跑偏Harness Engineering的诞生2026年初OpenAI在官方文章《Harness engineering: leveraging Codex in an agent-first world》中首次提出这一概念。随后Terraform创始人Mitchell Hashimoto、Thoughtworks杰出工程师Birgitta Böckeler等业界领袖纷纷跟进讨论使Harness Engineering迅速成为AI Agent开发领域的核心方法论。关键洞察简单任务靠提示词依赖外部知识的任务靠上下文管理而长链路、可执行、低容错的商业场景Harness才是决定成败的关键。1.2 核心概念Agent Model Harness基本定义**Harness驾驭系统**是模型之外的一切工程基础设施包括系统提示词工具调用接口文件系统抽象沙箱环境编排逻辑约束机制反馈回路用计算机系统类比Model是CPU提供计算能力Harness是操作系统将硬件能力转化为可用系统Harness如何补足模型局限模型做不到的事Harness解决方案核心组件记住多轮对话维护对话历史拼进上下文记忆系统执行代码提供Bash代码执行环境通用执行环境获取实时信息Web Search/MCP工具外部知识获取操作文件文件系统抽象Git版本控制文件系统自我验证沙箱测试工具浏览器自动化验证闭环长任务保持连贯上下文压缩记忆文件上下文管理1.3 三层演进从Prompt到Harness第一阶段Prompt Engineering2022-2023核心优化输入提示技术Few-shot、思维链、角色设定局限仅解决单次交互第二阶段Context Engineering2023-2024核心管理Agent看到的上下文技术RAG、记忆系统、上下文压缩局限只解决信息问题第三阶段Harness Engineering2025-至今核心构建完整系统工程关键特征从优化输入到构建系统从单次调用到长链路执行从希望做对到确保做对1.4 六层架构详解成熟的Harness系统应包含以下六层结构┌─────────────────────────────────────────┐ │ L6: 约束、校验与恢复层 │ ← 兜底出错了怎么办 ├─────────────────────────────────────────┤ │ L5: 评估与观测层 │ ← 验证怎么知道做对了 ├─────────────────────────────────────────┤ │ L4: 记忆与状态层 │ ← 持久化中间结果怎么管 ├─────────────────────────────────────────┤ │ L3: 执行编排层 │ ← 流程多步骤怎么串 ├─────────────────────────────────────────┤ │ L2: 工具系统层 │ ← 交互怎么跟外部世界交互 ├─────────────────────────────────────────┤ │ L1: 信息边界层 │ ← 定义该知道什么、不该知道什么 └─────────────────────────────────────────┘L1信息边界层功能定义Agent角色与目标裁剪无关信息案例OpenAI的AGENTS.md仅100行采用渐进式披露策略L2工具系统层功能管理外部工具调用案例Stripe的Toolshed服务提供近500个MCP工具L3执行编排层功能串联多步骤任务案例Stripe的编排状态机混合确定性和Agent节点L4记忆与状态层功能管理长任务中间状态案例Anthropic的context resets策略L5评估与观测层功能建立独立验证机制案例OpenAI接入Chrome DevTools ProtocolL6约束与恢复层功能错误拦截与恢复案例OpenAI自定义Linter带自动修复建议实施建议从L1和L6入手这两层投入产出比最高。中间层次随项目复杂度增长逐步补齐。2. 一线团队实战案例解析2.1 OpenAI三人团队五个月百万行代码关键数据指标数值团队规模3人(后扩至7人)持续时间5个月代码规模约100万行手写代码0行(纯设计约束)日均PR/人3.5个效率提升约10倍核心方法论渐进式信息披露AGENTS.md仅100行作为目录机械执行架构约束自定义Linter结构测试Agent可观测性接入Chrome DevTools主动熵管理后台Agent定期扫描清理版本控制一切Slack讨论对Agent不可见2.2 AnthropicGAN式三智能体架构系统设计Planner(规划者) → Generator(执行者) ⇄ Evaluator(评估者)角色分工角色职责Planner将1-4句话描述扩展为完整规格Generator按功能Sprint式实现Evaluator用Playwright实际运行并打分重要发现当模型从Sonnet 4.5升级到Opus 4.6后Sprint机制可以完全移除Evaluator检查从每Sprint变为最终一次Harness设计空间发生转移而非缩小2.3 Stripe每周1300无人值守PR系统架构组件作用关键设计Devbox开发环境AWS EC2预装10秒启动编排状态机流程控制混合确定性和Agent节点ToolshedMCP工具服务近500个工具按需分配反馈回路质量保障Pre-push hook秒级修复核心理念对人类工程师好的对Agent同样好——为人类设计的Devbox和工具链直接惠及Agent。3. 从零搭建Harness实战指南3.1 优先级行动清单P0立即实施行动价值参考实践创建维护AGENTS.md形成持续改进的反馈循环每行对应一个历史失败案例构建自定义Linter纠错同时教学报错信息含修复方法知识仓库化Slack/Wiki内容对Agent不可见以代码仓库为唯一事实源P1进阶优化分层管理上下文AGENTS.md作目录建立JSON格式进度文件集成浏览器自动化验证控制上下文利用率≤40%P2高级特性Agent专业化分工定期垃圾回收机制深度可观测性集成3.2 常见陷阱与解决方案陷阱1过度依赖模型升级现象表现不好就换模型真相同一模型换Harness效果差10倍方案优先检查基础设施质量陷阱2上下文过载现象拼命塞满上下文窗口真相超过40%利用率质量下降方案监控压缩/交接机制陷阱3AGENTS.md臃肿现象所有规则塞进一个文件真相上下文窗口被撑爆方案100行目录按需加载陷阱4自我验证循环现象AI生成测试验AI代码真相如同自己检查作业方案引入第三方评估Agent陷阱5Harness只增不减现象随模型升级越来越复杂真相部分机制可能已冗余方案定期压力测试简化4. 未来趋势与职业影响4.1 六大发展趋势Harness即基础设施3-5年内成为AI应用标配从编码到设计约束工程师角色转变多Agent协作常态专业化分工自主协作Harness自动生成AI优化自身基础设施模型-Harness协同进化训练时考虑兼容性成为独立学科大学课程行业认证4.2 开发者职业地图技能转型传统技能Harness Engineering技能写业务代码设计约束和验证机制API设计Agent工具系统设计系统架构Harness六层架构设计测试开发自动化验证回路设计DevOpsAgent编排和监控新兴岗位Harness Engineer年薪50-100KAgent Architect设计多Agent协作AI系统工程师基础设施与工具链转型路线立即行动学习LangChain/LangGraph实践AGENTS.md编写掌握40%上下文法则3-6个月完成2-3个Harness项目精通六层架构设计长期发展成为Harness设计专家参与开源贡献技术输出与布道5. 关键资源与行动建议5.1 推荐资源官方文献OpenAI《Harness engineering》开源项目LangChain、LangGraph、Goose关键人物Mitchell Hashimoto、Birgitta Böckeler5.2 三句箴言Agent Model Harness模型决定上限Harness决定底线Harness设计空间会转移而非缩小5.3 行动清单在下一个AI项目中实践AGENTS.md设置上下文利用率监控(≤40%)建立工程化防错机制Harness Engineering正在重新定义AI应用的开发范式。对开发者而言这不仅是技术升级更是工程思维的一次升维——将传统系统设计能力应用于AI时代的基础设施构建。现在入场正当其时。

相关新闻

AI员工技术架构与落地实践指南

AI员工技术架构与落地实践指南

1. AI员工时代的企业转型思考最近两年,AI技术正在以惊人的速度渗透到各行各业。作为一名长期关注企业数字化转型的从业者,我观察到许多企业主都面临同样的困惑:如何在AI浪潮中找到真正适合自己的转型路径?市场上充斥着各种AI概念和…

2026/10/15 10:40:23 阅读更多 →
C++文件写入实战:从ofstream基础到工业级字符串输出方案

C++文件写入实战:从ofstream基础到工业级字符串输出方案

1. 项目概述“C实现将字符串输出到文件”,这个标题听起来简单直接,几乎是每个C初学者都会遇到的第一个I/O操作。但在我十多年的C开发经历里,我发现越是这种基础操作,背后隐藏的细节和“坑”就越多。很多人以为不就是fstream开个文…

2026/10/15 10:39:33 阅读更多 →
虚拟试衣转化率提升213%的秘密(2024天猫/抖音双平台A/B测试实录)

虚拟试衣转化率提升213%的秘密(2024天猫/抖音双平台A/B测试实录)

更多请点击: https://kaifayun.com 第一章:虚拟试衣转化率提升213%的秘密(2024天猫/抖音双平台A/B测试实录) 在2024年Q2,我们联合天猫技术中台与抖音电商AI实验室,在服饰类目TOP 12品牌中同步开展虚拟试衣…

2026/10/3 3:43:45 阅读更多 →

最新新闻

SpringBoot+Vue医院预约挂号系统设计与优化

SpringBoot+Vue医院预约挂号系统设计与优化

1. 项目概述:现代化医疗预约解决方案这个基于SpringBootVue的医院预约挂号系统,是我去年为某三甲医院信息化改造设计的核心模块。传统医疗机构的预约挂号流程普遍存在页面卡顿、数据不同步、操作繁琐等问题,而采用前后端分离架构后&#xff0…

2026/10/15 10:39:41 阅读更多 →
微信小游戏是什么?运行原理与开发入门全解析

微信小游戏是什么?运行原理与开发入门全解析

做前端时间长了,总有人问我:微信小游戏到底是个什么东西?能像网页一样不用下载就玩,又能做出挺复杂的游戏,还能在朋友圈里被疯转。说实话,我一开始也绕了不少弯路,总觉得它像小程序,…

2026/10/15 10:39:41 阅读更多 →
超帧在SLAM中的作用:从关键帧组织到局部优化的全面解析

超帧在SLAM中的作用:从关键帧组织到局部优化的全面解析

1. 为什么我会盯上 Hyperframes 这个概念做了这么多年SLAM相关的工作,我逐渐意识到一个残酷的事实:绝大多数做视觉SLAM的人,对关键帧的认知停留在“选一帧长得不一样的图”这个层面,更别说超帧(Hyperframes&#xff09…

2026/10/15 10:39:41 阅读更多 →
D-S证据理论:用不确定性推理解决急诊分诊与医疗AI评估难题

D-S证据理论:用不确定性推理解决急诊分诊与医疗AI评估难题

急诊分诊这件事,表面上是个分诊护士按个红黄绿标签的过程,实际上是个高压、高噪声、高代价的决策现场。病患到急诊的那一刻,能采集到的信息往往是零散的:病人自己的口述、家属慌张的补充、监护仪上跳动的几个数字、既往病历里一段…

2026/10/15 10:39:41 阅读更多 →
superpowers安装全攻略:从环境准备到排错重装的一条龙实操

superpowers安装全攻略:从环境准备到排错重装的一条龙实操

“superpowers”这个词最近在我几个技术交流群里出现的频率高得离谱,不少人在问“想要安装superpowers”,还有人把它列进新机器必备清单。我最初以为是什么夸张的营销宣传,直到自己在全新的机器上完整走了一遍安装、配置、排错的全流程&#…

2026/10/15 10:39:41 阅读更多 →
学Simulink——储能变流器(PCS)中 PWM 整流器的恒流充放电(CC Charge / CC Discharge)仿真

学Simulink——储能变流器(PCS)中 PWM 整流器的恒流充放电(CC Charge / CC Discharge)仿真

目录 手把手教你学Simulink——储能变流器(PCS)中 PWM 整流器的恒流充放电(CC Charge / CC Discharge)仿真 一、为什么储能 PCS 要做 恒流(CC)充放电双向 PWM 整流器 二、PCS 双向控制与 CC 模式原理** 2.1 功率平衡估算(用于 idref​折算) 2.2 模式定义 三、关键…

2026/10/15 10:38:32 阅读更多 →

日新闻

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

1. 为什么选择容器化方式部署 LoRa 网络服务LoRa 物联网项目落地时,网络服务器是整个链路的核心枢纽。它负责接收网关上报的数据包、完成去重与解密、再把有效载荷分发给上层应用。早期大家习惯把网络服务器直接装在物理机上,依赖一堆系统库和特定版本的…

2026/10/15 0:00:46 阅读更多 →
共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

1. 共享推理服务里,扩缩容到底难在哪做过大模型推理服务部署的人,大概都经历过这样的场景:一个团队共用一套推理集群,A 业务跑的是 7B 的小模型,B 业务跑的是 72B 的大模型,C 业务白天流量高、晚上几乎归零…

2026/10/15 0:00:46 阅读更多 →
Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

1. 引子:一次内核恐慌引发的追查先从一个真实场景说起。某次我给一台老旧的嵌入式设备折腾系统裁减,为了把启动时间压进两秒以内,我手贱地把一串自认为“没用”的 systemd 服务给 disable 了,其中就包括systemd-remount-fs.servic…

2026/10/15 0:00:46 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/14 3:30:28 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/14 16:30:29 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/14 3:29:58 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/15 0:14:36 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 22:45:47 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/15 9:49:14 阅读更多 →