【学习笔记】Harness Engineering,模型之外的一切-7/16
很多 AI Agent 项目做不稳时团队第一反应还是换模型。模型不够聪明。模型不够会写代码。模型不会遵守指令。模型上下文不够长。这些判断不一定错。但它们经常不是根因。真正的问题可能是模型没有合适的工具。 工具输出不可验证。 任务状态没有外置。 失败以后不能恢复。 权限边界太粗。 没有测试闭环。 没有日志和 trace。 人类只在最后看结果。这时候继续调 prompt或者继续塞上下文收益会越来越低。因为问题已经从模型怎么想变成了模型在什么环境里行动这就是 Harness Engineering。一、Harness 到底是什么Harness 这个词直译不太好。可以把它理解成“驾驭层”。不是模型本身。而是模型外部的一整套运行环境Tools State Feedback Constraints Verification Observability Human Oversight模型负责推理Harness 负责让推理变成可控行动。如果没有 HarnessAgent 很容易变成一个会说、会猜、也会乱动的黑盒。如果 Harness 设计得好同一个模型会表现得更稳定。它知道能用什么工具。知道哪些动作要先问。知道当前任务进度在哪里。知道怎么验证自己做完了。知道失败以后如何恢复。这就是为什么 AI 工程化进入第七篇之后重点要从 Context 转向 Harness。Context Engineering 解决的是每一步模型该看什么Harness Engineering 解决的是每一步模型能做什么、怎么做、做完怎么验证二、为什么强模型也需要 Harness一个常见误解是模型越强工程越不重要。现实通常相反。模型越强越需要边界。因为它能做的事更多。能读更多文件能调用更多工具能持续执行更长任务能对外部系统产生真实副作用。能力变强以后风险也变大。以前模型只能生成一段建议。现在 Agent 可以修改代码 运行命令 访问数据库 调用云 API 提交 PR 发送消息 触发部署这些动作一旦进入生产环境就不能只靠“模型应该懂”。你需要一套系统告诉它什么能做 什么不能做 做之前要不要确认 做完以后怎么验 失败以后怎么回滚 过程怎么留痕这就是 Harness 的价值。三、Harness 的五个核心模块我建议先用一个简单公式理解Harness Tooling State Feedback Constraints Observability这不是唯一分类但足够实用。3.1 Tooling模型的手工具决定 Agent 能做什么。没有工具模型只是回答问题。有了工具模型可以行动。但工具不是越多越好。工具太粗模型会乱用。工具太细模型会被调用步骤拖垮。工具描述不清模型会选错。工具输出不可读模型会误判。所以工具设计是 Harness 里最容易被低估的一环。第八篇会专门讲工具设计这里先记住一句话工具不是 API wrapper。 工具是 Agent 的行动接口。3.2 State模型的任务记忆第六篇我们讲过长任务不能只靠上下文窗口。状态要外置。比如progress.md decisions.md open-issues.md verification.md artifacts/这些文件不是文档装饰它们是任务恢复点。当上下文压缩、会话中断、子 Agent 切换、工具失败时Agent 能从状态文件继续执行而不是从头猜。一个没有状态层的长任务 Agent就像没有硬盘的进程。一旦上下文丢了任务也丢了。3.3 Feedback行动后的反馈Agent 做完一步以后不能只继续生成下一步。它要看到反馈反馈可以是确定性的unit test typecheck lint build schema validation diff check也可以是推理型的reviewer agent LLM judge human review policy check没有反馈Agent 很容易进入“看起来完成”的状态。它会写完代码会总结改动会说任务完成但测试没跑边界没验副作用没查。这不是完成。这是自动化幻觉。3.4 Constraints行动边界约束不是为了让 Agent 变笨。约束是为了让 Agent 能安全地做更多事。常见约束包括只读模式 工作区写权限 命令 allowlist 网络访问开关 敏感文件保护 高风险动作审批 预算上限 时间上限 生产资源隔离没有约束团队只能把 Agent 当玩具。有了约束团队才敢让它进入真实流程。3.5 Observability看见循环传统应用里我们看日志、指标、trace。Agent 系统也一样。但 Agent trace 需要记录的不只是错误堆栈。还要记录输入目标 选入上下文 工具调用 工具输出 中间决策 权限审批 成本和延迟 验证结果 人类反馈如果看不见这些你就无法回答为什么它选了这个工具 为什么它忽略了那段上下文 为什么它重复执行同一步 为什么成本突然升高 为什么它说完成但实际没完成看不见 Agent 的循环就无法调试 Agent。3.6 Guide 和 SensorMartin Fowler 对 Harness 有一个很有用的拆法。可以把 Harness 分成两类东西Guide行动前引导 Sensor行动后感知Guide 是让 Agent 少走错路。比如项目说明 架构规则 工具描述 权限提示 任务模板 代码风格约束Sensor 是让 Agent 及时知道自己有没有错。比如测试 lint 构建 性能检查 安全扫描 人工 review LLM judge 日志和 trace很多团队只做 Guide。写很长的项目说明。写很细的 prompt。写一堆“请不要做错”的规则。但没有 Sensor。结果是 Agent 看起来很懂规则却没有办法知道自己是否真的满足规则。更成熟的做法是少一点空泛 Guide多一点可执行 Sensor。不要只告诉 Agent请写高质量代码。而要给它运行 pnpm test 运行 pnpm typecheck 检查 public API diff 输出未验证项 失败时停止并报告前者是愿望后者是 Harness。四、一个真实的失败模式假设你让 Agent 做一个看似简单的任务把登录接口增加验证码校验。没有 Harness 的情况下它可能会这样做读几个相关文件 修改后端接口 改前端表单 写一段总结 告诉你完成了听起来不错。但问题可能藏在后面没有检查旧客户端兼容性 没有更新错误码文档 没有补测试 没有验证验证码过期策略 没有处理重放攻击 没有检查风控日志 没有确认灰度开关这不是因为模型一定不聪明。而是环境没有告诉它完整的完成标准。一个更好的 Harness 会把任务包起来任务模板安全相关接口改动 上下文认证架构、错误码规范、风控日志位置 工具测试、类型检查、API diff、日志查询 约束不得修改 .env不得直接改生产配置 验证单测、集成测试、旧客户端兼容检查 人工审批验证码策略和灰度开关 输出已验证项、未验证项、风险清单这时 Agent 仍然可能犯错但它犯错的空间变小了。更重要的是错误更容易被发现。五、Harness 不是框架还有一个误区用了 Agent 框架就有 Harness 了。不一定。框架提供的是基础设施。Harness 是你围绕具体任务设计出来的运行环境。框架可以帮你管理tool calls turns sessions handoffs guardrails tracing但它不知道你的业务边界。不知道哪些文件不能改。不知道哪条测试最关键。不知道哪个 API 是向后兼容红线。不知道哪类动作必须找人审批。这些都要你自己定义。所以 Harness Engineering 不是“选一个框架”。它是把工具、状态、验证、权限和观测围绕任务装配起来。六、实战 Checklist如果你要把一个 Agent 任务生产化可以先问这十个问题。1. 这个任务的成功标准是什么 2. Agent 需要哪些工具才能完成 3. 每个工具的输入输出是否清晰 4. 哪些状态必须外置保存 5. 哪些动作必须只读 6. 哪些动作需要人工审批 7. 做完以后用什么验证 8. 验证失败时怎么恢复 9. 整个过程如何记录 trace 10. 成本、时间和重试有没有上限如果这些问题答不上来不要急着上多 Agent。也不要急着接生产系统。先把 Harness 补上。七、最后从第一篇到第六篇我们一直在讲模型“看到什么”。Prompt 决定一次调用怎么表达任务。Context 决定多步任务里每一步看到什么信息。到 Harness Engineering问题变成模型在什么环境里行动这一步很关键。因为生产级 AI 系统的可靠性越来越多来自模型外部工具是否好用 状态是否可恢复 验证是否可靠 权限是否清晰 观测是否完整 人类是否在正确位置介入未来 AI 工程师最重要的能力不是把 prompt 写得更玄。而是设计一套让 Agent 能安全做事、做完能自证、失败能恢复的运行环境。下一篇我们拆 Harness 里最具体、也最容易出问题的一层工具设计。因为 Agent 的手比它的大脑更容易出问题。参考资料OpenAI: Harness EngineeringMartin Fowler: Harness Engineering for Coding Agent UsersAnthropic: Effective Harnesses for Long-Running AgentsAnthropic: Building Effective AgentsOpenAI Agents SDK Documentation参考文献Harness Engineering模型之外的一切

相关新闻

SpringBoot共享单车管理系统设计与实现

SpringBoot共享单车管理系统设计与实现

1. 项目背景与核心需求共享单车平台作为城市短途出行解决方案,近年来在国内外快速普及。这个基于SpringBoot的毕业设计项目,本质上是一个简化版的共享单车管理系统,主要解决单车投放、用户租赁、费用结算等核心业务流程的数字化管理问题。从技…

2026/8/11 12:09:31 阅读更多 →
PowerShell实现Windows右下角Toast通知的两种方法与实战指南

PowerShell实现Windows右下角Toast通知的两种方法与实战指南

1. 先搞清楚右下角提示框能解决什么实际问题 如果你需要在 Windows 系统里,用脚本或程序给用户一个轻量、非阻塞的桌面通知,那么 PowerShell 实现的右下角提示框(也叫 Toast 通知或气泡提示)是一个绕不开的选项。它最直接的价值是…

2026/8/11 12:09:31 阅读更多 →
如何轻松批量下载抖音内容:完整指南与实用技巧

如何轻松批量下载抖音内容:完整指南与实用技巧

如何轻松批量下载抖音内容:完整指南与实用技巧 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. 抖音…

2026/8/11 12:09:31 阅读更多 →

最新新闻

积木报表动态插入Excel图片的技术实现与优化

积木报表动态插入Excel图片的技术实现与优化

1. 项目背景与需求分析 在数据报表制作领域,积木报表因其灵活性和易用性成为众多企业的首选工具。但在实际业务场景中,我们经常遇到一个棘手问题:如何在积木报表生成的Excel文件中动态插入图片?这个需求在以下场景尤为常见&#x…

2026/8/11 12:59:51 阅读更多 →
想学 AI?先把 Python 学明白

想学 AI?先把 Python 学明白

网罗开发 (小红书、快手、视频号同名) 大家好,我是 展菲,目前在上市企业从事人工智能项目研发管理工作,平时热衷于分享各种编程领域的软硬技能知识以及前沿技术,包括iOS、前端、Harmony OS、Java、Python等…

2026/8/11 12:59:51 阅读更多 →
构建智能化学研究平台:ChemCrow的AI增强架构与模块化工具集成

构建智能化学研究平台:ChemCrow的AI增强架构与模块化工具集成

构建智能化学研究平台:ChemCrow的AI增强架构与模块化工具集成 【免费下载链接】chemcrow-public Chemcrow 项目地址: https://gitcode.com/gh_mirrors/ch/chemcrow-public 在化学研究领域,传统工作流程面临着专业知识壁垒、工具分散和数据处理复杂…

2026/8/11 12:59:51 阅读更多 →
分布式每日一学 — Day 4:分布式事务(2PC / 3PC / Saga / TCC)

分布式每日一学 — Day 4:分布式事务(2PC / 3PC / Saga / TCC)

🎓 分布式每日一学 — Day 4:分布式事务(2PC / 3PC / Saga / TCC)前 3 天我们打的是「副本一致性」这条线:CAP 告诉我们 P 没得选,Raft/Paxos 告诉我们"怎么让一组机器对同一份数据达成一致"。 今…

2026/8/11 12:59:51 阅读更多 →
幻兽帕鲁存档转换终极指南:如何轻松解密游戏数据

幻兽帕鲁存档转换终极指南:如何轻松解密游戏数据

幻兽帕鲁存档转换终极指南:如何轻松解密游戏数据 【免费下载链接】palworld-save-tools Tools for converting Palworld .sav files to JSON and back 项目地址: https://gitcode.com/gh_mirrors/pa/palworld-save-tools 你是否曾对《幻兽帕鲁》的存档文件感…

2026/8/11 12:59:51 阅读更多 →
Wand-Enhancer:5分钟免费解锁Wand游戏修改器高级功能指南

Wand-Enhancer:5分钟免费解锁Wand游戏修改器高级功能指南

Wand-Enhancer:5分钟免费解锁Wand游戏修改器高级功能指南 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/GitHub_Trending/we/Wand-Enhancer 还在为Wand(原WeM…

2026/8/11 12:58:51 阅读更多 →

日新闻

如何用Video2X实现专业级视频画质提升:AI视频增强完整指南

如何用Video2X实现专业级视频画质提升:AI视频增强完整指南

如何用Video2X实现专业级视频画质提升:AI视频增强完整指南 【免费下载链接】video2x A machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018. 项目地址: https://gitcode.com/GitHub_Trending/vi/v…

2026/8/11 0:00:02 阅读更多 →
前后端分离项目中控制台与接口工具数据差异排查指南

前后端分离项目中控制台与接口工具数据差异排查指南

1. 问题现象解析:控制台与Apifox的数据差异 最近在调试一个前后端分离项目时,遇到了一个典型问题:后端服务在本地开发环境控制台能正常输出查询数据,但通过Apifox测试时却返回空结果。这种"控制台有数据,接口工具…

2026/8/11 0:00:03 阅读更多 →
AI编程实战:从Claude Code踩坑到游戏开发入门

AI编程实战:从Claude Code踩坑到游戏开发入门

1. 从“AI能帮我做游戏”到“AI让我重新学编程”最近身边不少朋友,尤其是一些非技术背景、但对游戏开发有浓厚兴趣的朋友,都在问我同一个问题:“听说现在用Claude Code这种AI编程工具,小白也能做游戏了,是真的吗&#…

2026/8/11 0:00:03 阅读更多 →

周新闻

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁 【免费下载链接】baidupankey 在线查询网盘提取码(维护中 rm repo) 项目地址: https://gitcode.com/gh_mirrors/ba/baidupankey 你是否曾经在深夜寻找一份重要资料&#x…

2026/8/11 1:08:05 阅读更多 →
如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南 【免费下载链接】chinese_license_plate_generator 中国车牌生成器 项目地址: https://gitcode.com/gh_mirrors/ch/chinese_license_plate_generator 中国车牌生成器是一个基于Python的开源项目&#xff0c…

2026/8/11 1:08:05 阅读更多 →
收藏!小白程序员轻松入门大模型,从Harness工程开始实践

收藏!小白程序员轻松入门大模型,从Harness工程开始实践

文章强调学习大模型不应只关注模型本身,而应重视模型外的系统搭建,即Harness。提出AgentModelHarness的实用公式,详细介绍Harness的四个层次:持久化层、执行层、控制层和观察与验证层。文章还探讨了上下文工程、工具设计、AGENTS.…

2026/8/11 1:08:05 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/10 17:07:33 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/11 1:08:06 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/10 17:07:33 阅读更多 →