本文介绍了Harness工程在构建高效AI Agent中的重要性,强调决定Agent上限的并非模型本身,而是模型周围的系统提示、工具集等工程设施。文章详细阐述了如何通过优化系统提示、设计工具以及进行工具测试来提升Agent的性能,特别指出上下文工程已成为AI领域的新趋势。对于AI专业学习者,掌握Harness工程是提升Agent质量的关键。一、什么是Harness?Harness,直译"挽具"——马能跑得快靠腿,但能不能把力气用在正道上,靠的是套在它身上的那套挽具。放到AI领域:模型是发动机,Harness是整辆车。它包括系统提示(System Prompt)、工具集(Tools)、上下文管理策略、执行沙箱、权限与校验机制等一整套模型之外的工程设施。Anthropic在《Effective context engineering for AI agents》中给出了一个标志性论断:行业已经从"提示工程"(prompt engineering)进化到"上下文工程"(context engineering)——你要优化的不再是某一句话怎么说,而是模型在每一步到底"看得到什么"。▲ 提示工程 vs 上下文工程:从打磨话术到设计整个系统(图源:Anthropic官方工程博客)二、系统提示:用自然语言"编程"很多初学者把系统提示当成"咒语",写完一次就不敢动。官方的建议恰恰相反:系统提示是可以校准、可以测试的工程产物。Anthropic把"最小有效提示"(minimal viable prompt)作为起点,每次只改一处、跑一组测试用例、观察行为差异——这和软件工程里的回归测试思路完全一致。▲ 校准系统提示:小步修改、持续测试(图源:Anthropic官方工程博客)三、工具设计:Agent能力的真实边界模型再聪明,没有好工具也只能"纸上谈兵"。Harness工程里最容易被低估的就是工具设计:工具描述写得含糊,Agent就会瞎猜参数;返回信息塞得太满,上下文立刻被垃圾淹没。Anthropic在《Writing effective tools for agents》里给过一组实测数据:仅仅是改进工具描述和参数定义,同一个Agent在Slack类任务上的通过率就从30.7%提升到38.9%,在Akira(软件工程类)任务上从35.6%提升到39.8%——模型一行代码没动,只动了Harness。▲ 多Agent协作:Claude Code如何组织子任务(图源:Anthropic官方工程博客)▲ 优化工具描述前后的通过率对比(图源:Anthropic官方工程博客)四、工具也要"写单元测试"官方博客还有一个容易被忽视的细节:像测代码一样测工具。他们用Agent实际执行任务并回读终端输出,验证工具返回的内容是否清晰、是否包含干扰信息、是否让模型"越走越偏"。工具返回值应该是为模型优化的接口,而不是为人优化的页面。▲ 用Agent实测工具返回内容(图源:Anthropic官方工程博客)五、给AI专业同学的启示如果你学的是人工智能技术应用,请记住这个正在发生的分工变化:模型能力由实验室负责,Agent质量由工程负责。企业招人时问的往往不是"你会不会调API",而是——你如何设计系统提示并做版本化管理?你的工具粒度怎么切?描述怎么写?失败怎么兜底?上下文窗口有限,你把什么放进去、什么外包出去?错误发生时,你的Harness如何让模型自我纠正而不是一路狂奔?这些问题构成了一个新兴的工程领域:Harness工程。它不需要你训练模型,却决定了模型在真实业务里的生死。下一期,我们聊让Agent"越用越专业"的Skills工程。大模型的知识又多又杂,到底怎么学?做这行久了,被问最多的问题就一个:大模型的知识又多又杂,我到底先学啥?翻了一堆资料,看啥都像重点,结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍,零基础、应届生、转行的都适用。跟着走,至少方向不乱、不瞎忙,学完拿得出手。第一阶段(10天):初阶应用这一阶段就一个目标:把大模型真正"玩明白",不是只会聊天那种,而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么?大模型是怎样获得「智能」的?用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例:向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段(30天):高阶应用这阶段正式进实战,目标很实在:做出两个能拿出手的东西——一个私有知识库,一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示(Embeddings)向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天,Python 或 JavaScript 背景的基本能独立做一套 RAG 应用,简历上也敢写"大模型应用开发"了。第三阶段(约20天):动手微调学到这,你已经开始 “造” 模型了 —— 通过微调,搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 & 损失函数简介小实验2:手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。到此为止,大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗?想要入局AI大模型赛道、抢占行业红利的朋友,微信扫描下方CSDN官方认证二维码,即可100%免费领取全套学习资料!第四阶段(20天):商业闭环,部署落地技术学完,落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身:基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例:如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友,给大家准备了一份2026 年最新 AI 大模型全套学习资料:1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍&电子文档4、AI大模型最新行业报告5、大模型项目实战&配套源码6、2026大模型大厂面试真题7、为什么要学习大模型?我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学?传统后端 / Java / 前端开发,想转型 AI 应用大学生、应届生,想拿更好的 offer产品经理、运营,想武装职业竞争力技术负责人,想给团队落地提效学习是反人性的,但回报是真金白银。技术会更新,赛道会切换,但只要你先动手,机会就永远站在你这边。9、这些资料真的有用吗?这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友,微信扫描下方CSDN官方认证二维码,即可100%免费领取全套学习资料!好了,就写到这。路线是死的,人是活的,卡住了随时来问我。觉得有用就点个收藏,别让它进收藏夹吃灰——动起来比啥都强。
本文介绍了Harness工程在构建高效AI Agent中的重要性,强调决定Agent上限的并非模型本身,而是模型周围的系统提示、工具集等工程设施。文章详细阐述了如何通过优化系统提示、设计工具以及进行工具测试来提升Agent的性能,特别指出上下文工程已成为AI领域的新趋势。对于AI专业学习者,掌握Harness工程是提升Agent质量的关键。一、什么是Harness?Harness,直译"挽具"——马能跑得快靠腿,但能不能把力气用在正道上,靠的是套在它身上的那套挽具。放到AI领域:模型是发动机,Harness是整辆车。它包括系统提示(System Prompt)、工具集(Tools)、上下文管理策略、执行沙箱、权限与校验机制等一整套模型之外的工程设施。Anthropic在《Effective context engineering for AI agents》中给出了一个标志性论断:行业已经从"提示工程"(prompt engineering)进化到"上下文工程"(context engineering)——你要优化的不再是某一句话怎么说,而是模型在每一步到底"看得到什么"。▲ 提示工程 vs 上下文工程:从打磨话术到设计整个系统(图源:Anthropic官方工程博客)二、系统提示:用自然语言"编程"很多初学者把系统提示当成"咒语",写完一次就不敢动。官方的建议恰恰相反:系统提示是可以校准、可以测试的工程产物。Anthropic把"最小有效提示"(minimal viable prompt)作为起点,每次只改一处、跑一组测试用例、观察行为差异——这和软件工程里的回归测试思路完全一致。▲ 校准系统提示:小步修改、持续测试(图源:Anthropic官方工程博客)三、工具设计:Agent能力的真实边界模型再聪明,没有好工具也只能"纸上谈兵"。Harness工程里最容易被低估的就是工具设计:工具描述写得含糊,Agent就会瞎猜参数;返回信息塞得太满,上下文立刻被垃圾淹没。Anthropic在《Writing effective tools for agents》里给过一组实测数据:仅仅是改进工具描述和参数定义,同一个Agent在Slack类任务上的通过率就从30.7%提升到38.9%,在Akira(软件工程类)任务上从35.6%提升到39.8%——模型一行代码没动,只动了Harness。▲ 多Agent协作:Claude Code如何组织子任务(图源:Anthropic官方工程博客)▲ 优化工具描述前后的通过率对比(图源:Anthropic官方工程博客)四、工具也要"写单元测试"官方博客还有一个容易被忽视的细节:像测代码一样测工具。他们用Agent实际执行任务并回读终端输出,验证工具返回的内容是否清晰、是否包含干扰信息、是否让模型"越走越偏"。工具返回值应该是为模型优化的接口,而不是为人优化的页面。▲ 用Agent实测工具返回内容(图源:Anthropic官方工程博客)五、给AI专业同学的启示如果你学的是人工智能技术应用,请记住这个正在发生的分工变化:模型能力由实验室负责,Agent质量由工程负责。企业招人时问的往往不是"你会不会调API",而是——你如何设计系统提示并做版本化管理?你的工具粒度怎么切?描述怎么写?失败怎么兜底?上下文窗口有限,你把什么放进去、什么外包出去?错误发生时,你的Harness如何让模型自我纠正而不是一路狂奔?这些问题构成了一个新兴的工程领域:Harness工程。它不需要你训练模型,却决定了模型在真实业务里的生死。下一期,我们聊让Agent"越用越专业"的Skills工程。大模型的知识又多又杂,到底怎么学?做这行久了,被问最多的问题就一个:大模型的知识又多又杂,我到底先学啥?翻了一堆资料,看啥都像重点,结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍,零基础、应届生、转行的都适用。跟着走,至少方向不乱、不瞎忙,学完拿得出手。第一阶段(10天):初阶应用这一阶段就一个目标:把大模型真正"玩明白",不是只会聊天那种,而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么?大模型是怎样获得「智能」的?用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例:向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段(30天):高阶应用这阶段正式进实战,目标很实在:做出两个能拿出手的东西——一个私有知识库,一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示(Embeddings)向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天,Python 或 JavaScript 背景的基本能独立做一套 RAG 应用,简历上也敢写"大模型应用开发"了。第三阶段(约20天):动手微调学到这,你已经开始 “造” 模型了 —— 通过微调,搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 & 损失函数简介小实验2:手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。到此为止,大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗?想要入局AI大模型赛道、抢占行业红利的朋友,微信扫描下方CSDN官方认证二维码,即可100%免费领取全套学习资料!第四阶段(20天):商业闭环,部署落地技术学完,落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身:基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例:如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友,给大家准备了一份2026 年最新 AI 大模型全套学习资料:1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍&电子文档4、AI大模型最新行业报告5、大模型项目实战&配套源码6、2026大模型大厂面试真题7、为什么要学习大模型?我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学?传统后端 / Java / 前端开发,想转型 AI 应用大学生、应届生,想拿更好的 offer产品经理、运营,想武装职业竞争力技术负责人,想给团队落地提效学习是反人性的,但回报是真金白银。技术会更新,赛道会切换,但只要你先动手,机会就永远站在你这边。9、这些资料真的有用吗?这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友,微信扫描下方CSDN官方认证二维码,即可100%免费领取全套学习资料!好了,就写到这。路线是死的,人是活的,卡住了随时来问我。觉得有用就点个收藏,别让它进收藏夹吃灰——动起来比啥都强。