没有评测集的 Agent 优化,最后都会变成“我感觉好多了”
改了一版提示词拿三个例子试了试全部成功。大家觉得“这版明显稳定了”于是发布。一周后用户反馈排序错列、公式覆盖、图表选错数据源。团队再改一轮提示词又拿那三个熟悉的例子测试。这不叫优化叫循环制造错觉。表格 Agent 的成功不能只看最终回答普通问答可以比较答案文本。表格 Agent 的结果是工作簿状态评测维度要多得多是否选择了正确工具参数中的工作表和区域是否正确是否修改了不该修改的单元格公式是否正确样式是否符合要求是否触发了必要确认失败后是否保持原状态总调用步数是否合理。同样一句“完成了”背后可能是正确修改也可能只是模型自信地总结了一次失败。从真实任务建立最小评测集不要一开始追求几千条测试。先收集 30 到 50 个高频任务给当前选区加边框 按销售额降序排列 在最后一列计算毛利率 删除空白工作表 把已有公式区域整体向下扩展 生成月度趋势图每个案例保存四样东西初始工作簿快照用户指令允许的工具和风险策略预期的状态断言。状态断言不必保存一份完整“标准答案”工作簿。很多任务用局部断言更稳定{ mustChange: [销售明细!H2:H101], mustNotChange: [销售明细!A1:G101], formulaPattern: F{row}-G{row}, confirmationRequired: false }这样模板里的无关样式变化不会让整个测试失效。分清模型错误和工具错误每次失败都要打标签context_missing wrong_tool invalid_arguments tool_execution_failed incorrect_result confirmation_missing timeout如果 20 个案例都因为活动选区没传对继续调提示词没有意义。如果模型选对了工具但合并单元格场景下工具报错就该补工具测试。这也是为什么工具要支持绕过模型直接执行。只有把推理层和执行层分开测才能知道钱和时间该花在哪里。利用事件记录真实变化SpreadJS 可以监听活动表切换、选区变化、编辑开始与结束、单元格变化等事件。对于 Agent 评测这些事件可以形成一份实际变更轨迹。例如记录{ event: CellChanged, sheetName: 销售明细, row: 18, col: 7, propertyName: value, source: agent, toolCallId: call_27 }需要注意事件量可能很大。批量写入一万格时不应把一万条原始日志都发到服务端。更实用的是在客户端聚合为范围、数量和属性摘要。线上指标不要只看成功率“任务成功率 92%”听起来不错但它可能来自模型自己的成功判断。更值得看的指标包括工具参数校验失败率用户取消确认的比例平均工具调用步数任务回滚率同一任务重复尝试率用户执行后立即撤销的比例每类工具的错误分布上下文大小和响应时间。“执行后 10 秒内被用户撤销”是一个很有价值的负反馈信号。它不一定代表工具报错却说明结果很可能不符合预期。每次改动都跑回归Agent 系统的变化来源很多更换模型修改系统提示调整工具描述新增工具改变上下文摘要升级表格组件调整确认策略。任何一项都可能影响旧任务。发布前跑固定评测集至少能发现“新能力好了旧能力坏了”。尤其是工具渐进加载后状态恢复是否正确很难靠人工点几次覆盖。评测集应该包含多轮、取消、失败重试和分支任务而不只是单句成功案例。可观测性不是上线后的补丁没有任务 ID、工具调用 ID、状态快照和变更摘要出了问题就只能翻聊天记录。等上线后再补日志很多关键上下文已经拿不到了。Agent 的每一步都应该能回答它当时看到了什么 为什么选择这个工具 工具收到了什么参数 实际改了哪里 用户是否确认 最终为什么被判定为成功能回答这些问题才谈得上持续优化。SpreadJS AI Agent 实战会把工具独立调试、任务持久化和工作簿变更串到同一条链路里。比起展示一次成功我更关心失败后能不能准确定位到是哪一层。想把这套方案真正跑起来Agent 的问题不能都归结为“模型不稳定”。课程会展示工具如何独立调试、任务状态如何持久化、工作簿快照如何关联消息以及开发者怎样区分推理错误、参数错误和执行错误。课程《从 0 到 1 掌握企业级表格 Agent 搭建》基于公开的 SpreadJS AI Agent 项目共 7 节每节约 20 分钟从整体架构一路讲到安全确认、快照回滚和调试体系。课程地址对应源码https://gitee.com/GrapeCity/spreadjs-ai-agent。项目基于 TypeScript/TSX 和 SpreadJSREADME 已整理工具体系、MCP 配置、受控代码执行、快照与恢复等入口适合边读代码边验证。本文相关看点工具调试、任务状态、消息快照和可复现的执行链路。

相关新闻

pySecurity高级篇:打造属于你的Python版Metasploit渗透框架

pySecurity高级篇:打造属于你的Python版Metasploit渗透框架

pySecurity高级篇:打造属于你的Python版Metasploit渗透框架 【免费下载链接】pySecurity Python tutorials 项目地址: https://gitcode.com/gh_mirrors/py/pySecurity pySecurity是一套从基础到进阶的Python安全开发教程,无需编程背景即可入门。本…

2026/8/10 17:57:36 阅读更多 →
tf-estimator-tutorials完全指南:从入门到精通TensorFlow Estimator API

tf-estimator-tutorials完全指南:从入门到精通TensorFlow Estimator API

tf-estimator-tutorials完全指南:从入门到精通TensorFlow Estimator API 【免费下载链接】tf-estimator-tutorials This repository includes tutorials on how to use the TensorFlow estimator APIs to perform various ML tasks, in a systematic and standardis…

2026/8/10 17:56:35 阅读更多 →
Sentora Core核心功能解析:域名管理与DNS配置终极指南

Sentora Core核心功能解析:域名管理与DNS配置终极指南

Sentora Core核心功能解析:域名管理与DNS配置终极指南 【免费下载链接】sentora-core Sentora is a web hosting control panel written in PHP for *NIX 项目地址: https://gitcode.com/gh_mirrors/se/sentora-core Sentora Core作为一款基于PHP开发的*NIX系…

2026/8/10 17:56:35 阅读更多 →

最新新闻

UE5实时视频流集成:InVideo插件RTSP播放与MP4录制全解析

UE5实时视频流集成:InVideo插件RTSP播放与MP4录制全解析

1. 项目概述:为什么UE5需要InVideo这样的插件? 在虚幻引擎5(UE5)的世界里,我们构建的是令人惊叹的虚拟世界,但很多时候,这个世界需要与现实世界进行对话。比如,你想在虚拟演播厅里实…

2026/8/10 23:09:42 阅读更多 →
终极指南:使用palera1n工具一键完成iOS设备越狱完整教程

终极指南:使用palera1n工具一键完成iOS设备越狱完整教程

终极指南:使用palera1n工具一键完成iOS设备越狱完整教程 【免费下载链接】palera1n Jailbreak for A8 through A11, T2 devices, on iOS/iPadOS/tvOS 15.0, bridgeOS 5.0 and higher. 项目地址: https://gitcode.com/GitHub_Trending/pa/palera1n 还在为iOS设…

2026/8/10 23:09:42 阅读更多 →
Unity代码裁剪深度解析:Managed Stripping Level机制与反射代码保留策略

Unity代码裁剪深度解析:Managed Stripping Level机制与反射代码保留策略

1. 项目概述:为什么我们需要关心Managed Stripping Level?如果你在Unity项目里用过IL2CPP后端打包,肯定在Player Settings的Optimization部分见过这个选项:Managed Stripping Level。默认情况下,Unity会把它设为Low&am…

2026/8/10 23:09:42 阅读更多 →
利用PPT设计Origin渐变色卡:提升科研图表专业性与效率

利用PPT设计Origin渐变色卡:提升科研图表专业性与效率

1. 先搞清楚“Origin渐变色卡”到底解决什么问题如果你经常用Origin做科研绘图,肯定遇到过这种情况:想给图表配一个专业、美观的渐变色系,但软件自带的调色板要么太单调,要么颜色过渡不自然。手动在颜色选择器里一个个调&#xff…

2026/8/10 23:09:42 阅读更多 →
Windows 11终极优化指南:3分钟告别臃肿系统,Win11Debloat让你的电脑重获新生

Windows 11终极优化指南:3分钟告别臃肿系统,Win11Debloat让你的电脑重获新生

Windows 11终极优化指南:3分钟告别臃肿系统,Win11Debloat让你的电脑重获新生 【免费下载链接】Win11Debloat A simple, lightweight PowerShell script that allows you to remove pre-installed apps, disable telemetry, as well as perform various o…

2026/8/10 23:09:41 阅读更多 →
革命性AI游戏引擎:gpt-bird如何用Transformer神经网络替代Flappy Bird物理引擎?

革命性AI游戏引擎:gpt-bird如何用Transformer神经网络替代Flappy Bird物理引擎?

革命性AI游戏引擎:gpt-bird如何用Transformer神经网络替代Flappy Bird物理引擎? 【免费下载链接】gpt-bird 项目地址: https://ai.gitcode.com/hf_mirrors/gmmeyer/gpt-bird gpt-bird(又称Dreaming Bird)是一个创新的AI游…

2026/8/10 23:08:41 阅读更多 →

日新闻

GraphQL-CSS API全解析:useGqlCSS、GqlCSS组件与getStyles实用指南

GraphQL-CSS API全解析:useGqlCSS、GqlCSS组件与getStyles实用指南

GraphQL-CSS API全解析:useGqlCSS、GqlCSS组件与getStyles实用指南 【免费下载链接】graphql-css A blazing fast CSS-in-GQL™ library. 项目地址: https://gitcode.com/gh_mirrors/gr/graphql-css GraphQL-CSS是一个基于GraphQL的CSS-in-GQL™库&#xff0…

2026/8/10 0:00:02 阅读更多 →
告别语言障碍:KISS Translator 双语翻译插件终极指南

告别语言障碍:KISS Translator 双语翻译插件终极指南

告别语言障碍:KISS Translator 双语翻译插件终极指南 【免费下载链接】kiss-translator A simple, open source bilingual translation extension & Greasemonkey script (一个简约、开源的 双语对照翻译扩展 & 油猴脚本) 项目地址: https://gitcode.com/…

2026/8/10 0:00:02 阅读更多 →
BepInEx配置管理器:游戏插件配置的终极可视化解决方案

BepInEx配置管理器:游戏插件配置的终极可视化解决方案

BepInEx配置管理器:游戏插件配置的终极可视化解决方案 【免费下载链接】BepInEx.ConfigurationManager Plugin configuration manager for BepInEx 项目地址: https://gitcode.com/gh_mirrors/be/BepInEx.ConfigurationManager 你是否曾经因为游戏插件的复杂…

2026/8/10 0:00:02 阅读更多 →

周新闻

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁 【免费下载链接】baidupankey 在线查询网盘提取码(维护中 rm repo) 项目地址: https://gitcode.com/gh_mirrors/ba/baidupankey 你是否曾经在深夜寻找一份重要资料&#x…

2026/8/10 1:05:29 阅读更多 →
如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南 【免费下载链接】chinese_license_plate_generator 中国车牌生成器 项目地址: https://gitcode.com/gh_mirrors/ch/chinese_license_plate_generator 中国车牌生成器是一个基于Python的开源项目&#xff0c…

2026/8/10 1:05:29 阅读更多 →
收藏!小白程序员轻松入门大模型,从Harness工程开始实践

收藏!小白程序员轻松入门大模型,从Harness工程开始实践

文章强调学习大模型不应只关注模型本身,而应重视模型外的系统搭建,即Harness。提出AgentModelHarness的实用公式,详细介绍Harness的四个层次:持久化层、执行层、控制层和观察与验证层。文章还探讨了上下文工程、工具设计、AGENTS.…

2026/8/10 1:05:29 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/10 17:07:33 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/10 1:05:29 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/10 17:07:33 阅读更多 →