没有评测集的 Agent 优化,最后都会变成“我感觉好多了”
改了一版提示词拿三个例子试了试全部成功。大家觉得“这版明显稳定了”于是发布。一周后用户反馈排序错列、公式覆盖、图表选错数据源。团队再改一轮提示词又拿那三个熟悉的例子测试。这不叫优化叫循环制造错觉。表格 Agent 的成功不能只看最终回答普通问答可以比较答案文本。表格 Agent 的结果是工作簿状态评测维度要多得多是否选择了正确工具参数中的工作表和区域是否正确是否修改了不该修改的单元格公式是否正确样式是否符合要求是否触发了必要确认失败后是否保持原状态总调用步数是否合理。同样一句“完成了”背后可能是正确修改也可能只是模型自信地总结了一次失败。从真实任务建立最小评测集不要一开始追求几千条测试。先收集 30 到 50 个高频任务给当前选区加边框 按销售额降序排列 在最后一列计算毛利率 删除空白工作表 把已有公式区域整体向下扩展 生成月度趋势图每个案例保存四样东西初始工作簿快照用户指令允许的工具和风险策略预期的状态断言。状态断言不必保存一份完整“标准答案”工作簿。很多任务用局部断言更稳定{ mustChange: [销售明细!H2:H101], mustNotChange: [销售明细!A1:G101], formulaPattern: F{row}-G{row}, confirmationRequired: false }这样模板里的无关样式变化不会让整个测试失效。分清模型错误和工具错误每次失败都要打标签context_missing wrong_tool invalid_arguments tool_execution_failed incorrect_result confirmation_missing timeout如果 20 个案例都因为活动选区没传对继续调提示词没有意义。如果模型选对了工具但合并单元格场景下工具报错就该补工具测试。这也是为什么工具要支持绕过模型直接执行。只有把推理层和执行层分开测才能知道钱和时间该花在哪里。利用事件记录真实变化SpreadJS 可以监听活动表切换、选区变化、编辑开始与结束、单元格变化等事件。对于 Agent 评测这些事件可以形成一份实际变更轨迹。例如记录{ event: CellChanged, sheetName: 销售明细, row: 18, col: 7, propertyName: value, source: agent, toolCallId: call_27 }需要注意事件量可能很大。批量写入一万格时不应把一万条原始日志都发到服务端。更实用的是在客户端聚合为范围、数量和属性摘要。线上指标不要只看成功率“任务成功率 92%”听起来不错但它可能来自模型自己的成功判断。更值得看的指标包括工具参数校验失败率用户取消确认的比例平均工具调用步数任务回滚率同一任务重复尝试率用户执行后立即撤销的比例每类工具的错误分布上下文大小和响应时间。“执行后 10 秒内被用户撤销”是一个很有价值的负反馈信号。它不一定代表工具报错却说明结果很可能不符合预期。每次改动都跑回归Agent 系统的变化来源很多更换模型修改系统提示调整工具描述新增工具改变上下文摘要升级表格组件调整确认策略。任何一项都可能影响旧任务。发布前跑固定评测集至少能发现“新能力好了旧能力坏了”。尤其是工具渐进加载后状态恢复是否正确很难靠人工点几次覆盖。评测集应该包含多轮、取消、失败重试和分支任务而不只是单句成功案例。可观测性不是上线后的补丁没有任务 ID、工具调用 ID、状态快照和变更摘要出了问题就只能翻聊天记录。等上线后再补日志很多关键上下文已经拿不到了。Agent 的每一步都应该能回答它当时看到了什么 为什么选择这个工具 工具收到了什么参数 实际改了哪里 用户是否确认 最终为什么被判定为成功能回答这些问题才谈得上持续优化。SpreadJS AI Agent 实战会把工具独立调试、任务持久化和工作簿变更串到同一条链路里。比起展示一次成功我更关心失败后能不能准确定位到是哪一层。想把这套方案真正跑起来Agent 的问题不能都归结为“模型不稳定”。课程会展示工具如何独立调试、任务状态如何持久化、工作簿快照如何关联消息以及开发者怎样区分推理错误、参数错误和执行错误。课程《从 0 到 1 掌握企业级表格 Agent 搭建》基于公开的 SpreadJS AI Agent 项目共 7 节每节约 20 分钟从整体架构一路讲到安全确认、快照回滚和调试体系。课程地址对应源码https://gitee.com/GrapeCity/spreadjs-ai-agent。项目基于 TypeScript/TSX 和 SpreadJSREADME 已整理工具体系、MCP 配置、受控代码执行、快照与恢复等入口适合边读代码边验证。本文相关看点工具调试、任务状态、消息快照和可复现的执行链路。

相关新闻

pySecurity高级篇:打造属于你的Python版Metasploit渗透框架

pySecurity高级篇:打造属于你的Python版Metasploit渗透框架

pySecurity高级篇:打造属于你的Python版Metasploit渗透框架 【免费下载链接】pySecurity Python tutorials 项目地址: https://gitcode.com/gh_mirrors/py/pySecurity pySecurity是一套从基础到进阶的Python安全开发教程,无需编程背景即可入门。本…

2026/10/17 2:34:49 阅读更多 →
tf-estimator-tutorials完全指南:从入门到精通TensorFlow Estimator API

tf-estimator-tutorials完全指南:从入门到精通TensorFlow Estimator API

tf-estimator-tutorials完全指南:从入门到精通TensorFlow Estimator API 【免费下载链接】tf-estimator-tutorials This repository includes tutorials on how to use the TensorFlow estimator APIs to perform various ML tasks, in a systematic and standardis…

2026/10/15 10:41:39 阅读更多 →
Sentora Core核心功能解析:域名管理与DNS配置终极指南

Sentora Core核心功能解析:域名管理与DNS配置终极指南

Sentora Core核心功能解析:域名管理与DNS配置终极指南 【免费下载链接】sentora-core Sentora is a web hosting control panel written in PHP for *NIX 项目地址: https://gitcode.com/gh_mirrors/se/sentora-core Sentora Core作为一款基于PHP开发的*NIX系…

2026/10/18 3:15:34 阅读更多 →

最新新闻

STM32F407 HAL库 I2C读写AT24C02 EEPROM工程实战与避坑指南

STM32F407 HAL库 I2C读写AT24C02 EEPROM工程实战与避坑指南

简介:这份资源面向使用STM32F407进行嵌入式开发的工程师与学习者,聚焦HAL库下I2C总线读写AT24C02 EEPROM的完整实现,适合需要掌握外设驱动、数据持久化存储的初中级开发者参考。压缩包共1532个文件,约7.47MB,以950个c源…

2026/10/19 13:53:53 阅读更多 →
智慧农业AI大模型与YOLO病虫害识别云平台实战解析

智慧农业AI大模型与YOLO病虫害识别云平台实战解析

智慧农业AI大模型识别分析建议一体化云平台,这是最近我们团队在做的项目。核心一句话:用YOLO系列模型做病虫害的实时视觉识别,用环境传感器做数据采集,再用DeepSeek这类大模型把识别结果和环境数据综合起来,生成可执行…

2026/10/19 13:53:53 阅读更多 →
开源代码审查工具open-code-review:架构设计与落地实践

开源代码审查工具open-code-review:架构设计与落地实践

1. 代码审查的痛点与核心价值讲真的,天天喊着要搞 code review 的团队我见过太多,但真正把 review 做好的没几个。要么是上线前一天匆匆拉个群让大家"帮忙看一眼",要么是 review 变成走形式,一眼扫过直接 Approve&#…

2026/10/19 13:53:53 阅读更多 →
STM32F1/F4延时函数选型指南:从SysTick到DWT的避坑实践

STM32F1/F4延时函数选型指南:从SysTick到DWT的避坑实践

简介:这份资源面向使用STM32F1与STM32F4系列微控制器进行嵌入式开发的工程师与学习者,提供一套可直接复用的延时函数实现方案,用于解决裸机开发中毫秒级与微秒级精确延时、定时控制等常见需求。压缩包内共2个文件,包含1个c源文件与…

2026/10/19 13:53:53 阅读更多 →
Halcon焊球检测实战:ball.hdev例程拆解与产线优化指南

Halcon焊球检测实战:ball.hdev例程拆解与产线优化指南

1. 从一张焊球照片说起:这个例程到底在解决什么问题球焊,也就是业内常说的BGA焊球检测,是电子制造里非常典型的一类视觉任务。芯片封装完成后,底部会有一排排细小的焊球,这些焊球负责把芯片和电路板电气连接起来。焊球…

2026/10/19 13:53:53 阅读更多 →
办公系统授权文件替换风险与校验机制解析

办公系统授权文件替换风险与校验机制解析

简介:这份资源为通达OA 2017的注册与破解文件包,面向需要搭建协同办公系统测试环境、进行功能验证或学习OA部署的技术人员,可解决官方版本在用户数量与安装次数上的限制问题。压缩包共5个文件,约1.04MB,包含dat数据文件…

2026/10/19 13:52:51 阅读更多 →

日新闻

频率跟踪型PWM电源设计:臭氧发生器谐振点漂移与软开关实现

频率跟踪型PWM电源设计:臭氧发生器谐振点漂移与软开关实现

简介:本资源为电源技术方向的学术研究文档,聚焦介质阻挡放电型臭氧发生器电源的频率跟踪型PWM控制策略,面向电力电子、高压电源及臭氧应用领域的科研人员与工程技术人员。针对负载呈容性、等效电容随外加电压升高而增大、谐振频率随之漂移的难…

2026/10/19 0:00:47 阅读更多 →
Vibe Coding 遇上 TaoToken:把开发者思维圣殿的灵感流接入统一 Key 通道

Vibe Coding 遇上 TaoToken:把开发者思维圣殿的灵感流接入统一 Key 通道

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 0:00:47 阅读更多 →
HundredCV-Chat话题建模实战教程:利用4,871个内置话题标签构建主题分析系统

HundredCV-Chat话题建模实战教程:利用4,871个内置话题标签构建主题分析系统

【免费下载链接】HundredCV-Chat 项目地址: https://ai.gitcode.com/hf_mirrors/Jax-dan/HundredCV-Chat 点击查看 免费下载 HundredCV-Chat 是一个由 100 位青年简历数据开发而来的中文多轮对话数据集,共包含 24,750 组日常闲聊对话和 4,871 个话题标签…

2026/10/19 0:00:47 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/19 10:02:04 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/18 0:00:55 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/19 1:30:52 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 2:54:50 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 9:10:22 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 12:16:16 阅读更多 →