OpenAI旧Evals进入退役倒计时:Agent测评别再押在一个平台按钮上
OpenAI旧Evals进入退役倒计时Agent测评别再押在一个平台按钮上真正会丢的不是一个界面很多团队说“我们做过几十条 Agent Eval”实际资产只存在某个平台的网页按钮里案例是谁写的、标准答案是什么、评分器怎么判、失败时调用了哪些工具全靠系统内部保存。平台一迁留下的可能只是一张总分截图。OpenAI 已公布旧 Evals 的只读与关闭时间。无论是否使用该平台这都是一个提醒评测能力不能依赖某个页面还在。四类资产必须独立保存① Evaluation Dataset用户请求、上下文、期望业务事实② Grader/断言通过条件、禁止行为、阈值③ Trace工具调用、参数、模型与版本④ CI报告哪次变更造成了什么回归。把它们存成可版本管理的 JSON、代码和可查询日志换平台时只需要换执行器不需要从零再猜业务规则。迁移前先跑一次双写校验选择20条高风险样本退款、权限、空结果、工具超时。旧系统和新执行器同时跑逐条比较不是只比较总分而是比较失败分类和 Trace。若新平台只会打“失败”却无法指出参数越权或调用顺序错就不是等价迁移。双写时建议把每条样本拆成三列业务结论、行为证据、诊断标签。比如“退款未执行”是业务结论“先调用 cancel 再调用 refund”是行为证据“调用顺序错误”才是诊断标签。三列分开后团队能判断是评分器变了还是 Agent 真变了。只比较 82 分和 84 分排查没有起点。迁移清单也要有人负责谁维护坏案例、谁审批新增评分规则、谁在模型或 Tool Schema 变更时触发回归。它不是平台管理员的杂活而是 AI 测试开发的质量资产管理。新同学接手时能在仓库里找到版本化数据集和报告比收到一张历史仪表盘截图有用得多。结论评测平台是工具不是资产。测试工程师应该拥有自己的坏案例、断言和证据链这样任何平台退役都不会带走团队的质量记忆。

相关新闻

AI工程从零开始:契约驱动的系统构建方法论

AI工程从零开始:契约驱动的系统构建方法论

1. 这不是“搭个LLM API”——AI工程从零开始的真实含义很多人看到“AI Engineering from Scratch”,第一反应是:哦,不就是用LangChain调个OpenAI接口,再加个RAG pipeline?配个Streamlit前端,发个GitHub re…

2026/10/1 1:10:04 阅读更多 →
保姆级|OpenClaw 集成 DeepSeek V4(Flash/Pro)配置 TaoToken 详细步骤

保姆级|OpenClaw 集成 DeepSeek V4(Flash/Pro)配置 TaoToken 详细步骤

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/30 19:57:12 阅读更多 →
AgentScope多智能体框架实战:从单Agent到协作编排的进阶指南

AgentScope多智能体框架实战:从单Agent到协作编排的进阶指南

1. 为什么我要花时间聊 AgentScope 这个系统第一次看到 AgentScope 这个名字,是在一个做多智能体协作的群里。当时有人丢了一句“这玩意儿把 Agent 编排的门槛拉低了一个数量级”,我半信半疑地去翻了一圈资料,结果一上手就停不下来。简单说&a…

2026/10/1 0:04:56 阅读更多 →

最新新闻

【9月终章】企业级精益算力与云成本工程(FinOps)落地全景白皮书

【9月终章】企业级精益算力与云成本工程(FinOps)落地全景白皮书

【9月终章】企业级精益算力与云成本工程(FinOps)落地全景白皮书在 2026 年 9 月的精益成本治理战役中,YueJoy 团队在全平台算力与云基础设施开销上取得了一场兼具技术深度与商业奇迹的巨大胜利。 在业务数据吞吐量增长 5 倍的前提下&#xff…

2026/10/1 15:49:27 阅读更多 →
为什么你还需要CompozyOS:AI Agent编排框架CompozyOS解决的7大难题

为什么你还需要CompozyOS:AI Agent编排框架CompozyOS解决的7大难题

为什么你还需要CompozyOS:AI Agent编排框架CompozyOS解决的7大难题 【免费下载链接】compozy An operating system for AI agents. Plug in the agent CLIs you already use (Claude Code, Codex, Gemini CLI, Cursor) and they become a team: they split the work…

2026/10/1 15:49:26 阅读更多 →
九月日志与链路追踪总决算:构建极速、轻量、高可用数据大动脉

九月日志与链路追踪总决算:构建极速、轻量、高可用数据大动脉

九月日志与链路追踪总决算:构建极速、轻量、高可用数据大动脉在 2026 年 9 月 30 日这个属于全体数据与 SRE 架构师的辉煌收官之日,专栏【T3 日志与追踪】迎来了整整一个月的全面总决算。 回顾这整整 30 个日日夜夜,全站日志与全链路追踪基础…

2026/10/1 15:49:26 阅读更多 →
基于Python+TensorFlow 2.3实现花卉识别系统:从数据到实时演示

基于Python+TensorFlow 2.3实现花卉识别系统:从数据到实时演示

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 15:49:26 阅读更多 →
XGBoost原理推导与调参实战:从目标函数到分裂增益

XGBoost原理推导与调参实战:从目标函数到分裂增益

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 15:49:26 阅读更多 →
5小时搭建实时湖仓:Flink CDC同步MySQL到数据湖实战

5小时搭建实时湖仓:Flink CDC同步MySQL到数据湖实战

简介:5小时玩转阿里云实时计算Flink实时湖仓课程的配套原始业务数据脚本,面向大数据与实时计算学习者,适合正在学习阿里云Flink实时湖仓搭建、希望获得可运行示例数据的开发者。资源包共含4个文件,由两个SQL脚本和两个TXT说明组成…

2026/10/1 15:48:26 阅读更多 →

日新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 0:00:30 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 0:00:30 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 1:01:17 阅读更多 →

周新闻

如何划分训练/验证集:Spirula Studio五种eval_mode策略详解

如何划分训练/验证集:Spirula Studio五种eval_mode策略详解

如何划分训练/验证集:Spirula Studio五种eval_mode策略详解 【免费下载链接】spirula-studio Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA. 项目地址: https://gitcode.com/GitHub_Trending/sp/spirula-studio Sp…

2026/9/30 13:14:22 阅读更多 →
SEO怎么推广速查手册新手避坑实战指南

SEO怎么推广速查手册新手避坑实战指南

SEO怎么推广速查手册新手避坑实战指南 模板网站太丑不够用?别急着加滤镜,那是治标不治本。很多老板盯着后台流量掉得眼红,却还在纠结首页Banner的圆角是不是3像素。这就像穿着西装去挖土,姿势不对,努力白费。我整理这份 速查手册…

2026/9/30 18:13:06 阅读更多 →
FireRed-OpenStoryline少样本仿写深度解析:AI Agent如何复刻你的独特文案风格与节奏

FireRed-OpenStoryline少样本仿写深度解析:AI Agent如何复刻你的独特文案风格与节奏

FireRed-OpenStoryline少样本仿写深度解析:AI Agent如何复刻你的独特文案风格与节奏 【免费下载链接】FireRed-OpenStoryline FireRed-OpenStoryline is an AI video editing agent that transforms manual editing into intention-driven directing through natural language …

2026/9/30 13:14:49 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 0:00:30 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 0:00:30 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/1 1:01:17 阅读更多 →