【免费下载链接】FinFIRST项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/FinFIRST点击查看免费下载如果你正在评测或构建金融搜索AgentFinFIRST 的切片分析Slice Analysis值得仔细研读这个由蚂蚁集团联合中金公司投行业务团队打造的开源金融基准把 123 道真实金融研究任务按任务难度、信源数量、语言与市场逐一切片清晰揭示了当前 AI 金融 Agent 的能力边界。本文带你快速看懂这些差异背后的结论。一分钟认识 FinFIRST FinFIRSTFinancial Information Retrieval, Sourcing and Traceability与 Ling-3.0-flash-Fin 一同发布用于回答一个关键问题金融搜索 Agent 给出的答案是否既有权威证据支撑又及时且可验证它不像传统基准只看最终答案对不对而是用 701 条原子化评分标准atomic rubrics总权重 12,300 分评估完整的研究过程原始信息获取、信源验证、计算与答案形成三大维度。数据集基本盘详见 README.md维度数据任务总数123 道50 金融专家编写并验证中文 / 英文7460.2%/ 4939.8%含多个关联子问题80% 以上需要显式计算61.8%需要多个信源32.5%切片分析三个维度的核心发现 FinFIRST 在统一的 ReAct 风格 Agent 框架下评测了 15 种模型配置相同 Web Search、Visit、Python 工具并按不同维度切片对比得到以下结论1. 任务难度从易到难性能逐级下滑整体趋势非常直观——任务越难各模型得分越低。这与直觉一致但 FinFIRST 的意义在于量化了下滑有多快在需要多子问题串联、显式计算的复合任务上即便是顶级模型也会出现明显失分。2. 多信源任务始终比单信源更难需要综合多个信源占比 32.5%的任务表现一致性地低于单信源任务。也就是说把分散在多个权威来源里的数据找齐、对齐口径后再计算是当前金融 Agent 的普遍短板而非个别模型的偶发失误。3. 中英语言与市场差异结果并不对称不同语言、不同市场中国、美国等的任务表现存在明显差异。中文任务占 60.2%主要覆盖 A 股、港股等本土市场英文任务则侧重美国市场。对同时服务中英双市场的产品来说这一切片提示不能假设英文能力强就自动覆盖中文场景两者需要分别验证。整体结果与答对但无据的问题 ⚠️切片之外两个整体结论同样关键计算与答案形成环节整体弱于原始信息获取找数据不难算对、综合对才是难点宽松通过率可能掩盖问题例如 Claude-Opus-5 Loose Pass 达 87.61%Strict Pass 却只有 69.11%——部分得分很高但仍有要求被漏掉GPT-5.6-Sol 的 Strict Pass 最高71.54%。更值得警惕的是答对但证据不全的现象在 1,150 个最终答案正确的实例中有 201 个不满足完整证据要求微平均Unsupported-Correct RateUCR为 17.48%。在可开放权重的模型中Ling-3.0-flash-Fin 同时取得了最低 UCR 和最高的信源验证得分。评测协议中GLM-5.1 作为自动裁判其原子标准级判定与人工标注的 Cohens κ 达 0.816结果可信度较高。如何进一步查看原始数据完整说明与指标定义README.md123 道任务原始数据24 个字段含 rubric 与能力标注test.jsonl切片分析图表源文件assets/slice-analysis.png论文全文FinFIRST_paper.pdf一句话总结FinFIRST 的切片分析告诉我们金融 Agent 的瓶颈正从找得到转向信得过、算得对而多信源、高难度、跨市场任务仍是拉开模型差距的主战场。赞分享【免费下载链接】FinFIRST项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/FinFIRST点击查看免费下载相关推荐G-Helper终极指南3步释放华硕ROG笔记本隐藏性能的免费神器G Helper终极指南3步释放华硕ROG笔记本隐藏性能的免费神器 你是否厌倦了华硕Armoury Crate的臃肿和卡顿是否想要一个轻量级工具来完全掌控你桌面应用Dexter革命性金融研究AI助手如何利用自主任务规划实现深度市场分析Dexter革命性金融研究AI助手如何利用自主任务规划实现深度市场分析 Dexter是一款革命性的金融研究AI助手专为深度市场分析设计。作为一个自主的金人工智能AI Agent金融科技深度研究AudioSR音频超分辨率技术基于扩散模型的通用音频质量增强方案AudioSR音频超分辨率技术基于扩散模型的通用音频质量增强方案 AudioSR是一款基于扩散模型的通用音频超分辨率系统能够将任意采样率的音频输入统一提升至人工智能音频深度学习媒体生成上一篇FPM 打包 PEAR PHP 包实战pear 输入类型与全部 CLI 参数详解下一篇深度解密Dreambooth-Stable-Diffusion如何用3-5张图片实现AI个性化图像生成突破创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考