Terminal-Bench完整指南:4步跑通你的第一个AI终端评测

Terminal-Bench完整指南:4步跑通你的第一个AI终端评测

【免费下载链接】terminal-bench-1A benchmark for LLMs on complicated tasks in the terminal项目地址: https://gitcode.com/GitHub_Trending/tb/terminal-bench-1

你的Agent演示很精彩,可它在终端里真能干成活吗?想验证,却没有现成的评测环境、任务库和评分标准。Terminal-Bench 就是为此准备的:约100个真实终端任务,加上一套把语言模型接进 Docker 沙箱的评测执行器(harness),一条命令就能拿到带准确率的评测结果。

⏱ 10分钟完成第一次终端评测

最短路径只有一条:装上 CLI,用内置的 oracle 代理跑一个任务。oracle 不需要任何模型 API Key,它直接执行任务的参考解(oracle solution),所以第一次运行既能验证环境是否搭好,又能立刻拿到一份真实的评测结果。

uv tool install terminal-bench # 推荐:uv 会把工具装在独立环境里,不污染系统 Python # 也可以:pip install terminal-bench # 想改源码就先 clone 再 editable 安装: # git clone https://gitcode.com/GitHub_Trending/tb/terminal-bench # cd terminal-bench && pip install -e .

用 uv 装的理由很简单:它把tb命令隔离在独立虚拟环境中,和你日常开发的依赖互不干扰。安装前确认三件事:Docker 可用(沙箱就是容器)、Python 3.12+、系统为 Linux(Ubuntu 最顺)、磁盘空间留足(每个任务都要构建一个镜像)。

装好后跑这条命令:

tb run --agent oracle --task-id hello-world --output-path ./first-run

--agent oracle指定用参考解跑通流水线,--task-id锁定一个任务避免全量执行,--output-path把结果指到自定义目录。跑完后终端会打印一张汇总表(Resolved / Unresolved / Accuracy),./first-run/<时间戳>/下则落盘了results.json、run.log和每个任务的详细记录。想换成真模型,只需改成tb run --agent terminus --model anthropic/claude-3-7-latest,--model统一是供应商/模型名的格式。

🔍 刚结束的评测里到底发生了什么

把刚才的流程类比成一场闭卷考试:任务数据集是题库,Docker 沙箱是考场,harness 是监考老师,测试脚本是阅卷程序。

每个任务在 original-tasks/ 下都是独立文件夹,四件套缺一不可:task.yaml(英文指令、难度、超时上限等元信息)、Dockerfile(考场环境)、tests/(阅卷脚本,通常由run-tests.sh驱动)、solution.sh(参考解)。比如 hello-world 的指令只有一句"创建/app/hello.txt并写入 Hello, world!",但它的测试脚本会严格校验文件路径和内容。

harness(核心代码在 terminal_bench/cli/ 与terminal_bench/harness/)的完整动作是:按任务的 Dockerfile 构建并启动隔离容器 → 把task.yaml里的指令交给 Agent → Agent 在容器终端里自主敲命令干活 → 到点后执行run-tests.sh判定成败 → 汇总所有 trial 的结果。沙箱的意义在于 Agent 的所有操作都被关在容器里,宿主环境不受影响,评测也可随时推倒重来。

结果侧,除了前面提到的results.json和日志,项目还带了一个基于 Streamlit 的 dashboard/,可以把多次运行的准确率、pass@k、失败模式、token 消耗可视化对比。

🧩 它能评什么:从修权限到解迷宫

目前约100个任务(beta 阶段,仍在扩张),按使用场景大致分三类,每类都贴一个具体任务说明。

系统管理与运维:覆盖软件包安装配置、服务管理、权限与安全。典型任务是 fix-permissions——容器里有个/app/process_data.sh死活跑不起来,Agent 要自己定位是权限、解释器还是依赖的问题并修好;再比如 openssl-selfsigned-cert 要求生成自签名证书并配好服务。这类任务考的是对 Linux 生态的肌肉记忆。

开发环境:Python 环境配置、依赖管理、编译构建。broken-python 是代表作:系统级 Python 的 pip 坏了,Agent 要恢复包安装能力,还得避开"用 apt 直接砸掉"的粗暴方案。同类还有 fix-pandas-version、依赖冲突消解、C/C++ 编译调试等任务。

数据处理与脚本:文件操作、格式转换、数据库。csv-to-parquet 要求把/app/data.csv转成同名 Parquet 文件——看着简单,但 Agent 得自己判断用什么库、装没装、读出来的 schema 对不对。

此外还有一批交互式任务,比如 interactive-maze-game:Agent 要在容器里和命令行迷宫游戏交互,从 f(1,1) 走到 f(9,9)。

📋 tb run 参数速查表与进阶用法

参数说明推荐值
--agent代理名称;oracle跑参考解,terminus等接真实模型oracle(验环境)/ terminus(正式评测)
--model模型名,供应商/模型名格式按你要评测的模型填写
--dataset数据集名称==版本,如terminal-bench-core==0.1.1(榜单对应版本)terminal-bench-core==0.1.1
--task-id指定任务,可重复出现,支持 glob 通配抽查 3~5 个
--n-concurrent并发任务数(每个 trial 一个容器)2~8,按机器资源调
--n-attempts每个任务的尝试次数,影响 pass@k 计算1(正式评测可加大)
--output-path结果输出目录./runs 或自定义

进阶用法一,指定任务 + 多次尝试 + 自定义输出路径,一条命令全搞定:

tb run \ --agent terminus --model anthropic/claude-3-7-latest \ --task-id hello-world --task-id broken-python --task-id csv-to-parquet \ --n-attempts 3 --output-path ./eval-spotcheck

--task-id写三遍就是跑三个任务——这是 CLI 的设计:可重复选项代替了数组参数。进阶用法二,控制超时:任务自带的max_agent_timeout_sec会被全局参数覆盖,--global-timeout-multiplier按比例缩放,--global-agent-timeout-sec/--global-test-timeout-sec则直接指定秒数,适合跑慢模型时避免误杀。进阶用法三,跑一半断线不用重头来:tb runs status --run-id <id>查看每个任务处于 passed / failed / incomplete / not started 哪一档,再tb runs resume --run-id <id>从断点继续,已完成且有results.json的 trial 会自动跳过。

给自己的评测加一道题:自定义任务与适配器

加新任务不用手写目录结构:tb tasks create会基于 terminal_bench/cli/template-task/ 模板生成一个任务骨架,里面已经备好Dockerfile(基于官方 ubuntu-24-04 基础镜像)、docker-compose.yaml、run-tests.sh、solution.sh和tests/的空位。你只需填三处:task.yaml里的英文指令、tests/里的判定逻辑、solution.sh里的参考解。开发过程中用tb tasks interact直接进入容器敲命令,边试边调指令的措辞。任务写好后放进 original-tasks/ 目录,tb run --task-id <你的任务>即可验证。

想接别的基准或新框架,参考 adapters/ 目录:那里已有 SWE-bench、USACO、algotune、mlebench 等一批适配器,每个都是"数据源 + 模板任务 + run_adapter.py"的固定套路,照着写一个新适配器就能把外部评测集灌进 Terminal-Bench 的流水线。

⚠️ 避坑清单

Q:容器起不来,日志里一堆 Docker 报错?A:Docker 是硬依赖,不是可选组件。先装好并跑通docker run hello-world,再回来折腾tb。

Q:第一次运行慢得离谱?A:正常。每个任务首次都要构建沙箱镜像。跑通后加--no-rebuild复用已有镜像;评测结束用默认的--cleanup(或加--cleanup)删掉镜像,防止磁盘被几百个任务镜像塞满。

Q:怎么确认评测结果不是任务本身的 bug?A:用--agent oracle重跑该任务。参考解应当通过,oracle 挂了说明任务或测试有问题,和模型无关。

Q:为什么我的结果和榜单对不上?A:数据集没钉死版本。--dataset不指定版本时默认head(最新开发分支),要复现榜单成绩必须显式传--dataset terminal-bench-core==0.1.1。

Q:全量 100 个任务 API 成本吃不消?A:先用--task-id抽 5~10 个任务、--n-concurrent 2低并发试跑,看 oracle 和真实模型的差距,再决定是否扩大样本。

Terminal-Bench 的定位一句话:一套可复现的"任务集 + 模型接入终端沙箱的执行器",把 AI 代理的终端真实水平量化成准确率。现在就tb run --agent oracle --task-id hello-world跑通第一题,你的评测基线就有了。

【免费下载链接】terminal-bench-1A benchmark for LLMs on complicated tasks in the terminal项目地址: https://gitcode.com/GitHub_Trending/tb/terminal-bench-1

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

免 root 三步跑通 WorkTool:你的企业微信自动回复机器人

免 root 三步跑通 WorkTool:你的企业微信自动回复机器人

免 root 三步跑通 WorkTool&#xff1a;你的企业微信自动回复机器人 【免费下载链接】worktool 一款安全稳定的Android无障碍服务工具&#xff0c;支持控制企微/微信来运行的无人值守群管理企业微信机器人 项目地址: https://gitcode.com/GitHub_Trending/wo/worktool W…

2026/11/19 8:14:44 阅读更多 →
STM32驱动W25Q64 SPI Flash实战:从硬件连接到代码实现

STM32驱动W25Q64 SPI Flash实战:从硬件连接到代码实现

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/11/19 5:33:28 阅读更多 →
如何用 Jasna 自动修复 VR180 视频:从分眼处理到投影选择的完整新手教程

如何用 Jasna 自动修复 VR180 视频:从分眼处理到投影选择的完整新手教程

如何用 Jasna 自动修复 VR180 视频&#xff1a;从分眼处理到投影选择的完整新手教程 【免费下载链接】jasna Video restoration tool 项目地址: https://gitcode.com/GitHub_Trending/ja/jasna Jasna 是一款面向 GPU 的视频修复工具&#xff0c;内置 VR180 自动修复能力…

2026/11/16 15:36:19 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年&#xff0c;我大部分时间都在跟浏览器标签页打交道&#xff0c;直到第一次把桌面应用跑起来&#xff0c;才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词&#xff0c;最开始是在某段时间频繁出现在同事的讨论里&#xff0c;一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介&#xff1a;亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档&#xff0c;主要面向智能锁安装人员、终端用户及售后维护者&#xff0c;帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件&#xff0c;大小4.37MB&#xff0c;内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统&#xff0c;整车要求空载跑到8m/s&#xff0c;电机转速已经拉到额定点&#xff0c;驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令&#xff0c;转速纹丝不动&#xff0c;三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年&#xff0c;用它写过嵌入式驱动、做过游戏服务端&#xff0c;也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词&#xff0c;我其实挺感慨的——这门语言的难点从来不是语法多&#xff0c;而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介&#xff1a;亚太天能T109滑盖智能锁产品说明书以PDF格式发布&#xff0c;适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开&#xff0c;先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能&#xff0c;再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历&#xff1a;翻开源码注释、论文摘要或者一份专业报告&#xff0c;每个字都认识&#xff0c;连在一起却像天书。想找人聊聊&#xff0c;身边要么没人懂&#xff0c;要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型&#xff0c;几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻