【免费下载链接】ClawBenchOpen-source benchmark for browser AI agents on daily tasks.项目地址https://gitcode.com/gh_mirrors/cl/ClawBench点击查看免费下载ClawBench 是一个开源的浏览器 AI 智能体评测基准Benchmark它让 AI Agent 驱动真实浏览器在真实网站上完成点外卖、订旅行、投简历、写评论等日常任务并通过请求拦截 LLM 裁判给出 PASS/FAIL 评分。本教程将带你在 5 分钟内完成环境安装、模型配置并跑通你的第一个 ClawBench 评测任务 ClawBench 是什么适合谁上手ClawBench 的核心思路一句话概括给 AI 智能体一个真实网站任务看它能不能真正做完——而不是生成一段看起来对的回答。项目说明V1 任务集152 个日常任务覆盖 143 个真实网站test-cases/v1/V2 任务集129 个任务覆盖 63 个真实网站test-cases/v2/Lite 快速子集20 个精选任务新手首跑推荐test-cases/v1-lite/当前最佳成绩约 33.3%——最强的智能体也大约只能完成 1/3 的任务它特别适合三类人想评测自家模型浏览器能力的 AI 工程师、想研究 Agent Harness 的研究者以及所有好奇AI 到底能不能帮我点外卖的普通用户 跑通前的准备工作3 个环境依赖开始之前请确认本机已安装以下三项官方要求 Python 3.11Python 3.11 或更高版本uv—— 一个快速的 Python 包管理器容器引擎—— Docker 或 Podman 二选一ClawBench 会自动检测可用export CONTAINER_ENGINEdocker或podman强制指定 为什么需要容器每个任务都会在隔离容器里启动 Chromium 录屏 拦截器保证对真实网站的操作安全可回放也不会产生真实副作用。第一步安装 ClawBench约 1 分钟最简单的方式是从 PyPI 安装一条命令即可uv tool install clawbench-evalpipx install clawbench-eval或python -m pip install clawbench-eval同样有效。安装后会得到clawbench、clawbench-run、clawbench-batch、clawbench-rescore等命令完整清单见 docs/cli.md。如果你还想修改驱动、内置任务或容器构建建议改用源码方式git clone https://gitcode.com/gh_mirrors/cl/ClawBench cd ClawBench源码目录下执行 run.sh 即进入交互式 TUI等同于运行clawbench命令。第二步配置模型 API Key约 2 分钟评测需要两个模型被测模型驱动浏览器干活的和裁判模型打分用的。复制示例配置cp models/models.example.yaml models/models.yaml编辑 models/models.example.yaml 的模板结构填入你的 API Key例如your-model: api_key: sk-... base_url: https://your-api-host/v1 api_type: openai-completions # 裁判模型默认 deepseek-v4-pro与公开榜单保持一致 deepseek-v4-pro: api_key: sk-... base_url: https://your-api-host/v1 api_type: openai-completions⚠️ 新手小贴士如果暂时没有裁判模型 Key加--no-judge参数可跳过打分阶段只验证拦截结果流程同样能跑通。第三步跑通你的第一个任务约 2 分钟方式 A交互式 TUI推荐新手uv run clawbench进入引导式界面后按提示选择模型和测试用例即可界面会帮你处理所有细节。方式 B一条命令直接跑以 V1 的第 1 号任务为例——在 Uber Eats 点一份 Pad Thai 外卖并备注不要花生uv run clawbench-run test-cases/v1/001-daily-life-food-uber-eats your-model把your-model换成你在models.yaml里配置的模型 Key该任务的定义文件就是 test-cases/v1/001-daily-life-food-uber-eats/task.json打开看一眼就能理解任务结构instruction自然语言指令、eval_schema拦截的最终 HTTP 请求、time_limit30 分钟时限实时观看智能体操作 容器启动后终端会打印一个noVNC 地址如http://localhost:6080/vnc.html。打开它就能像看直播一样实时观看 AI 智能体在浏览器里搜索、填表、点击下单的全过程。结果去哪里看每次运行的产物都会写入./test-output/model/harness-case-model-timestamp/里面包含五层同步录制数据这是 ClawBench 的核心设计层级文件内容会话回放recording.mp4全程 MP4 录屏操作截图screenshots/*.png每个动作后的时间戳截图浏览器动作actions.jsonl点击、输入、滚动等全部 DOM 事件HTTP 流量requests.jsonl完整请求头、参数、Body智能体对话agent-messages.jsonl思考过程与工具调用全文评分是两阶段的详见 eval/scoring.md① 请求拦截器检查最终 HTTP 请求是否匹配任务的 URL/方法② LLM 裁判核对请求内容是否真正满足自然语言指令。两关都过才算 PASS。进阶批量跑完整套任务单任务跑通后试试批量评测 20 个精选任务的 Lite 子集test-cases/v1-lite/uv run clawbench-batch --models your-model --cases-suite v1-lite --all-cases常用参数--max-concurrent N控制并发本地默认 2--harness name更换智能体框架默认openclaw完整 harness 注册表见 src/clawbench/runtime/harnesses/harnesses.yaml。跑完还会生成batch-summary.json汇总结果。新手常见问题 FAQ ❓Q1第一次运行特别慢是卡住了吗不是。首次运行会构建容器镜像Chromium ffmpeg noVNC 智能体框架依赖终端有进度条显示构建步骤。后续运行复用缓存几秒就能启动。Q26080端口被占用打不开 noVNC不用担心ClawBench 会自动选择一个可用端口并打印新的 URL以终端输出为准。Q3评分失败提示 model not found说明裁判模型deepseek-v4-pro没有出现在你的models.yaml中。补上配置或改用--no-judge跳过打分。Q4Docker 用不了能用 Podman 吗可以。执行export CONTAINER_ENGINEpodman即可Podman 免 root 也能运行。想继续深入 中文完整文档docs/README.zh-CN.md 全部 CLI 命令与参数docs/cli.md 任务集与 Schematest-cases/task.schema.json️ 评测流程与五层录制eval/README.md遇到问题加入 ClawBench 中文社区微信群与研究者、开发者和贡献者一起交流写在最后至此你已经在 5 分钟左右的时间内走完了 ClawBench 新手入门的完整路径安装 → 配置模型 → 跑通第一个任务 → 看懂五层录制与两阶段评分。下一步不妨换一台更挑剔的模型或者把 Lite 子集换成完整的 V1/V2 任务集看看你的智能体究竟能完成多少日常任务吧赞分享【免费下载链接】ClawBenchOpen-source benchmark for browser AI agents on daily tasks.项目地址https://gitcode.com/gh_mirrors/cl/ClawBench点击查看免费下载相关推荐如何快速上手AgentBench5分钟完成第一个智能体评估任务如何快速上手AgentBench5分钟完成第一个智能体评估任务 AgentBench是一个全面的智能体评估基准专门用于评估大语言模型作为智能体在各种环境中的Dext插件生态全解析从GitHub搜索到系统监控15款实用插件推荐Dext插件生态全解析从GitHub搜索到系统监控15款实用插件推荐 Dext是一款由JavaScript驱动的智能启动器通过插件扩展能够实现从GitHu10分钟跑通你的第一个机器人任务RPent具身智能框架快速上手教程10分钟跑通你的第一个机器人任务RPent具身智能框架快速上手教程 RPentRecursive Physical Agent是一个开源的 具身智能框架上一篇Compiler Explorer 集成 IAR EWAVR 编译器Linux Docker 与 Windows 双平台部署实战指南下一篇react-admin 的 BooleanInput用开关组件编辑布尔字段的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考