【免费下载链接】skillPinchBench is a benchmarking system for evaluating LLM models as OpenClaw coding agents. Made with by the humans at https://kilo.ai项目地址https://gitcode.com/gh_mirrors/skill1/skill点击查看免费下载PinchBench 是一个用于评估 LLM 模型作为 OpenClaw coding agent 表现的基准测试系统仓库直接提供了官方 Runner 镜像Dockerfile.benchmark预装好 OpenClaw 和全部依赖让你用 Docker 一条命令跑起基准测试并轻松接入 CI 流水线。本文是面向新手的 Docker 部署与 CI 集成完整指南。为什么用 Docker 部署 PinchBench在本地裸机运行基准测试需要手动准备 Python 3.10、uv包管理器、Node 环境和 OpenClaw步骤繁琐且容易版本冲突。官方 Runner 镜像把这些工作全部封装好了✅环境一致同一镜像在本地、CI 中行为完全一致结果可复现✅开箱即用镜像内已全局安装 OpenClaw无需额外配置✅隔离干净每个测试任务都在独立会话中执行互不污染快速开始构建并运行 PinchBench Runner 镜像第 1 步获取仓库git clone https://gitcode.com/gh_mirrors/skill1/skill cd skill第 2 步构建镜像Dockerfile.benchmark 位于仓库根目录docker build -f Dockerfile.benchmark -t pinchbench-runner .第 3 步容器内跑通第一个基准测试docker run --rm -it \ -e OPENROUTER_API_KEYyour_key \ -v $(pwd):/workspace \ pinchbench-runner \ cd /workspace ./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4 --no-upload看到Ready for benchmarks的启动提示后镜像即宣告就绪。scripts/run.sh 只是 scripts/benchmark.py 的便捷封装最终用uv执行真正的基准编排逻辑。Dockerfile 逐层解读Runner 镜像里装了什么官方镜像基于node:22-bookworm逐层安装了基准测试所需的全部组件层内容用途基础镜像node:22-bookworm提供 Node 22 运行时OpenClaw 依赖 Node系统依赖python3、git、curl、jqPython 运行环境 JSON 结果解析包管理器uvPinchBench 用uv run管理 Python 依赖Agent 框架npm install -g openclaw全局安装 OpenClaw agent 运行时工作目录WORKDIR /workspace挂载仓库代码的入口配置目录/root/.openclaw预创建 OpenClaw 配置目录镜像默认ENTRYPOINT为/bin/bash -cCMD是版本自检命令openclaw --version方便你在 CI 里先跑一次冒烟检查。所有构建细节见 Dockerfile.benchmark。关键环境变量配置清单基准测试需要模型 API Key镜像本身不内置任何密钥需通过-e或.env注入。根据被测/评判模型的提供方前缀选择对应变量参见 lib_agent.py环境变量何时需要OPENROUTER_API_KEY使用openrouter/前缀模型时默认路由方式OPENAI_API_KEY评判模型走openai/直连 APIANTHROPIC_API_KEY评判模型走anthropic/直连 APIKILO_API_KEY评判模型走kilo/网关OPENCLAW_PATH自定义 OpenClaw 可执行文件路径PINCHBENCH_OFFICIAL_KEY标记提交为官方结果可选CI 安全提示密钥一律通过 CI 平台的 Secrets 机制注入切勿写进镜像或提交到仓库。在 CI 中集成基准测试推荐的 GitHub Actions 流水线将镜像推送到镜像仓库后一条 workflow 即可完成「构建镜像 → 冒烟检查 → 跑基准 → 归档结果」name: PinchBench on: push: branches: [main] workflow_dispatch: jobs: benchmark: runs-on: ubuntu-latest steps: - uses: actions/checkoutv4 - name: Smoke test run: docker run --rm pinchbench-runner - name: Run PinchBench run: docker run --rm -e OPENROUTER_API_KEY${{ secrets.OPENROUTER_API_KEY }} -v ${{ github.workspace }}/results:/workspace/results pinchbench-runner cd /workspace ./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4 --suite automated-only --output-dir results - name: Upload results if: always() uses: actions/upload-artifactv4 with: name: pinchbench-results path: results/三个要点--suite automated-onlyCI 中先跑自动评分任务速度快、无 LLM 评判成本适合回归门禁-v挂载 results 目录结果 JSON 和会话转录*_transcripts/落盘到宿主机再上传为 artifact 留档if: always()即使基准失败也归档结果便于定位问题结果解读小技巧运行结束后用jq快速查看分数分布# 查看各任务平均分 jq .tasks[] | {task_id, score: .grading.mean} results/*.json # 找出得分低于 0.5 的失败任务 jq .tasks[] | select(.grading.mean 0.5) results/*.json参考仓库中的 CI 调试案例仓库自带一个典型的 CI 排障任务素材 assets/broken_ci.yml对应任务 tasks/task_cicd_pipeline_debug.md其中包含 runner 标签拼写错误、矩阵条件字符串比较、artifact 下载缺失、secret 双重暴露等四类常见 CI 陷阱。在给自己的 PinchBench 流水线排错时这份文件是很好的对照清单。常见问题排查症状原因与解法OPENROUTER_API_KEY not set未注入环境变量确认-e OPENROUTER_API_KEY...或 CI secrets 配置正确openclaw: command not found镜像构建时npm install -g openclaw失败重新构建并检查构建日志模型 ID 报错模型名必须带提供方前缀如openrouter/anthropic/claude-sonnet-4CI 中结果丢失忘记挂载 results 卷加-v $PWD/results:/workspace/results慢模型超时加--timeout-multiplier 2放大超时时间总结用 Dockerfile.benchmark 构建pinchbench-runner镜像一次性解决 OpenClaw、uv、Python 依赖等环境问题通过 scripts/run.sh 进入容器执行基准测试用-v挂载结果目录持久化输出CI 中推荐--suite automated-only做回归门禁结果以 artifact 归档密钥走平台 Secrets任务清单见 tasks/manifest.yaml当前基准版本为 2.0.0BENCHMARK_VERSION项目采用 MIT 协议LICENSE按以上步骤走一遍你的 PinchBench 基准测试就能稳定跑在任意 Docker 环境或 CI 流水线里了 赞分享【免费下载链接】skillPinchBench is a benchmarking system for evaluating LLM models as OpenClaw coding agents. Made with by the humans at https://kilo.ai项目地址https://gitcode.com/gh_mirrors/skill1/skill点击查看免费下载相关推荐Zipkin Docker 镜像完全指南生产镜像、docker-compose 部署与配置实战Zipkin Docker 镜像完全指南生产镜像、docker compose 部署与配置实战 导读 本文以 Zipkin 仓库 docker/README.可观测性后端微服务Laravel Lang与GitLab CI集成自动化测试与部署配置Laravel Lang与GitLab CI集成自动化测试与部署配置 你还在手动测试多语言文件兼容性还在为版本迭代时的部署流程繁琐而烦恼本文将带你一文搞定后端Bonita Docker 官方镜像实战指南快速部署、PostgreSQL 集成与生产级配置Bonita Docker 官方镜像实战指南快速部署、PostgreSQL 集成与生产级配置 本篇指南以 Docker Official Images 仓库中文档创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考