告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度1. 目标与产物在 OpenHands 里跑通 SWE-bench Verified 的 5 个实例本文是一篇 Agent 实战记录目标很具体用 OpenHands 作为执行框架用 TaoToken 作为模型供应商跑通 SWE-bench Verified 中抽取的 5 个实例并记录通过率与失败模式。TaoToken 在这里承担的角色是统一模型入口——通过环境变量把 Key 和 Base URL 注入 OpenHands让 Agent 的每一次推理请求都走同一个通道。如果你还没注册可以从官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 进入API 地址固定为 https://taotoken.net/api不需要额外拼接路径。需要提前说明的是本文不包含任何排行分数也不对 SWE-bench Verified 的官方榜单做复述。我们只记录本地这一次 5 实例小样本的可复现结果样本量小不能外推为模型能力结论。产物包括三样一份可复制的 OpenHands 启动命令、一份环境变量配置清单、一份运行日志摘要含每个实例的通过/失败与失败原因归类。读者需要具备的基础一台能跑 Docker 的 Linux 机器或 macOS Docker Desktop、Python 3.10、以及一个可用的 TaoToken API Key。SWE-bench Verified 的实例来自官方数据集我们只取其中 5 个避免一次跑全量带来的时间成本。2. 操作步骤环境准备、数据抽取与 OpenHands 启动2.1 安装与依赖先准备 Python 环境。OpenHands 官方推荐用容器化方式运行但为了看清配置变量我们这里用 pip 安装的方式做演示容器方式在 2.4 节给出。python -m venv venv source venv/bin/activate pip install --upgrade pip pip install openhands-ai datasetsdatasets用来拉取 SWE-bench Verified 数据集。如果你所在网络访问 HuggingFace 较慢可以先用镜像或提前下载但本文不展开网络加速话题。2.2 抽取 5 个实例SWE-bench Verified 的实例字段包含instance_id、repo、base_commit、problem_statement、patch、test_patch等。我们写一个小脚本固定随机种子抽 5 个保证可复现。# sample_instances.py import json from datasets import load_dataset ds load_dataset(princeton-nlp/SWE-bench_Verified, splittest) ds ds.shuffle(seed42) subset ds.select(range(5)) with open(instances_5.jsonl, w, encodingutf-8) as f: for row in subset: f.write(json.dumps({ instance_id: row[instance_id], repo: row[repo], base_commit: row[base_commit], problem_statement: row[problem_statement], }, ensure_asciiFalse) \n) print(saved:, [r[instance_id] for r in subset])运行后会得到instances_5.jsonl。注意这里只保留问题描述和仓库信息patch与test_patch不喂给 Agent否则等于泄题。2.3 配置 TaoToken 环境变量OpenHands 读取模型配置的方式是环境变量加配置文件。核心变量是LLM_API_KEY、LLM_BASE_URL、LLM_MODEL。把 TaoToken 的 Key 和 Base URL 填进去export LLM_API_KEYsk-your-taotoken-key export LLM_BASE_URLhttps://taotoken.net/api export LLM_MODELclaude-sonnet-4-20250514如果你用的是 Claude Code 风格的配置对应的是settings.json里的ANTHROPIC_API_KEY与ANTHROPIC_BASE_URLCodex 风格则写进config.toml。OpenHands 自身走的是LLM_*前缀不要混用。Key 的创建入口在控制台的 API Keys 页面具体路径可以从官网导航进入。2.4 启动 OpenHands容器方式启动命令如下把环境变量透传进去docker run -it --rm \ --pullalways \ -e SANDBOX_RUNTIME_CONTAINER_IMAGEdocker.all-hands.dev/all-hands-ai/runtime:0.20-nikolaik \ -e LOG_ALL_EVENTStrue \ -e LLM_API_KEY$LLM_API_KEY \ -e LLM_BASE_URL$LLM_BASE_URL \ -e LLM_MODEL$LLM_MODEL \ -v /var/run/docker.sock:/var/run/docker.sock \ -v ~/.openhands-state:/.openhands-state \ -p 3000:3000 \ --add-host host.docker.internal:host-gateway \ docker.all-hands.dev/all-hands-ai/openhands:0.20启动后浏览器打开http://localhost:3000在设置页确认模型供应商显示为自定义 Base URL且指向https://taotoken.net/api。这一步是验证配置是否生效的关键如果 Base URL 没被读取请求会打到默认端点表现为鉴权失败或模型不存在。2.5 批量驱动 5 个实例OpenHands 有 headless 模式可以用脚本逐个喂 problem_statement。下面是一个简化驱动脚本把每个实例的问题描述作为任务输入收集最终输出与退出状态# run_instances.py import json, subprocess, time results [] with open(instances_5.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) task f仓库 {item[repo]}基线提交 {item[base_commit]}。\n问题{item[problem_statement]}\n请定位并修复。 start time.time() proc subprocess.run( [python, -m, openhands.core.main, --task, task], capture_outputTrue, textTrue, timeout1800 ) results.append({ instance_id: item[instance_id], returncode: proc.returncode, elapsed: round(time.time() - start, 1), stdout_tail: proc.stdout[-500:], }) with open(run_results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(done)实际跑的时候每个实例的耗时差异很大简单问题几分钟复杂仓库可能十几分钟。建议先跑 1 个验证链路再放开 5 个。3. TaoToken 接入与配置要点TaoToken 在 OpenHands 里的接入点只有一个模型供应商的 Base URL 与 Key。它不改变 OpenHands 的 Agent 逻辑也不介入沙箱执行只负责把推理请求转发到后端模型。因此配置正确与否直接决定 Agent 能不能启动。几个容易踩的点第一Base URL 必须写https://taotoken.net/api不要自己补/v1或/chat/completions。OpenHands 内部会按供应商协议拼接路径多写一段会 404。第二模型 ID 要写完整。不同后端对模型名的要求不同写错会返回模型不存在。具体可用模型列表以官网文档为准本文不列固定清单因为模型上下线是动态的。第三Key 的权限。如果 Key 绑定了额度或模型白名单超出范围会返回 403 而不是 401排障时要区分。第四环境变量优先级。OpenHands 的配置文件如果同时存在环境变量通常覆盖文件配置。建议只保留一处避免调试时互相干扰。如果你同时用 Claude Code 或 Codex可以用 CC Switch 三件套统一管理多套配置避免 Key 散落在多个文件里。接入文档里有各客户端的字段对照表排障时对照着看比盲猜快。4. 可验证结果与失败分支4.1 本次 5 实例结果下面是本次运行的本地记录。样本量 5仅代表这一次运行不构成模型能力结论。instance_id结果耗时(秒)失败模式归类实例A通过412—实例B失败903定位错误文件未触及真实缺陷实例C通过655—实例D失败1201修改引入回归测试未通过实例E失败388提前终止未提交补丁本地通过率 2/5。再次强调这是小样本单次结果本文不含排行分数也不与任何公开榜单做对比。4.2 失败分支与排查失败模式主要三类。第一类是定位偏差Agent 读了相关文件但选错了修改点常见于跨模块调用链较长的仓库。第二类是回归补丁本身语法正确但破坏了既有测试。第三类是提前终止Agent 在达到步数上限或超时前没有产出补丁。对应的排查动作定位偏差在任务描述里补充复现命令和报错栈缩小搜索空间。回归让 Agent 在提交前跑一次相关测试文件把测试结果纳入决策。提前终止调大max_iterations或单实例超时同时检查是否因模型返回被截断导致循环。如果请求层面报错先看返回码。401 多为 Key 无效或未透传404 多为 Base URL 拼错429 为限流需要退避重试。这些都属于接入层问题与 Agent 逻辑无关。4.3 日志摘要一次典型运行的日志尾部大致如下已脱敏[INFO] LLM provider: custom, base_urlhttps://taotoken.net/api [INFO] Task started: instance_id实例C [INFO] Step 12: edit_file src/.../parser.py [INFO] Step 18: run_tests pytest tests/test_parser.py [INFO] Tests passed: 7 passed [INFO] Task finished, patch generated看到base_url指向 TaoToken说明配置生效看到Tests passed说明补丁至少没破坏该测试文件。这两行是判断链路是否健康的最快信号。5. 限制、成本与模型选择先说限制。SWE-bench Verified 的实例来自真实仓库环境依赖复杂本地复现时经常卡在依赖安装而非模型推理。5 个实例的通过率波动极大换一批实例结果可能完全不同所以不要把本文数字当作稳定指标。OpenHands 的沙箱执行也会消耗本机资源长时间批量跑要注意磁盘和内存。再说成本。成本由两部分构成模型推理的 token 费用以及本地跑沙箱的机器成本。token 费用取决于你选的模型和每个实例的交互轮数轮数又和问题难度强相关。TaoToken 的计费口径以官网标价为准第三方榜单上标注的价格不等于 TaoToken 的售价两者不要混用。HuggingFace 上的下载量或热度是热度指标不是跑分也不能用来推断模型在 SWE-bench 上的表现。模型选择上建议按任务复杂度分档简单定位类任务用轻量模型控制成本跨模块重构类任务用能力更强的模型减少无效轮数。具体哪些模型可用、各自的价格与上下文长度以官网文档的实时信息为准本文不写死版本号因为模型迭代快写死的清单很快会过期。最后给一个分流建议如果你主要做 Benchmark 复现和单次评测从模型对话入口开始试如果是 Agent 长期开发、需要稳定跑批量任务看 Coding Plan如果是接入排障、插件配置这类问题直接查 API Keys 页面和接入文档比在首页翻找快。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end API 地址是 https://taotoken.net/api 两个地址分工不同配置时别填错。 告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度