DeepSeek Harness vs opencode接入第三方模型后谁更聪明分析日期2026-10本地拉取源码 全网评测数据交叉验证源码版本deepseek-harnessv0.2.1-alpha.2末次提交 2026-10-09opencodev2.0.27末次提交 2026-10-13两仓库均已git clone到本目录deepseek-harness/、opencode/一句话结论接第三方模型后谁更聪明没有普适答案——公开数据一致显示harness 的收益是逐模型的同一个 harness 对某些模型是放大器对另一些等于没装。在这个前提下两者的差异非常清晰opencodeDeepSeek Harness (DSH)适配哲学逐模型定制按模型换提示词、换工具、调参数模型无关 能力声明一套提示词机制层补偿开箱即用接国产/开源/本地模型开箱更聪明需要自己写compat配置调优上限更高成熟度v2.0.27 稳定版生态大developer previewalpha破坏性变更体量35 个 provider 插件 49 个协议实现 5.3MB 模型目录 15 个内置工具pi-ai 目录 3 种自定义协议 67 个唯一工具如果只问我接个 GLM / Kimi / MiniMax / 本地 vLLM谁立刻更聪明→ opencode。如果问我愿意调谁的天花板更高、机制更能救弱模型→ DSH。选型建议场景选接 GLM / Kimi / MiniMax / Qwen / DeepSeek 开源权重开箱即用opencode逐模型提示词 逐模型工具形状 逐模型思考参数都是现成的目录覆盖广本地模型Ollama / LM Studio / vLLM / llama.cppopencode4 个本地 provider 插件开箱DSH 走自定义端点手写compat接 GPT-5.x 做长任务、在意每美元得分DSH53.8 分 / 0.30 美元每任务 / 3.98 分钟公开数据里最优组合接 ClaudeAPI key 按量opencodeedit路径 Claude 风格提示词生态成熟DSH 无 Claude 专属提示词长程自主任务、多 agent 编排、需要目标续跑/定时/团队DSHgoal / workflow / agent-team / schedule / ralph 是 opencode 没有的数据重、想让模型写代码调工具两者都有要满格语言用DSH PTC要强隔离用opencode codemode生产可用、要稳定opencodev2.0.27DSH 是 alpha二次开发 / 换 loop / 换 UI / 换记忆层DSH一切皆插件agent loop 可整体替换1. 决定性证据harness 收益是逐模型的1.1 WildClawBench 官方 harness 对比表同模型换 harness来源internlm.github.io/WildClawBench上海智lab 司南体系60 项真实环境长程任务。表内加粗 该模型最优 harness每格为「耗时分钟 / 美元每任务 / 得分」模型OpenClawClaude CodeCodexHermes AgentGPT-5.45.83 / 0.33 / 50.3%9.07 / 0.61 / 48.4%7.16 / 0.57 / 56.8%8.97 / 0.44 / 50.7%GLM 56.22 / 0.19 / 42.6%10.18 / 0.21 / 31.0%7.84 / 0.13 / 38.9%6.62 / 0.44 / 46.4%MiMo V2 Pro7.63 / 0.44 / 40.2%9.90 / 0.15 / 29.9%6.44 / 0.15 / 35.3%8.30 / 0.26 / 48.1%MiniMax M2.79.18 / 0.12 / 33.8%10.08 / 0.09 / 32.0%8.66 / 0.06 / 35.8%10.30 / 0.11 / 37.1%三个可直接读出的事实没有跨模型最优 harnessGPT-5.4 最优是 CodexGLM 5 与 MiMo 最优是 HermesMiniMax 最优是 Codex。第一方 harness 对开源模型是负资产Claude Code 在 GLM 5 上只有 31.0%比 OpenClaw 的 42.6% 低11.6 分在 MiMo V2 Pro 上 29.9% vs 40.2%。成本与得分不成正比Claude Code 每任务最贵开源模型上得分最低。1.2 DSH 的 60 任务三维评测能力 / 成本 / 耗时来源dshbase 对 WildClawBench DSH 场次的解读。同模型换 harnessDSH vs OpenClawDSH 给 DeepSeek V4 Pro 带来小幅提分成本下降约 50%耗时仅 4.2%整组 60 任务调用成本约 6 美元 vs 12 美元单位成本得分从约 218 分/美元提升到约 450 分/美元106%。跨模型适配DSH 搭载不同第三方模型——这是最关键的一段第三方模型 DSH结果GPT-5.4全场最佳 53.8 分成本最低 0.30 美元/任务−9.1%平均 3.98 分钟最快Qwen3.5 397B得分、成本、耗时三项同时改善协同效应明显DeepSeek V4 Pro45.0 分小幅提分 显著降本Grok 4.20 Beta得分增幅最大但耗时接近翻倍、成本更高GLM 5 / MiniMax M2.7暂无明确综合优势GLM 5 单任务平均 10.60 分钟最慢报告原话直接回答用户的问题模型响应延迟、工具调用策略、失败重试、上下文压缩和任务终止判断都会影响耗时——这些机制目前还无法跨模型平滑迁移。同一 Harness 对部分模型是放大器对另一些等于没装。任务规划、提示模板、工具协议仍需按模型特点调优。1.3 同模型跨 harness 的量化差距其他来源Terminal-Bench 2.1tbench.aiClaude Opus 4.6 Claude Code 70.1%同一模型 Terminus 2通用参考实现63.8%。同模型差6.3 分。Harness-BencharXiv:2605.279225,194 次 model×harness 组合运行完成率与失败模式因组合显著不同。三 harness 同模型实测Classmethod DevelopersIO三者接同一 OpenAI 兼容端点、底层同一 DeepSeek V4 Flash做同一个 Python CLI 修复任务opencodepiDeepSeek Harness是否完成✅✅✅耗时68s45s71s模型请求数19613工具调用19714首次请求输入 token8,0841,7447,626总输入 token含缓存读238,85619,899148,638新增测试 / 结果8 / 8 通过6 / 6 通过8 / 8 通过三家都完成任务差别在开销opencode 前导最重首包 8k tokenDSH 居中7.6kpi 最轻1.7k总输入 token 上 opencode 约为 pi 的12 倍。接本地模型时这直接变成每次请求的 prefill 时间。该文的独立发现与我从源码读到的完全一致DSH 的多 provider 层就是 pi 的包见 §2.1。2. 模型接入层两条完全相反的路2.1 DSH把协议层外包给 pi-ai自己做能力声明与机制DSH 的packages/llm/只有 8 个包其中第三方模型接入全靠一个packages/llm/llm-pi-ai/package.json 依赖earendil-works/pi-ai: ^1.0.2pi 作者 Mario Zechner 的模型抽象库。packages/llm/llm-pi-ai/src/catalog.ts 第 14 行import { builtinProviders, getAllBuiltinModels, getBuiltinModels } from earendil-works/pi-ai/providers/all——模型目录直接继承 pi-ai 的内置目录DSH 不维护自己的模型清单。其余是 DeepSeek 自己的直连适配器llm-deepseek/llm-deepseek-account/llm-deepseek-api-key。DSH 自己加的东西llm-pi-ai/README.md能力说明3 种自定义协议openai-completions/openai-responses/anthropic-messagesproviders.md:23端点模型发现OpenAI 系GET {baseURL}/modelsAnthropic 原生GET /v1/models?limit1000README:115compat开关逐路由/逐模型改请求system prompt 放哪个角色、哪个字段限输出、thinking 等级怎么传thinkingFormat: deepseek、thinkingTokenBudgetField、vllmPriority、supportsMaxOutputTokensreasoningEfforts等级 → wire 拼写映射如max: ultramodelOverrides改一个目录内模型保留其余 37 个兜底容量defaultContextWindow: 262144、defaultMaxTokens: 32768重试retryPolicy默认 normal 5 次由dsh-llm-retry执行限制providers.md:19Providers that sign in with OAuth, such as Codex, are not supported here yet.即 GitHub Copilot / ChatGPT-Codex 这类 OAuth 登录目前接不了。2.2 opencode自建全套协议层 远程模型目录49 个协议实现opencode/packages/ai/src/protocols/ ——openai-chat、openai-responses、openai-compatible-chat/responses、anthropic-messages、gemini、google-interactions、bedrock-converse、bedrock-event-stream、zai-chat/messages、mistral-chat、cohere-chat、venice-chat、xai-responses、meta-messages、alibaba-chat/messages/responses……还含图像/语音/视频生成协议。35 个 provider 插件packages/core/src/plugin/provider/ —— 含ollama.ts、lmstudio.ts、vllm.ts、local.ts本地模型开箱支持、openrouter、bedrock、azure、google-vertex、github-copilot、gitlab、nvidia、cerebras、xai、perplexity、vercel、snowflake-cortex、databricks等。模型目录models.dev 目录打包进 5.3MB 快照packages/core/src/models-dev/snapshot.txt5,373,087 字节作为离线兜底运行时从https://models.opencode.ai/api.json刷新packages/core/src/models-dev.ts。逐 provider 补丁插件github-copilot.ts、amazon-bedrock.ts、google-vertex.ts、databricks.ts、neon.ts会修正 models.dev 的元数据。小结opencode 的接入面明显更宽协议数、provider 数、模型目录规模、本地模型开箱DSH 的接入面 pi-ai 目录 3 协议 声明式 compat广度靠依赖深度靠配置。3. 核心分歧opencode 逐模型定制DSH 一套通吃这是回答谁更聪明最关键的一节。3.1 opencode 做了三件逐模型的事(a) 逐模型系统提示词—— packages/core/src/plugin/optimize.ts// optimize.ts:16-27exportconstOpenAIPluginmake(opencode.prompt.openai,(model){constidmodel.id.toLowerCase()if(!id.includes(gpt))returnundefinedreturnid.includes(astra)?PROMPT_ASTRA:PROMPT_GPT})exportconstAnthropicPluginmake(opencode.prompt.anthropic,(model){constidmodel.id.toLowerCase()if(!id.includes(claude))returnundefinedreturnPROMPT_ANTHROPIC},append)// :51-60 kimi / trinity(arcee) / meta(muse) 各自独立提示词提示词文件清单system-prompt/文件大小匹配规则风格anthropic.txt300 Bid 含claudeappend 追加极短只补注释密度规则gpt.txt2.6 KBid 含gpt“Prefer parallelizing independent tool calls”gpt-astra.txt3.8 KBid 含gptastra独立变体kimi.txt8.7 KBid 含kimi完整重写“default to taking action with tools”meta.txt7.9 KBid 含muse带{{MODEL_NAME}}插值trinity.txt7.7 KBid 含trinityCLI 语气约束(b) 逐模型切换编辑工具—— packages/core/src/tool/plugin/patch.ts:296-306constusePatchevent.model.id.includes(gpt-)!event.model.id.includes(oss)!event.model.id.includes(gpt-4)if(usePatch){deleteevent.tools.editdeleteevent.tools.writereturn}deleteevent.tools.patch这是教科书级的 model-harness-fit 工程GPT 系列在apply_patch语料上后训练过opencode 就给它们patch其余模型给editwriteClaude Code 风格。© 逐模型思考参数拼写—— packages/core/src/variant.ts633 行摘录同一文件里逐 provider × 逐模型的分支// :57-68 解析 Claude 家族与版本号决定 manual / adaptive thinkingconstfamilyFirst/(?:claude-)?(opus|sonnet|haiku|fable|mythos)-(\d)(?:[.-](\d))?/i.exec(id)manual:(major3minor7)||(major4minor6)// :82-90 Vertex MaaSDeepSeek 用 thinkingGLM/Gemma 用 enable_thinkingconstkeymodelID(model).toLowerCase().includes(deepseek)?thinking:enable_thinking// :135-171 NVIDIA 路由逐模型if(id.includes(deepseek-v4))…if(id.includes(kimi-k2.6)||id.includes(kimi-k2-6))returnnvidiaToggle(thinking)if(id.includes(kimi-k3))…if(id.includes(minimax-m3))returntoggle(nvidiaTemplate({thinking_mode:disabled}),…)if(id.includes(glm))returntoggle(nvidiaTemplate({enable_thinking:false}),nvidiaTemplate({enable_thinking:true,clear_thinking:false}))consttoggleOnlyid.includes(qwen)||id.includes(gemma)||id.includes(nemotron)// :31-32 阿里思考预算封顶 64k不用模型全部输出上限constALIBABA_THINKING_BUDGET_MAX64_000外加逐模型工具裁剪OpenAIToolsPlugin/AnthropicToolsPlugin删grep/glob目前因 UX 原因禁用、逐 provider 压缩策略chatgpt.ts:294设compaction: { type: summary }、原生压缩compaction.ts:213context.model.compaction?.type native走 provider 自带压缩 API。3.2 DSH 的对应做法一套提示词 逐模型上下文预算DSH 的提示词是单一模型无关的插件化拼装packages/core/system-prompt/src/index.ts29 KB里没有任何模型家族分支grepmodel|provider44 处命中全是 provider 注册表语义无提示词分支。它的机制是system-prompt/README.md固定开场白You are an AI agent powered by DeepSeek Harness.order −1000插件按order注册 section{{provider}}/{{model}}变量在每次装配时解析personaPrefix/personaSuffix部署级改写agent 级 section 可遮蔽全局toolOrder显式控制模型可见工具顺序极简预设提示词固定为一句话You are a helpful software engineer assistant.apps/cli/reference/README.md:133DSH 的逐模型调优发生在上下文预算层不是提示词层 —— packages/compaction/compaction-basic/src/types.ts/** Policy fields shared by the default policy and exact model overrides. */thresholdRatio?:numbersummarizationProvider?:string// 摘要可用更便宜/更强的模型summarizationModel?:string/** Exact provider/model overrides; duplicate targets fail plugin load. */modelPolicies?:ModelCompactPolicyConfig[]即可以按 provider/model 精确设定压缩阈值、保留尾部比例、指定摘要模型。压缩前先跑「无模型」的工具结果裁剪compaction-tool-result-pruner再跑 LLM 摘要index.ts:321-327—— 对贵/慢模型很实用。3.3 这张表就是答案逐模型工程opencodeDSH系统提示词按模型换✅ 6 个变体kimi 8.7KB / gpt / meta / trinity / astra / anthropic❌ 单一提示词工具集按模型裁剪✅gpt-*用 patch其余用 edit(grep/glob 裁剪暂禁用)⚠️ 只有toolOrder排序 工具可见性限制思考参数逐模型拼写✅ 633 行variant.ts逐 provider × 逐模型⚠️ 声明式compatreasoningEfforts由用户写配置上下文预算逐模型✅ 按model.limit算 ceiling 逐 provider 压缩类型✅modelPolicies逐 provider/model 精确覆盖弱模型容错✅ 摘要模板不合规时发修复提示重问compaction.ts:179✅ 死循环提醒thresholds: [3,5,8]guard/repeat-tool-reminder模型目录5.3MB 打包快照 远程刷新继承 pi-ai 内置目录结论opencode 把模型差异写进代码DSH 把模型差异交给配置和机制。接第三方模型时opencode 的现成收益更多DSH 的收益要靠你自己配compat才能兑现。4. 机制层DSH 更能救弱模型的地方DSH 的工具目录有72 节 / 67 个唯一工具docs/tool-catalog.mdopencode 内置工具插件15 个packages/core/src/tool/plugin/editpatchreadwriteshellglobgrepsubagentskillwebfetchwebsearchquestionmcp-resourceopencodefile-diff辅助。DSH 多出的这些机制本质都是用脚手架补模型能力DSH 机制补什么PTC / code-modepackages/ptc-runtimeDSH_TOOLS_MODEnative|ptc模型写一个程序把宿主工具当 async 函数调只回传打印与返回值 → 大幅降低工具结果往返 tokengoal 自动续跑packages/goalcreate_goal/update_goal 轮次上限 blocked判定弱模型容易中途忘了目标就停ralph 循环packages/experimental/tool-ralph循环跑到完成repeat-tool-reminderpackages/guard/repeat-tool-reminder精确重复同一工具同参数时在 3/5/8 次提醒换思路——弱模型典型死循环subagent / workflow / agent-teamspawn_teammate、team_task_*、workflow脚本编排支持逐 agent 覆盖 provider/model把难任务拆给更强模型杂活给便宜模型schedule定时跟进、plan mode、todo、deliverables/present长任务结构session_search / session_trace / session_event_*让模型回看历史缓解长程遗忘cordis_inspect_/ plugin_manager*运行时自我修改opencode 无对应computer-use / browser-usestagehand_*图形界面任务opencode 的对应强项opencode 机制说明codemodepackages/codemode纯 JS 解释器不沙箱化任意 JS只跑实现的语言特性程序无法碰网络/文件系统/进程只能调宿主工具。带 56KB 语言支持清单 test262 同步脚本LSP 集成开箱多模态生成协议图像/语音/视频协议实现DSH 无原生 provider 压缩支持时直接用 provider 的 compaction API多客户端TUI / Desktop / IDE / 云端Zen / Black / Go 三档订阅Go 专供开源权重模型逐 agent 模型build/plan/explore/title/summary/compaction各自可指定模型plugin/agent.ts:98-134PTC 的实现路线差异值得单独记DSH 跑真实 Node/CPython 进程能力满格能装 npm/pandas依赖 OS 沙箱opencode 跑自研纯解释器隔离更强、确定性、跨平台代价是语言覆盖有限不支持语法报UnsupportedSyntax。5. 工程成熟度与生态维度opencodeDSH版本2.0.27稳定 v20.2.1-alpha.2README 明写 “THERE WILL BE COMPATIBILITY-BREAKING CHANGES”提交节奏50 次提交跨约 1 天50 次提交集中在 1 天架构Effect 生态 Drizzle/SQLite client/serverCordis 依赖注入有 arXiv 论文支撑时空可组合性范式一切皆插件300deepseek-ai包测试大量 provider 协议测试packages/ai/test/provider/*逐协议 fixture100% 单文件覆盖率 CI 门槛 录制会话回放快照test:snapshot无需 key文档多语言 README19 种、docs 站中英双语文档有字数预算门禁与分层规范docs/AGENTS.md扩展plugin / MCP / agents / skillsplugin / MCP / skills 加载 Claude Code 与 Codex 的hooks.json的兼容插件效果评测仓库内STATS.md是下载量统计非效果评测packages/simulation无 READMEBENCHMARK.md只有 3 行指向 Python SDK 跑外部基准benchmarks/全是工程性能门禁会话打开、流重连、长会话投影两边仓库内都没有公开的模型智力评测数据。效果数据全在外部WildClawBench / Terminal-Bench / Harness-Bench。6. 必须提醒的风险接第三方模型时尤其相关6.1 DSH 默认上传会话日志apps/cli/reference/README.md:139 原文The [DeepSeek session-log contributor]sends complete unaccepted log suffixes with subsequent DeepSeek requests by default, including requests sent through configured gateways; turn offSettings → General → Upload Session Log when using the official model APIin Web, or set itsenabledconfiguration tofalseto opt out.三条要点session-log-deepseek默认开启会把完整会话日志后缀随后续请求发出包括经你配置的第三方网关转发的请求。OTel 会话上传默认FEEDBACK_ONLY对所有用户和所有 provider 生效导出内容可含消息文本、工具参数与结果、工作区路径。脱敏默认没有规则docs/subsystems/session-telemetry.md:144 —— “The seam ships NO rules of its own: with no listener mounted, records reach the backend exactly as captured”脱敏由部署方自己挂 waterfall。关闭方式DSH_TELEMETRY_MODEDISABLED 把session-log-deepseek的enabled设为false。opencode 核心代码里没有对应的厂商会话上传路径grep 无结果。6.2 Anthropic 已封订阅 OAuth 走第三方 harness2026-01-09 Anthropic 服务端封禁 Claude Pro/Max 订阅 OAuth token 供第三方工具使用2 月官方文档明确第三方必须用 Claude Console 的 API key。按量付费 API key 仍可用。OpenAI 方向相反公开允许 pi / opencode 使用 ChatGPT 订阅并称两者各占 Codex 流量 5%。→ 想在 DSH/opencode 上用 Claude 的订阅价是不行的用 API key 可以。DSH 目前连 Codex 的 OAuth 登录都不支持。6.3 前导 token 重量opencode 首包 8,084 token、DSH 7,626 tokenpi 仅 1,744。接本地模型时这是每次请求的 prefill 成本opencode 最重DSH 居中。7. 选型建议场景选接 GLM / Kimi / MiniMax / Qwen / DeepSeek 开源权重开箱即用opencode逐模型提示词 逐模型工具形状 逐模型思考参数都是现成的目录覆盖广本地模型Ollama / LM Studio / vLLM / llama.cppopencode4 个本地 provider 插件开箱DSH 走自定义端点手写compat接 GPT-5.x 做长任务、在意每美元得分DSH53.8 分 / 0.30 美元每任务 / 3.98 分钟公开数据里最优组合接 ClaudeAPI key 按量opencodeedit路径 Claude 风格提示词生态成熟DSH 无 Claude 专属提示词长程自主任务、多 agent 编排、需要目标续跑/定时/团队DSHgoal / workflow / agent-team / schedule / ralph 是 opencode 没有的数据重、想让模型写代码调工具两者都有要满格语言用DSH PTC要强隔离用opencode codemode生产可用、要稳定opencodev2.0.27DSH 是 alpha二次开发 / 换 loop / 换 UI / 换记忆层DSH一切皆插件agent loop 可整体替换一句可执行的判断想让第三方模型立刻表现好 → 用 opencode它的逐模型工程就是为这件事写的。想让第三方模型表现上限最高→ 用 DSH但你要自己付调优成本配compat、配reasoningEfforts、配modelPolicies并关掉默认遥测。任何情况下换 harness 后必须重测你自己的模型——公开数据里没有任何 harness 跨模型通吃。附本次分析的证据获取方式两仓库git clone --depth 50到本目录。源码取证packages/llm/llm-pi-ai、packages/core/system-prompt、packages/compaction/*、packages/guard/*、packages/ptc-runtime、docs/user/guide/providers.md、apps/cli/reference/README.md、docs/tool-catalog.mdpackages/core/src/plugin/optimize.ts、variant.ts、tool/plugin/patch.ts、session/compaction.ts、ai/src/protocols/、plugin/provider/、models-dev/snapshot.txt。外部数据WildClawBench 官方榜与 harness 对比表、dshbase 的 60 任务三维解读、Terminal-Bench 2.1、Harness-Bench (arXiv:2605.27922)、Classmethod 三 harness 同模型实测。