Weave Router五大路由策略全解析：cluster、HMM、RL、Bandit如何选

Weave Router五大路由策略全解析cluster、HMM、RL、Bandit如何选【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/routerWeave Router是一个面向 AI Agent 系统的模型路由器把每一个提示词在 50ms 内路由到最合适的模型仅靠更换一个端点就能降低 40-70% 的推理成本。它内置了cluster默认、HMM、RL、Bandit五大路由策略本文将逐一拆解它们的原理、启用方式和适用场景帮你快速做出选择。五大策略速览一张表看懂选型策略 ID核心思路运行方式是否需要额外组件适用场景cluster⭐默认本地嵌入 聚类打分Avengers-Pro进程内 ONNX 推理❌ 开箱即用生产环境的默认选择hmm隐马尔可夫模型PCA/HMM/XGBoost 冻结模型独立 sidecar 服务✅ 需要启动 sidecar会话级状态敏感的智能路由hmm_embeddingHMM 嵌入质量种子的 Bandit 先验独立 sidecar 服务✅ 同上想要更平滑先验的 HMM 变体rl训练好的 RL/DPO 策略选模独立 sidecar 服务✅ 需要 sidecar URL追求策略学习最优解bandit冻结后验 汤普森采样进程内✅ 需以后验文件启动探索-利用平衡的实验性路由 所有策略都可选开启opt-in只有cluster是静默默认值。策略定义见 internal/router/strategy.go。cluster默认策略开箱即用的聚类打分cluster是整个路由器的主力引擎源自 Avengers-Pro 论文DAI 2025在internal/router/cluster/中实现。工作原理一句话版用本地 ONNX 嵌入模型把提示词编码成向量默认截断 1024 字符控制延迟与训练好的聚类中心匹配找到最相似的意图簇在该簇内做一次argmax训练时已把成本 α 混合系数烤进排名选出最优模型关键设计模型工件版本化每个 bundle 放在artifacts/vX.Y/目录包含centroids.bin、rankings.json、model_registry.json、metadata.yaml四个文件通过一行latest指针完成版本晋升详见 internal/router/cluster/CLAUDE.md成本是训练时固化的价格变化需要重新训练而非每次请求查表——保证运行时只有单次 argmax 的开销失败即报错fail-closed任何失败路径都返回ErrClusterUnavailable→ HTTP 503绝不静默降级到默认模型避免质量悄悄滑坡CLAUDE.md 明确禁止 fail-open适合谁绝大多数生产部署。零外部依赖、毫秒级延迟、行为可预测。HMM带状态记忆的路由策略hmm策略通过一个独立部署的 Python sidecar 服务提供源码在 sidecars/hmm/。与 cluster 的无状态打分不同HMMHidden Markov Model隐马尔可夫模型擅长捕捉会话中隐状态的变化——比如用户从闲聊咨询转入深度调试时模型选择也应随之切换。架构要点来自 sidecars/hmm/README.mdsidecar 提供的是冻结的不可变工件PCA/HMM/XGBoost通过policy_router_v3HTTP 契约服务化训练、在线学习、托管凭据刻意排除在包外——自托管方拿到的是纯推理服务快速启动只需一条命令echo GOOGLE_API_KEY... .env.local make up-hmmv1 工件绑定google/gemini-embedding-23072 维嵌入启动时做参考向量探针校验嵌入空间不兼容则 readiness 直接失败防止换一个 3072 维模型就能用的误解docs/CONFIGURATION.md两个变体hmm标准版与hmm_embedding使用嵌入质量种子的 Bandit 先验见 strategy.go 注释。适合谁长会话、Agent 多轮任务场景希望状态感知路由但又想自己掌控模型版本的团队。RL训练过的强化学习策略交给 sidecar 决策rl策略把模型选择完全委托给一个训练好的 RL/DPO 策略服务internal/router/rl/CLAUDE.md。它做什么从本地 catalog单一事实源模型分层、供应商绑定、定价构建合格候选集请求 sidecar这些候选里选一个并把选择映射回路由决策它不做什么重要边界❌ 不派发请求、不做协议转换、不计算嵌入——prompt 嵌入在 sidecar 内部完成❌ 只回答用哪个模型派发始终走 router 自己的 provider 通道接线方式设置ROUTER_RL_SIDECAR_URL环境变量后在 cmd/router/main.go 中通过proxy.Service.WithRLRouter注入。URL 未设置时携带x-weave-router-strategy: rl头的请求会直接得到 503。适合谁拥有策略训练 pipeline、愿意维护 sidecar 服务、追求长期最优选择质量的进阶团队。Bandit汤普森采样的探索-利用平衡bandit策略internal/router/bandit/bandit.go是五种策略中最轻量的实验性方案完全进程内运行。工作原理先调用内层 cluster 打分器得到决策的候选簇用一份冻结的ts_posterior.json簇 × 模型的奖励后验做汤普森采样在合格候选中抽签选模同时用 1024 次蒙特卡洛采样估计真实选择倾向propensity供离线 IPS/DR 策略评估使用启用条件启动时设置ROUTER_BANDIT_POSTERIOR_FILE指向后验文件之后用x-weave-router-strategy: bandit头选择。后验缺失、内层打分失败、无可服务候选——全部返回ErrBanditUnavailable503同样不静默回退到 argmax。适合谁希望在不重新部署的前提下做在线探索比如 A/B 不同模型组合、积累奖励数据再训练新 cluster bundle的进阶玩法。如何选择策略选择优先级与实战建议选择优先级三级降级链根据 docs/CONFIGURATION.md每个请求按以下顺序确定策略已授权的请求头覆盖x-weave-router-strategy: 策略名该 installation 持久化的策略设置环境变量ROUTER_DEFAULT_STRATEGY兜底为cluster⚠️ 请求头覆盖仅当 installation 显式开启策略头权限时才生效避免任意客户端乱切策略。决策树刚部署想省成本→ 保持默认cluster什么都不用配多轮 Agent 会话、状态切换频繁→ 加开hmmsidecarmake up-hmm即可有自己的 RL/DPO 训练栈→ 接rlsidecar策略持续进化想做在线探索、攒奖励数据→ 开启bandit并挂上后验文件统一的失败即关闭哲学五大策略共享同一安全契约宁可 503不可错路由。历史上 cluster 曾有一个启发式兜底失败就发 claude-haiku-4-5因为它悄悄掩盖了真实回归已被彻底移除。理解这一点你就理解了 Weave Router 的策略哲学可观测的正确性 表面可用性。延伸阅读 路由术语规范per-action vs per-turndocs/SEMANTICS.md⚙️ 完整环境变量与策略配置docs/CONFIGURATION.md️ 路由核心包结构总览internal/router/AGENTS.md 策略接口与上下文覆盖机制internal/router/strategy.go 策略 sidecar 认证router 侧cmd/router/policy_sidecars.go一句话总结生产默认用cluster要状态记忆上hmm有训练能力上rl要在线实验用bandit。换端点即接入策略随时可切——这正是 Weave Router 一个端点、所有模型、永远选对 的设计初衷。【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/router创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考