调错工具工具路由型故障排查工具描述Description是否清晰无歧义。必要时关闭动态路由对单一工具做隔离回归测试区分是决策逻辑问题还是工具定义问题313。参数不合法采用带错误反馈的重试Error-Informed Retry。不要无脑重试原参数而是将具体的错误信息如“缺少必填字段”或“类型错误”连同原始请求送回给 LLM让其自行修正参数22。写操作超时区分超时根因。如果是外部 API 或数据库连接池耗尽需在运行时增加并发配置或重写技能如用带连接池的 HTTP 库替代 curl在协议层为步骤添加重试机制如指数退避 backoff_ms1。同时为所有技能添加严格的超时参数如 --timeout防止僵尸进程1。4. 如何证明一次 Prompt、模型或检索配置调整带来了改善建立量化评估体系摒弃“凭感觉调优”使用 RAGAS 等框架量化评估检索层的 RecallK、生成层的 Faithfulness忠实度和 Answer Relevancy答案相关性46。Prompt 回归测试准备包含标准样例、历史缺陷样例和高风险样例的固定测试集。对比新旧 Prompt 在主干能力、边界场景上的表现确保“修 A 不坏 B”27。A/B 对照与灰度发布在流量允许时开启 A/B 测试上线新模型或配置时先切 1%-5% 的真实流量作为“金丝雀”盯住质量、延迟、成本等红线指标正常后再逐步放量79。5. 模型供应商限流或不可用时如何排队、降级和切换架构抽象在系统底层建立模型网关抽象层使切换和回滚模型仅变为配置变化而非工程重构9。排队与限流应对针对临时服务错误如 HTTP 429, 500, 502 等实施指数退避重试策略Exponential Backoff22。降级策略当主模型不可用或响应过慢时自动降级到备用模型如从 GPT-4o 降级到开源小模型或国产模型或者在 RAG 场景中降低 Top-K 数量、跳过 Rerank 环节以换取可用性926。6. 知识库和工具调用如何做租户隔离、权限校验与审计租户隔离与权限在检索阶段强制注入元数据过滤如 Tenant_ID、部门权限确保向量检索和全文检索仅在授权范围内进行。审计与可观测性强制要求 Agent 暴露 /trace/{trace_id} 端点记录完整的执行链路包括 LLM 的输入输出脱敏数据、工具调用的 Request/Response11。集成 ELK 堆栈进行日志收集使用 OpenTelemetry 采集跨度确保所有外部系统交互的 Header如 X-Request-ID动态生成且可追溯严禁硬编码1011。