7 月总结：LLM 工作流自动化的探索与反思——从兴奋到冷静的工程沉淀

7 月总结LLM 工作流自动化的探索与反思——从兴奋到冷静的工程沉淀一、一个月的认知曲线从AI 能做什么到AI 该在哪里停7 月份 LLM 工作流自动化的实践经历了一条清晰的认知曲线。月初对 Agent 自主工作流充满期待——让 AI 自己决定怎么做。月中在多次深夜回滚后转为冷静——AI 能做的事边界比预期窄得多。月末形成了稳定的判断——AI 的价值不在于替代人类决策而在于加速人类的决策过程。这个认知转变不是对 AI 能力的否定而是对 AI 角色的重新定位。AI 最适合的角色不是决策者而是信息聚合器——收集和分析信息后交给人类决策。在 7 月实践的所有 LLM 工作流中这个人机协作模式的可靠性比全自动高 3 倍。二、LLM 工作流自动化的三个可信度层级通过一个月内的 12 个生产级工作流实验将 LLM 自动化的可信度分为三个层级层级一确定性强的工作流可信度 90%特征输入格式固定、输出有明确标准、不需要上下文推理# 高可信度结构化数据提取 # 输入发票 PDF → 输出JSON { company, amount, date, items } def extract_invoice_info(pdf_path: str) - InvoiceData: 成功率 96%失败主要是扫描件质量问题 text ocr_extract(pdf_path) result llm.structured_extract( text, schemaInvoiceData, examplesINVOICE_EXAMPLES ) if result.confidence 0.8: # 低置信度 → 人工复核 → 数据飞轮 return queue_for_manual_review(pdf_path) return result层级二需要上下文推理的工作流可信度 70-85%特征需要理解上下文、可能有多步骤查询、输出可能因 Prompt 措辞而变化# 中可信度客服意向识别和路由 def route_customer_query(query: str) - RoutingDecision: 成功率 82% 主要失败模式 1. 短查询缺少上下文退款 → 是问退款进度还是要退款 2. 多意图混合订单在哪 能改地址吗 3. 情绪化表达影响意图判断 intent llm.classify(query, categoriesINTENT_CATEGORIES) if intent.confidence 0.9: return RoutingDecision( routinghuman_agent, reasonfLow confidence intent: {intent.confidence:.1%} ) return RoutingDecision(routingintent.department)层级三开放式决策工作流可信度 70%特征需要自主判断、多步骤动态决策、结果没有标准答案这是全自动 Agent 最容易失败的领域。本月的经验是在这些场景中使用推荐模式而非自动执行模式——AI 生成建议人类做决策。三、成本控制的实践经验7 月份建立了 LLM 工作流的成本控制三原则原则一API 调用的分层策略# 按重要性分层选择模型 critical: - intent_detection: gpt-4o # 错误成本高 - content_moderation: claude-sonnet # 准确性要求高 standard: - faq_matching: gpt-4o-mini # 高频低成本 - text_summarization: gpt-4o-mini trivial: - spell_check: tiny_model # 本地模型 - format_validation: regex # 不用 LLM原则二语义缓存的 ROI在 7 月的项目中实现了请求级的语义缓存对相似问题返回缓存结果缓存命中率31%API 费用节省每月约 $120日均 10000 次调用延迟降低缓存命中时从 800ms 降到 5ms原则三Token 预算的硬性限制class TokenBudget: def __init__(self, max_input: int 2000, max_output: int 500): self.max_input max_input self.max_output max_output self.alerts_triggered 0 def check(self, input_tokens: int, output_tokens: int) - bool: if input_tokens self.max_input: self.alerts_triggered 1 return False if output_tokens self.max_output: self.alerts_triggered 1 return False return True四、本月最关键的反思7 月最重要的认知不是AI 能做到什么而是AI 不应该在什么场景被信任不信任 AI 的数学计算——用工具调用calculator tool而非让 LLM 直接计算不信任 AI 的时效性判断——搜索工具 LLM而非 LLM 自己的知识不信任 AI 的拒绝判断——AI 可能不敢拒绝需要硬编码的安全规则不信任 AI 的费用感知——Token 预算必须在 LLM 外部控制五、总结7 月份 LLM 工作流自动化的实践得出了一个稳重但准确的结论全自动 Agent 的可靠性在 60-70%对于大多数生产场景不够高人机协作模式的可靠性超过 90%AI 收集分析信息 人类决策的架构是当前最佳平衡成本控制的三原则分层选模型 语义缓存 Token 预算是生产必须从不信任 AI在关键时刻的判断——数学、时效性、拒绝和费用的决策必须外部化资料说明本文中的协议、版本、性能、成本和行业趋势应以可核验的一手资料为准。未标注统计口径的比例、时间表和预测仅作工程讨论不应视为行业事实。可参考 0731 资料来源索引并在发布前将具体来源贴到对应断言之后。