怎么退换货有无数种问法——精确缓存完全相同字符串才命中对这种场景几乎无效每个改写都穿透到模型烧一遍 token。需要的是语义层面命中。核心论点语义缓存Semantic Cache按语义相似度而非精确文本匹配来命中缓存是网关层独有的成本/延迟杠杆相似 prompt 直接返缓存答案根本不进模型既省 token 又降延迟。精确缓存为什么不够缓存类型命中条件对话式流量精确缓存字符串一字不差近似问题全部穿透语义缓存embedding 余弦相似度达阈值意思相同归一到同一答精确缓存可作为语义层的前置短路完全一致直接命中免 embedding 计算语义层把意思相同归一到同一答显著提升对话式、复述式流量的命中率。缓存层必须卡在网关唯一出口部署形态命中率失效策略业务各自加缓存每个服务重复建、命中率低乱网关统一缓存所有流量先过缓存、命中即短路统一决策与护栏、限流同一逻辑——凡所有流量都要过的能力放网关才完整接《LLM流量网关设计》。命中判定相似度阈值的权衡阈值命中率误命中率适用场景高0.95低低涉金额/身份的严谨回答低0.85高高高频标准问答可放宽阈值按场景定——涉及金额/身份的严谨回答应收紧甚至不缓存。命中判定基于 embedding 余弦相似度内置默认阈值similarity_thresholdenv 可配三层兜底分片值→env→代码内置常量绝不无值。PII 命中 整条不写入含个人敏感信息的 prompt 本就是个人化的把它及模型据此生成的答案共享给后续相似请求既泄隐私又语义错且脱敏后 embedding 与未来未脱敏查询错位命中也不准。所以缓存写入门禁应是无 PII 才写而非脱敏后写呼应《合规护栏》跨平面。该门禁在写入前调用《合规护栏》的脱敏引擎做 PII 检测而非缓存内另写一套正则——否则规则漂移引擎形态见《脱敏引擎工程化》。不同业务要求不一致位置统一、策略按业务分片网关统一做缓存不代表全局一个阈值 / 一个 TTL——那样会用客服 FAQ 的宽松策略去服务支付问答触发误命中。正确做法缓存键带业务维度缓存键 embedding(归一化 prompt) 业务维度标签每个标签绑定一组策略相似度阈值 / TTL / 是否启用 / 写操作跳过命中时先按标签路由到对应策略分片再算余弦相似度。不同业务互不影响。业务维度标签的治理归属按约束强度分层层谁定内容可协商硬约束层网关维护者独占PII 整条不写、写操作永不命中、脱敏引擎调用不可协商策略层网关维护者 业务方共建标签 → 阈值/TTL/是否启用的映射策略即数据共建守护声明层业务开发者在请求元信息/路由名里贴标签声明我是支付域/客服域标签是事实原则标签由开发者贴策略由网关维护者业务方共建守护硬门禁由网关维护者强制——既不让业务方乱来也不让网关维护者替业务背锅。失效与一致性答案会随模型/知识过期失效机制作用TTL 过期时间维度失效知识版本化知识库更新后旧缓存失效写操作不缓存下单/改地址等变更类请求永不命中缓存避免返陈旧结果决策缓存省成本的前提是答案仍正确否则省下的 token 不如一次错误回答的代价。与成本治理联动缓存命中 不计 token成本账才能区分真实模型消耗与缓存短路。缓存是成本治理的前端省钱限流/预算熔断是后端兜底两层合力引《成本治理与限流》。核心要点语义缓存是网关专属杠杆相似 prompt 直接返缓存、不进模型既省 token 又降延迟——必须卡在唯一出口否则各业务重复建、命中率低、失效策略乱。阈值按场景、失效有保障高频标准问答可放宽涉金额/身份须收紧甚至不缓存靠 TTL 知识版本化 写操作不命中兜底。不同业务要求不一致靠位置统一、策略按业务分片化解缓存键带业务维度每个业务域走各自阈值/TTL互不污染。PII 整条不写是跨业务硬门禁含敏感信息的 prompt 个人化、共享即泄隐私又语义错写入前统一调《合规护栏》脱敏引擎不在缓存内另写正则防规则漂移。