本文整理自 AICon 上海分享「Self-GC一种结合前缀缓存约束的多轮 Agent 上下文治理方案」演讲者郝栩彬通过AI音视频总结工具Ai好记转录整理以下为视频转文字精炼整理后的内容。白领Agent的成本困境Agent正在从演示原型走向企业级部署。但当面向白领的Agent如处理PPT、PDF、浏览器的办公助手在1000人规模的公司内推广时成本会呈指数级增长——一个粗略估算每月成本可能达到千万级别。核心成本卡点在哪不是推理计算的单价而是长上下文带来的高Token消耗。一个典型的白领Agent工作流用户提问 → Agent理解指令 → 调用工具浏览器/文档编辑器→ 获取结果 → 继续交互。每轮交互都会往上下文里塞入新的内容而白领任务的工具调用频繁、产物不可重复执行不像代码可以git checkout上下文长度迅速膨胀到平均80K输入Token。北极星指标AvgInputTokens团队选择了一个核心指标来衡量成本——AvgInputTokens平均每次模型请求的输入Token数。指标优点缺点总Token消耗直观反映总成本受用户量波动大缓存命中率能看出优化效率达到85%后提升空间有限AvgInputTokens抹平用量波动直接反映成本密度需要精细统计这个指标比总Token数或缓存命中率更能稳定地反映成本趋势成为降本的主攻方向。传统的上下文裁剪为什么容易「翻车」最直接的降本思路就是给上下文「瘦身」——把不重要的内容剪掉。但白领任务和Coding任务完全不同维度Coding任务白领任务环境一致性Git仓库可复现浏览器数据每次不同产物管理可版本化PPT/PDF不可版本化失败恢复可回溯历史无法重复执行工具鲁棒性高Git/Shell稳定低浏览器/Office不稳定基于规则或固定模式的裁剪一旦错误地移除了关键上下文比如载入的BI数据模型无法像在Coding环境中那样通过查看Git或重跑单测来恢复结果就是任务彻底失败用户体验极差。Self-GC让模型自主管理上下文Self-GC的核心思想是让模型自己决定哪些上下文可以回收而不是靠外部规则去硬裁。第一步上下文对象化通过turn_id为用户的每次输入和每个工具的执行结果打上「户口」使其可被索引和管理。这样上下文不再是混沌的一大段文本而是带有标签的数据对象。对象标识内容用户输入turn_001用户的问题和指令工具结果turn_002工具执行的返回数据Agent思考turn_003模型的推理过程第二步旁路Fork规划机制在对话过程中通过一个低成本的旁路Fork让模型自己回顾对话历史生成一份针对性的垃圾回收计划GC Plan哪些上下文可以折叠压缩为摘要哪些上下文可以归档移到外部存储哪些上下文可以删除不再需要整个GC过程不由外部规则驱动而是模型基于当前任务状态自省判断。第三步延迟提交 增量GC为了不伤害用户体验Self-GC有两个保护策略延迟提交生成的GC计划不立即执行而是延迟几轮再执行。避免刚刚生成的最新上下文被误伤保护最新的用户意图。增量GC每次只对未被裁剪过的新增上下文尾部进行操作保护已处理过的、处于KV Cache热缓存状态的前缀部分。这样最小化对推理性能的破坏。效果指标效果大盘Input Token下降15-20%总成本下降5-10%任务成功率持平或微升KV Cache命中率保持降成本的工程策略全景Self-GC只是降本策略中的一环。从执行难度和副作用来看有三种策略策略方法副作用实施难度优化工具设计减少工具调用的上下文增长斜率几乎无低周期裁剪/折叠执行中定期剪裁中等误伤风险中激进压缩大幅压缩上下文大用户体验差高三者应在成本与效果之间找到平衡点逐级实施。价值超越降本Self-GC还有一个意想不到的价值它产出的「干净」任务轨迹——经过GC后不带冗余噪音的交互历史——能反哺到AI系统的多个环节记忆检索干净的历史记录更容易被检索系统命中经验沉淀成功的任务轨迹可以作为最佳实践被复用数据飞轮高质量的任务数据可以用于模型微调这比简单的「谁便宜用谁」的策略更有长期价值。选择模型的关键Toplay性能在成本优化中有一个容易被忽视的原则不要一味追求低价模型。策略效果用廉价模型反复试错任务失败率高总成本反升用一次做对能力强的模型单次贵但总体成本更低模型的「一次做对」能力Toplay性能和稳定性往往比便宜的模型带来更低的整体成本。结合Self-GC这样的上下文管理方案才是从架构层面真正降本的路径。FAQQSelf-GC会增加多少额外的推理成本A旁路Fork规划的Token消耗很小远小于裁剪后节省的Token量。实际验证中总成本下降5-10%。Q上下文折叠后信息丢失怎么办A折叠不是删除原始内容可归档存储。模型在需要时可以通过检索回溯到原始信息。QSelf-GC适用于Coding Agent吗A可以但对Coding Agent来说传统规则裁剪已经效果不错。Self-GC在不可回溯的通用任务场景白领、办公优势更明显。以上内容由 Ai好记 转录整理。Ai好记 是一款音视频转图文笔记的AI音视频转录总结工具支持解析B站、抖音、小红书、小宇宙等平台链接及本地/网盘音视频文件转录后自动视频转文字生成精华速览、思维导图和结构化笔记等内容形式帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。