【Bug已解决】perf: openai-curated marketplace scan appears to enumerate a very large not-installed catalog every turn 解决方案原始报错perf: openai-curated marketplace scan appears to enumerate a very large not-installed catalog every turn 场景应用每处理一轮turn对话都会去扫描marketplace插件/扩展市场目录而且扫的是整个目录——包含成千上万个用户并没有安装的项。每轮都全量枚举这个巨大的未安装清单造成明显卡顿/延迟但用户实际只关心自己已装的几个。 关键词性能回归、重复全量枚举、缓存、增量扫描、惰性加载、最小必要集。一、现象长什么样性能表现首轮对话还行但越往后每轮响应开头都有一段固定延迟性能分析profiling显示每轮都调用了一次marketplace 全量扫描该扫描遍历了整个市场目录数万项其中 99% 是用户没安装的用户本身只装了 3 个插件但这 3 个淹没在数万项的枚举里被反复重扫网络/磁盘 IO 和序列化开销随目录增大线性增长目录越大越卡。这是一个典型的不必要的工作重复每轮都重做一遍昂贵且结果基本不变的全量枚举。结果在两次扫描之间几乎不可能变化用户不会每轮装卸载上万次却每轮都付全价。二、背景为什么每轮扫市场是错的marketplace 扫描有两类用途成本天差地别查我装了什么只需看用户已安装清单几个到几十个极快查市场上有什么可装才需要枚举整个目录数万项昂贵。bug 在于应用把每轮对话要用到的能力通常只是我装了哪些工具和市场浏览偶尔才需要混为一谈于是在每轮都跑了昂贵的全集枚举。正确的设计是已安装清单常驻内存/缓存全量市场目录只在用户主动打开市场时才枚举。三、根因每轮无差别全量枚举根因拆解无缓存扫描结果不缓存每轮重新枚举。无差别不区分已安装和全部每轮都扫全集。错误时机把市场枚举放在了每轮请求的必经路径上而不是按需触发。无失效策略即便缓存了也没定义何时失效装/卸载时才刷新。未安装项占比极高把 99% 的未安装项也纳入每轮扫描纯属浪费。下面用最小模型复现每轮全量枚举未安装目录再给修复。四、最小可运行复现import time # 模拟市场目录1 个已安装 9999 个未安装 MARKET [{id: fitem-{i}, installed: i 0} for i in range(10000)] def scan_market_full(): # 昂贵遍历全部 time.sleep(0.001 * len(MARKET)) # 模拟 IO 成本 return [m for m in MARKET] def handle_turn(text: str): # 错误每轮都全量扫描且只用到已安装 all_items scan_market_full() installed [m for m in all_items if m[installed]] return installed if __name__ __main__: for t in range(3): start time.time() handle_turn(fturn {t}) print(f第{t}轮耗时: {time.time()-start:.3f}s (扫了 {len(MARKET)} 项))运行会看到每轮都扫 10000 项耗时基本一样——全量重复。五、方案缓存扫描结果 失效策略第一层把已安装清单缓存起来只在装/卸载时失效每轮直接读缓存import time _cache None _cache_version 0 def get_installed(forceFalse): global _cache, _cache_version if _cache is not None and not force: return _cache # 命中缓存不扫 # 仅枚举已安装子集而非全市场 time.sleep(0.001 * 1) # 只扫已装的少数项 _cache [m for m in MARKET if m[installed]] return _cache def on_install_or_uninstall(): global _cache _cache None # 失效下次重新算 def handle_turn_cached(text: str): return get_installed() # 每轮读缓存O(已安装数) if __name__ __main__: for t in range(3): start time.time() handle_turn_cached(fturn {t}) print(f第{t}轮耗时: {time.time()-start:.5f}s (仅已安装))缓存后每轮不再扫全集耗时骤降。六、方案分离已安装与全市场按需枚举第二层把两件事彻底分开。每轮只查已安装走缓存全市场枚举只在用户主动浏览市场时触发且结果独立缓存_installed_cache None _market_cache None def installed_list(): global _installed_cache if _installed_cache is None: _installed_cache [m for m in MARKET if m[installed]] return _installed_cache def browse_market(): global _market_cache # 仅用户主动浏览时才枚举全市场并缓存 if _market_cache is None: time.sleep(0.001 * len(MARKET)) _market_cache list(MARKET) return _market_cache def handle_turn_separated(text: str): # 每轮只依赖已安装清单 return installed_list() if __name__ __main__: for t in range(3): handle_turn_separated(ft{t}) # 不碰全市场 print(已安装:, installed_list()) # 用户主动浏览时才扫全集 print(浏览市场项数:, len(browse_market()))职责分离后每轮对话和浏览市场成本互不干扰。七、方案变更监听 增量避免任何无谓全量第三层即便要扫全市场也用内容哈希/版本号判断是否需要重扫没变就不扫import hashlib, json _market_hash None _market_snapshot None def _hash_market(items): payload json.dumps(items, sort_keysTrue).encode() return hashlib.sha256(payload).join # 占位下面修正 def _hash(items): payload json.dumps(items, sort_keysTrue).encode() return hashlib.sha256(payload).hexdigest() def refresh_market(items): global _market_hash, _market_snapshot h _hash(items) if h _market_hash: return False # 没变跳过全量处理 _market_hash h _market_snapshot items return True # 变了才重算 if __name__ __main__: print(首次刷新:, refresh_market(MARKET)) # True重算 print(再次刷新(未变):, refresh_market(MARKET)) # False跳过用哈希做变更检测目录没变就绝不重复全量处理把每轮枚举彻底降为变更时才枚举。八、验证把每轮不扫全集锁进测试def test_turn_does_not_enumerate_full_market(monkeypatch): scans {n: 0} def cheap_installed(): scans[n] 1 return [m for m in MARKET if m[installed]] monkeypatch.setattr(__main__.installed_list, cheap_installed) for _ in range(5): handle_turn_separated(x) # 已安装清单只算一次缓存命中不随轮数增长 assert scans[n] 1 def test_market_only_on_browse(): # 连续多轮不应触发全市场枚举 for _ in range(3): handle_turn_separated(x) assert _market_cache is None # 没浏览过全市场未被枚举 browse_market() assert _market_cache is not None if __name__ __main__: # 注monkeypatch 为示意纯跑时直接验证逻辑 for _ in range(3): handle_turn_separated(x) print(连续轮次未触发全市场枚举已安装走缓存。)九、排查清单每轮卡顿/重复枚举按顺序查profiler每轮耗时是否卡在某个全量枚举/扫描调用缓存该枚举结果是否缓存每轮是否重新计算必要集每轮真需要全集吗还是只需要已安装/已启用的子集时机昂贵枚举是否放在每轮必经路径能否改为按需触发失效策略缓存何时失效是否只在装/卸载/变更时刷新变更检测是否用哈希/版本判断目录是否变化未变就跳过占比未安装项占比多高是否把它们也卷进了每轮热路径十、小结每轮都枚举巨大未安装目录是把昂贵且不常变的全量枚举放进了每轮热路径且毫无缓存导致的性能浪费。修复三层缓存已安装清单缓存装/卸载才失效每轮读缓存分离每轮只查已安装子集全市场枚举仅在用户主动浏览时触发变更检测用哈希/版本判断目录是否真变没变绝不重复全量处理。核心原则每轮热路径上只放最小必要且稳定的数据。任何全量枚举/全量扫描都必须有缓存和失效策略否则它会随调用次数线性放大成性能回归。