Claw Compactor 完全指南14 级 Fusion 管道如何在零 LLM 成本下压缩 Token 50–82%【免费下载链接】claw-compactor14-stage Fusion Pipeline for LLM token compression — reversible compression, AST-aware code analysis, intelligent content routing. Zero LLM inference cost. MIT licensed.项目地址: https://gitcode.com/gh_mirrors/cl/claw-compactorClaw Compactor是一款开源的LLM Token 压缩引擎核心是一条14 级 Fusion 压缩管道代码、JSON、日志、Diff 等内容在进入大模型前被自动识别并压缩 50–82%且零 LLM 推理成本纯规则 统计方法不额外调用任何模型。它还支持可逆压缩——被压缩掉的内容可以随时按需取回压缩激进但不丢信息。 为什么你需要 Token 压缩每调用一次 LLM API你都要为上下文里的每一个 Token付费。AI Agent 的工作空间动辄几十万字会话记录、工具输出、代码文件、构建日志……全部塞进上下文账单自然水涨船高。传统方案如基于困惑度打分的压缩工具靠随机丢词省 Token问题是代码标识符、JSON 键名、日志格式这些语义关键内容经常被误伤而且每次压缩本身还要调用 LLM 付费。Claw Compactor 的思路完全不同先识别内容类型再对症下药——代码 → 用 AST 感知的方法压结构绝不缩短变量名大 JSON 数组 → 统计采样 保留错误项日志 → 折叠重复行并记录出现次数纯文本 → 才做自然语言缩写整个管道 50ms 完成0 次 LLM 调用0 个必需依赖Python 3.9 标准库即可运行。 一键安装步骤方式一从 PyPI 安装推荐pip install claw-compactor方式二从源码克隆git clone https://gitcode.com/gh_mirrors/cl/claw-compactor cd claw-compactor pip install -e .两个可选增强项不装也能跑管道会自动降级到内置启发式回退pip install claw-compactor[accurate] # 精确 Token 计数tiktoken pip install tree-sitter-language-pack # AST 代码压缩Neurosyntax 级验证安装python -c from scripts.lib.fusion.engine import FusionEngine; print(OK)安装细节可查阅 docs/getting-started/installation.md。⚡ 快速上手两条命令压缩 Token装好后先用benchmark做一次非破坏性体检不修改任何文件claw-compactor benchmark /path/to/workspace报告会列出每个压缩级的应用情况、压缩率和耗时以及按 GPT-4 费率折算的预估月度节省金额。确认效果后执行完整压缩claw-compactor compress /path/to/workspacePython 侧 API 同样简单入口见 scripts/lib/fusion/engine.pyfrom scripts.lib.fusion.engine import FusionEngine engine FusionEngine() result engine.compress(textdef hello():\n print(hello), languagepython) print(result[compressed]) # 压缩结果 print(result[stats]) # 每级耗时与 Token 数更多命令字典编码、分层摘要、跨文件去重、文件监听自动压缩等见 docs/getting-started/quickstart.md 与 SKILL.md。 14 级 Fusion 管道每一级负责什么管道的工作方式是先分类、后压缩第 2 级Cortex会自动识别内容类型code / json / log / diff / search / text和 16 种编程语言之后每级都通过should_apply()门禁自检——与内容不匹配的级别直接零成本跳过只有对得上的压缩器才真正干活。#级别干什么说人话版作用对象1QuantumLock把系统提示词里每次都变的动态部分隔离出去最大化 KV-cache 命中率system 消息2Cortex自动识别内容类型 编程语言16 种未标注内容3Photon压缩 base64 图片/二进制块有图时可省 40–70%全部4RLE长路径缩写为$WS、IP 前缀合并、枚举折叠全部5SemanticDedupSimHash 指纹去重近似重复块全部6Ionizer大 JSON 数组统计采样保留 schema 与错误项json7LogCrunch折叠重复日志行附出现次数log8SearchCrunch搜索结果/ grep 结果去重search9DiffCrunch折叠 git diff 中未变更的上下文行diff10StructuralCollapse合并 import 块、折叠重复断言code11Neurosyntaxtree-sitter AST 感知的代码压缩绝不缩短标识符code12NexusToken 级压缩无模型时退化为去停用词text13TokenOpt去掉加粗/斜体等浪费 Token 的格式符、规范空白全部14Abbrev自然语言缩写——只碰纯文本从不碰代码/JSONtext每个级别都是独立、无状态的只通过冻结的FusionContext传递数据不可变数据流所以可以任意单测、调序、插拔。完整流程与源码位置详见 docs/architecture/pipeline.md 和 docs/architecture/stages.md。 可逆压缩压掉了还能找回来这是 Claw Compactor 最安全的设计——Rewind 引擎存储Ionizer、Photon 等有损级把原始内容存入哈希地址的RewindStoreLRU 管理内存打标记压缩输出中留下一个短标记如[rewind:abc123...]按需取回LLM 发现需要原文时发起一次工具调用即可取回完整原始内容engine FusionEngine(enable_rewindTrue) result engine.compress(large_json, content_typejson) original engine.rewind_store.retrieve(abc123def456...) # 随时还原对 Agent 场景这意味着可以放心激进地压——省下的 Token 真金白银而信息并没有真的丢失。机制细节见 docs/api/rewind.md。 基准数据压缩效果到底如何官方基准可复现脚本与数据在 benchmark/ 目录显示Fusion 管道对比旧版纯正则方案加权提升 3.9 倍内容类型旧版压缩率Fusion 管道提升Python 源码7.3%25.0%3.4xJSON100 条12.6%81.9%6.5x构建日志5.5%24.1%4.4xAgent 对话5.7%31.0%5.4x搜索结果5.3%40.7%7.7x与主流 LLM 压缩方案对打同等压缩率下语义保真度ROUGE-L高出 26–88%延迟低 5–6 倍且 LLM 调用成本为 $0每调用约 $0.02。真实 SWE-bench 仓库代码上也能稳定压出 12–19%。完整数据见 docs/benchmarks.md 和 benchmark/RESULTS.md。 能省多少钱典型使用场景AI Agent 工作空间每次 LLM 调用前压缩记忆与工具输出DevOps 会话实测可省 97%docs/benchmarks.md 实测场景表Prompt 缓存叠加压缩 50% × 缓存折扣 90% ≈95% 有效成本下降两招叠加效果最佳长对话历史跨消息去重自动消除多轮重复出现的文件内容、工具结果分层加载tiers命令生成 L0~200 token 摘要/ L1 / L2全文三级摘要按需加载❓ 常见问题压缩会影响 AI 回答质量吗无损级去重、RLE、格式优化零影响有损级要么走 Rewind 可逆要么只做保语义的结构压缩。基准中 ROUGE-L 0.3 压缩率下达 0.653显著优于按困惑度丢词的方案。需要 GPU 或机器学习依赖吗不需要。核心管道零必需依赖tiktoken 和 tree-sitter 均为可选增强。支持中文/日文/韩文吗支持含 CJK 感知的 Token 估算与标点归一化。如何扩展新压缩级实现一个带name、order、should_apply()、apply()的FusionStage子类pipeline.add(MyStage())即可插入任意位置示例见 docs/architecture/stages.md。 延伸阅读架构深度解析ARCHITECTURE.md快速开始docs/getting-started/quickstart.md引擎 APIdocs/api/engine.mdOpenClaw 技能集成说明SKILL.md一句话总结如果你的 Agent 每月 API 账单让你肉疼Claw Compactor 是最省心的第一步——pip install claw-compactor跑一次benchmark看看你的上下文里藏着多少可以白拿回来的钱。【免费下载链接】claw-compactor14-stage Fusion Pipeline for LLM token compression — reversible compression, AST-aware code analysis, intelligent content routing. Zero LLM inference cost. MIT licensed.项目地址: https://gitcode.com/gh_mirrors/cl/claw-compactor创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考