【免费下载链接】turboquantTurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels vLLM integration项目地址https://gitcode.com/gh_mirrors/tu/turboquant点击查看免费下载TurboQuant 是面向 LLM 推理的 KV cache 量化方案3-bit keys 2-bit values其核心秘密在于 QJL 投影用 1 bit/维的随机符号草图quantized Johnson–Lindenstrauss校正 MSE 量化残差使注意力分数的内积估计器无偏——E[估计值] 真实内积。本文用通俗的方式带你拆解开压缩三阶段流水线、QJL 的无偏性证明以及 quantizer.py 中的关键实现并附可直接运行的验证脚本路径。组件比特预算作用随机正交旋转 Π0仅存矩阵把能量摊平到每个坐标让分布可预测Lloyd-Max 标量量化b−1 bit/维粗量化逼近主信号QJL 符号草图1 bit/维无偏校正残差撑起无偏估计器Value 分组量化2 bit/维压缩 V属常规 min-max 路线一、先看效果无偏估计带来什么 在长上下文推理中KV cache 是显存和带宽的最大消耗者。TurboQuant 把历史 KV 压成比特串后注意力分数q, k不再近似而是统计意义上无偏地估计真实值——这是排序质量哪些 token 该被关注的理论保证。项目自带的验证测试README.md 的 Paper Validation 一节实测论断结论无偏性Theorem 2✅ PASS相对偏差 0.1%失真随 1/4^b 缩放Theorem 3✅ PASSRecall83-bit0.55论文阈值 ≥ 0.40压缩比4.41xhead_dim256全注意力层 无偏 ≠ 无损单次估计仍有噪声但噪声随维度增大而衰减且不产生系统性偏移——对 softmax 排序而言这比有偏但低方差的量化更稳。二、压缩三阶段流水线从浮点向量到比特串一个 key 向量xd 维通常 d head_dim 128进入 quantizer.py 的TurboQuantProd后经历三步归一化 随机旋转先存下||x||把x/||x||送到单位球面上再乘随机正交矩阵 Π。旋转后的每个坐标都服从缩放 Beta 分布高维下近似N(0, 1/d)——坐标分布变得人人一样量化器才能按坐标独立设计。旋转矩阵由 rotation.py 的 QR 分解生成128×128 矩阵仅 64KB每层一个固定种子。Lloyd-Max 粗量化b−1 bit针对上述 Beta 分布解连续 1D k-means 得到最优质心逐坐标查找决策边界。代码书离线预生成在 codebooks/ 目录如 codebook_d128_b2.json加载逻辑见 codebook.py。QJL 残差草图1 bit/维把粗量化重建x̃与原始x的残差r x − x̃投到随机高斯矩阵Srotation.py只保留每个投影分量的正负号。d 个符号比特打包成 d/8 个字节外加||r||一起存储。以 3-bit key 为例每维共 3 bit 0.75 字节比 bf16 的 2 字节省近2.7x再叠加 value 的 2-bit 分组量化就是 README 中 3b key / 2b val 的来源。三、为什么单靠 MSE 量化不够——偏差的坑MSE 最优量化只保证重建误差平方和最小并不保证E[x̃] ≠ x一旦估计器带系统偏差q, x̃的期望就偏离真实q, x。对注意力打分来说偏差会整体平移/扭曲 logits长上下文下误差叠加排序失真。这正是传统低比特 KV 量化在超长上下文质量滑坡的根源之一。TurboQuant 的解法很巧妙不用更多比特去硬压残差而是花 1 bit/维把残差无偏地表达出来——这就是 QJLquantized Johnson–Lindenstrauss登场的地方。四、QJL 投影原理1 bit 为什么能无偏核心恒等式无偏性的全部魔法设g ~ N(0, I_d)各分量独立s sign(g)则对任意两个向量E[ g, s ] √(π/2) · r, y其中s sign(S r)是残差经随机高斯矩阵S投影后的符号向量y是查询方向。关键直觉单个投影g·r是高斯随机变量其符号与g的夹角余弦的期望恰为√(π/2)·⟨单位r, 单位y⟩反正切积分的解析结果把幅度用存好的||r||还原得到√(π/2)/d · ||r|| · Sᵀy, s这个量的期望正好等于⟨y, r⟩维度 d 越大该估计的相对方差越小——高维下 1 bit 草图意外地够用。所以 QJL 项是一个无偏的随机估计器单次有噪声但期望严丝合缝噪声还随 d 增大而衰减。五、两阶段组合MSE QJL 无偏内积估计器TurboQuantProd 的类注释写得很直白反量化内积估计为y, x̃_mse ||r|| · √(π/2)/d · Sᵀ qjl_signs, y 且E[estimate] y, x无偏。分解一下这个恒等式分量来源期望y, x̃_mse(b−1)-bit 粗量化重建有偏偏差 E[y, r]QJL 项||r||√(π/2)/d Sᵀs, y1-bit 符号草图无偏期望 y, r两者相加3-bitb3E[估计] y, x̃ y, ry, x✅也就是说MSE 部分的偏差恰好是残差内积y, r而 QJL 项的期望恰好补上这块残差——两块拼起来偏差归零。这就是b bit 拆成 (b−1) 1的深意。量化入口quantize()quantizer.py产出ProdQuantized四元组MSE 索引、QJL 符号字节、残差范数、原始范数——全部比特打包历史 token 只占极小显存。六、注意力分数怎么算三个融合 Triton 核读取路径分两种实现。朴素 PyTorch 路径在 attention_scoreMSE 贡献查询先前向旋转q Πᵀ注意不是把 key 旋转回来再与查表得到的质心直接点乘——避免物化 d 维反量化 keyQJL 贡献查询预草图q Sᵀ与解压出的 ±1 符号向量点乘乘上qjl_scale · ||r||qjl_scale √(π/2)/d正是上面推导的无偏常数见 quantizer.py两项相加得到 logits再进 softmax。生产路径则走 triton_kernels.py 的 3 个融合核turboquant_mse_score融合解包查表点乘、turboquant_qjl_score融合符号解包草图点乘query 草图每查询只算一次、turboquant_fused_decode_attention在线 softmax 一步完成 decode 注意力。融合的意义永不落地反量化后的 d 维向量直接在比特流上算分省带宽又省显存。压缩存储由 store.py 的CompressedKVStore管理按 chunk 追加、惰性拼接成 flat cache每层用seed42层号×7生成独立 Π/Sstore.py避免层间噪声相关最近 token 由 capture.py 的环形缓冲保留全精度仅在历史足够长≥16 token时走压缩路径score.py。七、实测与落地验证脚本与集成路径 想亲手验证无偏性仓库提供了完整工具链文件用途proof.pybaseline vs TurboQuant 的 A/B 显存/容量对照4×RTX 3090 Qwen3.5-27Bbenchmark.py通用基准setup.pypip install -e .安装入口integration/vllm.pyvLLM 适配monkey-patch、free_kv_cache、混合 decodevllm_attn_backend.py安装钩子的薄壳kv_cache.pyvalue 分组量化与比特打包已知边界诚实版来自 README2-bit value 是质量瓶颈cos_sim≈0.94追求质量可切 4-bit 的 0.997MoE/线性注意力层的 state 不可压缩收益打折混合 decode 路径目前会全量反量化历史到 float32融合核的加速尚未在该路径启用。八、要点回顾 QJL 是 TurboQuant 无偏性的来源1 bit/维的符号草图 √(π/2)/d常数把 MSE 量化的系统偏差精确补平(b−1)1 的比特拆分是精髓粗量化管精度QJL 管无偏各司其职旋转让一切可预测随机正交 Π 把坐标分布拉成 Beta 分布Lloyd-Max 代码书才能逐维最优工程上零妥协查询前向旋转/预草图 融合 Triton 核比特流上直接算分decode 阶段不吃额外显存。理解了这一套旋转 → 最优粗量化 → 无偏残差草图的组合拳你就拿到了 TurboQuant 3-bit KV cache 压缩的理论钥匙——下一次看到 4x 压缩比时你知道它背后站着的不是一个更激进的量化器而是一个数学期望意义下零偏差的估计器。赞分享【免费下载链接】turboquantTurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels vLLM integration项目地址https://gitcode.com/gh_mirrors/tu/turboquant点击查看免费下载相关推荐awesome-typescript-loader 快速入门教程从零搭建 TypeScript Webpack 开发环境awesome typescript loader 快速入门教程从零搭建 TypeScript Webpack 开发环境 awesome typescri揭秘ReflectionCommonphpDocumentor背后的通用反射类库深度剖析揭秘ReflectionCommonphpDocumentor背后的通用反射类库深度剖析 你还在为PHP代码反射工具的复杂配置而头疼吗是否想了解phpDoc静态分析揭秘AlphaCode背后的强力引擎CodeContests数据集深度解析揭秘AlphaCode背后的强力引擎CodeContests数据集深度解析 你是否曾想过AI是如何学会编程的 今天我们要深入探索的就是那个让Alpha人工智能深度学习大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考