【免费下载链接】Kimi-K3-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Kimi-K3-NVFP4点击查看免费下载Kimi-K3-NVFP4 是 NVIDIA 发布的 Kimi-K3 旗舰多模态 MoE 模型的 NVFP4 量化版本原生支持 1,048,576 token约 1M超长上下文。本文带你用 KV Cache FP8、前缀缓存prefix caching与分块预填充chunked prefill三件套在 8 卡 Blackwell 上低成本玩转 1M 长上下文场景。模型速览原生 1M 上下文的 2.8T MoE 巨无霸Kimi-K3 是一个 2.8 万亿总参数、每 token 仅激活 896 个专家中 16 个的稀疏 MoE 模型支持文本、图像、视频输入面向长程编码、深度推理与视觉 Agent 等场景。Kimi-K3-NVFP4 由 Model Optimizerv0.45.0量化而成采用混合精度策略模块精度说明路由专家MoE expertsNVFP4group_size16参数量最大的部分压缩到 4-bit注意力投影KDA / MLAFP8128×128 分块FP8_PB_WO精度敏感层保留更高精度其余张量原始精度无损直通转换报告 conversion_report.json 显示共转换 247,296 个专家权重、696 个注意力模块分片分布在 96 个 model-00001-of-000096.safetensors 这类权重文件中量化方案明细见 hf_quant_config.json。为什么 1M 上下文是内存难题KV Cache 是主瓶颈模型每生成一个 token都要回看前面所有 token 的注意力状态这就是 KV Cache。上下文拉长 100 倍Cache 体积也逼近 100 倍——1M token 下朴素 BF16 缓存足以撑爆 8 张卡的显存。Kimi-K3 从架构上就为长上下文而生MLAMulti-head Latent Attention把 KV 压缩成低秩潜向量单个 token 的缓存占用大幅缩小KDAKimi Delta Attention线性注意力用固定大小的状态矩阵替代完整注意力开销不随上下文线性增长MoE 稀疏激活只激活 16/896 个专家控制计算量。架构再强最后一公里的胜负手在于推理引擎的内存管理——这正是 KV Cache FP8 和前缀缓存登场的地方。模型的 1,048,576 最大长度定义在 generation_config.json而 config.json 中声明了量化配置入口。vLLM 实战解锁超长上下文的 3 个关键开关1.--kv-cache-dtype fp8KV 缓存减半长上下文成本直接砍半把 KV Cache 从 BF16 存成 FP8显存占用减半同样显存下可以开更长的上下文窗口或容纳更高的并发。这是长上下文部署最立竿见影的一个开关。2.--enable-prefix-caching相同前缀不再重复计算前缀缓存会把已算过的公共前缀系统提示、对话历史、文档开头缓存在显存里命中时直接跳过预填充。多轮对话、同一代码库的连续提问受益最大。3.--enable-chunked-prefill1M 预填充不再卡死全场1M 级别的长提示词预填充非常耗时分块预填充把它切成小块逐步处理配合--max-num-batched-tokens 8192避免一次大 prefill 阻塞所有正在解码的请求。官方验证的启动命令节选完整命令见 README.mdnvidia/Kimi-K3-NVFP4 \ --tensor-parallel-size 8 \ --quantization modelopt_mixed \ --load-format fastsafetensors \ --max-model-len 196608 \ --kv-cache-dtype fp8 \ --enable-prefix-caching \ --enable-chunked-prefill \ --max-num-batched-tokens 8192参数示例值作用--kv-cache-dtypefp8KV 缓存 FP8 化省一半显存--enable-prefix-caching开启复用前缀计算多轮对话只预填充新增部分--enable-chunked-prefill开启长提示分块预填充降低延迟尖峰--max-model-len1966088 卡 TP8 已验证的上下文上限架构上限是 1M需按显存调整--max-num-seqs32并发请求上限与上下文长度一起调--gpu-memory-utilization0.90GPU 显存占用上限--attention-configmla_prefill_backendTRTLLM_RAGGED等MLA 预填充走 TRT-LLM ragged 核并开启 FP8 query 量化--moe-backendflashinfer_trtllmMoE 计算后端⚠️ 别忘了运行时补丁vLLM 对这套混合量化 checkpoint 的完整支持还在上游化过程中需要挂载 runtime_patches/sitecustomize.py 并通过环境变量启用KIMI_K3_FP8_PB1、KIMI_K3_NVFP4_SITU_G1_SCALE1、KIMI_K3_FIX_MM_PROMPT_UPDATES1。补丁下载命令见 README.md。SGLang 实战上下文长度与并发一次调好SGLang 路线更省心官方镜像lmsysorg/sglang:dev-dev-kimi-k3-nvfp4无需运行时补丁量化方案直接从 checkpoint 配置读取完整命令见 README.md上下文长度默认沿用 checkpoint 自身值用--context-length收窄并与并发一起按显存调整--moe-runner-backend flashinfer_trtllm是必选项--tp-size 8 --dcp-size 8对应 8 卡验证配置内置的 RadixAttention 会自动复用共享前缀与前缀缓存思路一致想要更高解码速度可开启 DSPARK 投机解码--speculative-algorithm DSPARK、--speculative-draft-model-path RadixArk/Kimi-K3-DSpark、--speculative-dspark-block-size 7不需要时去掉这三个参数即可。让前缀缓存真正起效的 3 个实战技巧稳定前缀把系统提示词、few-shot 示例放在消息最前面并保持逐字节一致——前缀只要变一个字符整段缓存就失效多轮对话天然受益历史消息全部算作前缀新一轮只需预填充用户新问的部分轮次越多命中率越高、延迟越低同批请求共享前缀多个请求总结同一份文档、操作同一个代码库时尽量放在同一服务会话内发出可复用同一批缓存块配合分块预填充长上下文 prefill 成本明显下降。推荐生成参数与常见坑位官方推荐的生成参数详见 README.md参数推荐值temperature/n1.0/1presence_penalty/frequency_penalty0/0top_p单步任务0.95Agent 任务1.0reasoning_effortlow/high/max默认max推理常驻开启常见坑位 不要盲目调大--max-model-len显存随上下文 × 并发增长196,608 只是 8 卡验证值不是架构上限 硬件限定 NVIDIA BlackwellB200 / B300首次启动需下载约 1.6 TB 权重--load-format fastsafetensors可把 8 卡启动时间压到约 18 分钟 推理需要HF_TOKEN镜像与命令需与 README.md 保持一致。好消息是混合量化几乎没有牺牲效果GPQA Diamond 0.9277原版 0.9321、Terminal-Bench 2.1 0.8020原版 0.8034SciCode 与 IFBench 甚至略有反超完整对比见 README.md。文件快速参考文件内容README.md官方 vLLM / SGLang 部署命令与评测基准config.json模型架构与量化配置入口hf_quant_config.json逐层量化方案NVFP4 / FP8_PB_WOconversion_report.json量化转换报告247,296 个专家、696 个注意力模块generation_config.json最大生成长度 1,048,576runtime_patches/sitecustomize.pyvLLM 兼容性补丁FP8_PB_WO 分派等model.safetensors.index.json96 个权重分片索引modeling_kimi_k3.py模型实现源码掌握KV Cache FP8 前缀缓存 分块预填充这一组合再根据显存在--max-model-len与并发之间找平衡你就能把 Kimi-K3-NVFP4 的 1M 级超长上下文真正跑起来 赞分享【免费下载链接】Kimi-K3-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Kimi-K3-NVFP4点击查看免费下载相关推荐KivyMD实际项目案例构建完整的电商应用UIKivyMD实际项目案例构建完整的电商应用UI KivyMD是一个基于Kivy框架的Material Design组件库专为跨平台触摸应用开发设计。本文将通UI组件前端LMCache CacheBlend 实战指南突破前缀缓存的非前缀 KV 复用LMCache CacheBlend 实战指南突破前缀缓存的非前缀 KV 复用 导读 CacheBlend 是 LMCache 提供的 KV Cache 复用人工智能大模型缓存抽象模型推理服务PEFT CARTRIDGE 适配器完全指南把长上下文压缩进参数化 KV 缓存前缀PEFT CARTRIDGE 适配器完全指南把长上下文压缩进参数化 KV 缓存前缀 本文是 Hugging Face PEFT 仓库中 CARTRIDGE 适人工智能大模型微调LoRA创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考