大模型基础模型多模态模型量化DeepSeek【免费下载链接】DeepSeek-V4.1-Flash-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/DeepSeek-V4.1-Flash-NVFP4点击查看免费下载DeepSeek-V4.1-Flash-NVFP4是 NVIDIA 基于 Model Optimizer 发布的NVFP4 量化模型它将 552B 参数的 DeepSeek-V4.1-Flash MoE 模型的 384 个路由专家全部压缩为W4A4权重和激活均为 4 bit格式让这台巨无霸能在 Blackwell 平台上以更低显存、更高吞吐完成推理。本文带你彻底搞懂 NVFP4 量化原理、它量化了哪些层以及精度与部署表现。一、为什么 552B MoE 模型需要 NVFP4 量化DeepSeek-V4.1-Flash 是一个原生多模态的Causal Encoder-Decoder MoE模型架构名DeepseekV41ForCausalLM核心规格如下指标数值主干参数552BMoE384 个路由专家 × 40 层激活参数prefill 阶段 8B / decode 阶段 16B条件记忆Engram196B上下文长度最高 1M tokens支持硬件NVIDIA Blackwell如 GB300MoE 模型的特点是总参数巨大、单次激活很少但推理显存瓶颈恰恰来自那 552B 总权重——路由专家必须全部驻留显存。原始检查点的路由专家已经是 4-bit 的 MXFP4 格式为何 NVIDIA 还要再做一次 NVFP4 转换关键有三点硬件原生支持Blackwell 的 Tensor Core 对 NVFP4 有原生的 4-bit 矩阵乘加速路径直接喂给硬件比软解更省算力无损转换NVFP4 的缩放因子布局更细group size 16可以把 MXFP4 的权重逐块无损重映射不损失任何已量化的数值W4A4 全 4-bit 计算激活侧也压到 4-bit矩阵乘法在最低精度下完成速度和显存收益最大化。二、NVFP4 格式拆解4 bit 能装下什么NVFP4 的核心是E2M1 浮点编码——1 位符号、2 位指数、1 位尾数只值 8 种非负幅值0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6这份查找表可以直接在仓库的转换脚本里看到FP4_TABLE。两个 FP4 值打包进一个字节float4_e2m1fn_x2这就是4-bit 权重在磁盘上的真实形态。单靠 E2M1 的动态范围远远不够NVFP4 用两级缩放因子弥补块级 scale每 16 个元素一组group_size: 16配一个缩放因子把组内数值拉回 [-6, 6] 的可表示区间张量级 scale整个张量再乘一个全局幂次因子本仓库中 Engram 表使用 UE8M0 幂次格式见 config.json 中的scale_fmt字段。这正是 NVFP4 与 MXFP4 的本质区别MXFP4源格式NVFP4目标格式块大小32 元素16 元素块级 scaleUE8M0只能是 2 的幂更高精度浮点转换关系—可从 MXFP4 无损重映射块越小、scale 越灵活量化误差越小。仓库内的参考 kernel fp4_gemm_kernel 展示了 W4A4 矩阵乘的完整流程激活先按 32/128 块量化、权重按 32 块量化累加器中再逐块乘回 scale 校正——这就是 A4激活 4-bit在推理时的落地方式。三、哪些层被量化一套外科手术式混合精度方案NVFP4 并不是无差别地压全模型。打开 hf_quant_config.json 可以看到清晰的边界✅量化对象40 层 × 384 个路由专家的w1、w2、w3三个投影moe_quant_algo: NVFP4共 40 个layers.N.ffn.experts条目保持原精度exclude_modules注意力层*.attn.*、共享专家*.ffn.shared_experts.*、输出头head、多 token 预测层mtp.*。这些部分对数值敏感或参数量小保留 MXFP8/BF16 精度更划算Engram 查找表第 1、14 层的条件记忆共 196B从 FP8 转为 MXFP4每 32 元素一个 UE8M0 scale这一步是有损的约 12% 相对 L2 误差但换来显存的大幅下降。这种只压 MoE 专家的策略非常聪明MoE 专家占总参数的绝大部分收益最大而敏感模块原样保留把精度风险压到最低。config.json的 quantization_config 字段完整记录了这套配置运行时框架vLLM/SGLang就是靠它识别加载格式。四、量化是如何完成的Model Optimizer 与无损转换整个量化流程由nvidia-modelopt v0.47.0rc0完成几个关键数字值得留意环节结果权重无损转换16,986,931,200个权重块全部通过验证激活 scale 校准46,080 个投影条目中仅18 个回退到保守 scale校准数据cnn_dailymail Nemotron-Post-Training-Dataset-v2各 512 条序列长 512检查点体积476 GiB源→ 492 GiBNVFP4→约 400 GiBEngram 转 MXFP4 后分片48 个 safetensors 文件清单见 model.safetensors.index.json这里有个容易反直觉的点NVFP4 反而让检查点变大了 16 GiB。原因是 16 元素一组 scale 的粒度比 32 元素一组更细scale 元数据变多了——这是用存储精度冗余换硬件友好性的取舍。而 Engram 表转成 MXFP4 后又砍下约 90 GiB在 TP4 部署时每张卡上的 Engram 表从 23.6 GiB 降到12.2 GiBvLLM 默认将其放在主机内存。另外要澄清一个常见误解权重无损转换 ≠ 输出完全一致。它保证的是反量化后的权重数值不变而激活 scale 是校准得到的推理输出会与源模型存在微小差异——官方评测证实了这种差异可以忽略见下节。五、量化后的精度与部署指南官方在 vLLM GB300 上做了完整基准对比NVFP4 量化后的模型几乎不损失精度个别任务反而更高基准MXFP4源NVFP4 MXFP4 EngramGPQA Diamond91.03590.783AA-LCR长上下文78.56379.562↑SciCode54.40153.994IFBench76.66777.867↑MMMU-Pro多模态74.04674.566↑Terminal-Bench 2.181.6081.88↑部署只需 4 张 GB300以 vLLM 为例完整命令见 README.mdvllm serve nvidia/DeepSeek-V4.1-Flash-NVFP4 \ --tensor-parallel-size 4 \ --tokenizer-mode deepseek_v41 \ --reasoning-parser deepseek_v41 \ --max-model-len 1048576⚠️ 注意当前版本的 Engram 表为 MXFP4 格式需要包含相应支持的 vLLM 构建SGLang 用户可固定到旧版本 revision 使用 FP8 Engram 表。六、仓库文件速查顺着代码理解量化想深入细节建议按这个顺序读仓库README.md模型卡含量化说明、评测与部署命令config.json运行时识别的量化配置group_size、scale_fmt、量化层清单hf_quant_config.json量化阶段的完整配方与排除模块inference/convert.py权重分片与 E2M1→E4M3 无损重映射实现inference/kernel.pyFP4 量化 kernel 与 FP8×FP4 GEMM 参考实现inference/README.md最小推理参考实现的安装与运行inference/requirements.txt参考实现依赖清单总结DeepSeek-V4.1-Flash-NVFP4 展示了大模型量化的一个成熟范式不追求压一切而是把 4-bit 火力集中在占显存大头的 MoE 专家上用更细的 NVFP4 scale 布局实现无损转换同时让 Blackwell 硬件的原生 FP4 路径全速运转。最终约 400 GiB 的检查点、几乎无损的基准表现证明了 W4A4 量化在超大 MoE 模型上已经从能不能用走进了好用的阶段。赞分享大模型基础模型多模态模型量化DeepSeek【免费下载链接】DeepSeek-V4.1-Flash-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/DeepSeek-V4.1-Flash-NVFP4点击查看免费下载相关推荐为什么选择NVFP4GLM-5.3-Flash-NVFP4的W4A4混合精度量化完全解析为什么选择NVFP4GLM 5.3 Flash NVFP4的W4A4混合精度量化完全解析 GLM 5.3 Flash NVFP4 是 320B 参数 MoE大模型基础模型模型量化多模态本地部署NVFP4格式深度剖析Qwen3.6-35B-A3B-NVFP4如何把35B MoE模型压进4-bit浮点NVFP4格式深度剖析Qwen3.6 35B A3B NVFP4如何把35B MoE模型压进4 bit浮点 RedHatAI/Qwen3.6 35B A3BNVFP4 W4A4量化到底强在哪Qwen3.8-27B-NVFP4如何把模型从55GB压到21.9GBNVFP4 W4A4量化到底强在哪Qwen3.8 27B NVFP4如何把模型从55GB压到21.9GB 想低成本部署 27B 级别的多模态大模型 NVFP上一篇百度网盘高速下载终极方案免费突破限速的完整实战指南下一篇如何免费解锁NVIDIA显卡隐藏性能Profile Inspector终极配置指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考