大模型人工智能模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4点击查看免费下载NVIDIA 开源的Dory1.0-4B是一个 40 亿参数的循环式Looped小模型官方同时提供BF16、MXFP8、NVFP4、GGUFQ5_K_M四种量化格式的检查点。本文帮你一文读懂四种量化格式有什么区别、精度和速度各自损失多少、以及在不同硬件上应该如何选型。 速览Dory1.0-4B 的 4 种量化检查点量化格式权重点数W/A显存/体积估算最佳场景推理引擎BF16W16A16≈ 8 GB效果基准、评测复现vLLM / PyTorchMXFP8W8A16≈ 4 GB显存有限、追求均衡vLLMNVFP4本仓库W4A16≈ 3.3 GB吞吐最高、Blackwell 首选vLLMGGUFQ5_K_M≈5.5 bit≈ 3.67 GBApple Silicon / 本地 PCllama.cpp 体积估算说明4B 参数 × 16 bit ≈ 8 GBNVFP4 检查点中backbone.embeddings与lm_head未量化保持 BF16这也是本仓库文件约 3.2 GB 的原因详见 model.safetensors。⚡ 选型原理W4A16、W8A16、W16A16 到底差在哪简单理解三个字母的含义W 权重Weights位宽决定模型文件多大、占多少显存也直接影响矩阵乘法的吞吐A 激活Activations位宽Dory1.0-4B 全系列统一用16-bit 激活只在权重上省从而把精度损失压到最低。因此BF16W16A16无损基准。官方 Benchmark 数据均以 BF16 测得MXFP8W8A168-bit 微缩放浮点Microscaling显存减半精度几乎无损NVFP4W4A16NVIDIA 4-bit 浮点格式。Dory 是原生 NVFP4 预训练的前 4.5T token 直接在 NVFP4 下训练量化损失远小于先训 BF16 再压缩的模型GGUFQ5_K_Mllama.cpp 生态的标准格式面向 Mac 和本地 PC注意它是量化导出官方 Benchmark 不直接代表其精度。 如何读懂本仓库的 NVFP4 量化细节本仓库就是NVFP4W4A16检查点量化配置可以直接在 config.json 里验证quant_algo: W4A16_NVFP4、num_bits: 4、group_size: 16每 16 个权重共享一个缩放因子ignore: [backbone.embeddings, lm_head]词嵌入与输出头保留 BF16避免首尾层精度塌陷quant_method: modelopt由 NVIDIA ModelOpt 工具链量化。独立量化清单见 hf_quant_config.json推荐采样参数temperature 1.0 / top_p 0.95见 generation_config.json对话模板与工具调用规则见 chat_template.jinja。 效果对比4-bit 量化会损失多少智能Dory1.0-4B 的弹性推理是关键同一个检查点可通过循环次数 k在精度与算力间自由权衡k1 最快k4 最准官方默认推荐k21 次循环时Dory1.0-4B 的 AA v4.3.2 估算分约 13.8超过 2 倍参量的 Gemma4-26B-A4B16.35 附近为 2 循环才追平4 循环反超至 18.4循环推理还带来Token 效率在 Terminal-Bench 2.1 上k4 相比 k1 输出的 token 减少一半0.50xGDPval-AA-V2 上更是低至 0.40x——推理更快还更省钱。 DGX Spark 实测MXFP8 与 NVFP4 快多少官方在 NVIDIA DGX Spark 上实测了相对 BF16 基线的加速比输入长度 ISL输出长度 OSLBatchMXFP8W8A16NVFP4W4A16256030011.69×2.17×128102411.84×2.44×输出越长解码越吃算力NVFP4 优势越明显最高可达2.44 倍吞吐。✅ 选型速查表对号入座你的场景推荐格式一句话理由NVIDIA HopperH100/ BlackwellB200、B300 vLLM 高并发部署NVFP4原生 4-bit 预训练 2.2~2.4× 加速显存最省显存紧张但求精度/速度均衡MXFP88-bit 权重几乎无损约 1.7~1.8× 加速MacApple Silicon/ 本地 PCllama.cpp 生态GGUFQ5_K_M唯一能在 Metal/纯 CPU 环境流畅跑的方案算法研究、效果评测、蒸馏教师BF16官方 Benchmark 的参照基准️ 快速上手启动 Dory1.0-4B NVFP4在支持 Dory 的 vLLM 环境需安装带 Dory 支持的 vLLM 分支中启动服务vllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 \ --hf-overrides {n_recurrent_loops: 2, recurrent_kv_cache_mode: per_loop} \ --max-model-len 262144 \ --reasoning-parser nemotron_v3 \ --tool-call-parser qwen3_coder \ --enable-auto-tool-choice三个实用调参建议详见 README.md循环次数默认n_recurrent_loops: 2求极致速度改 1求 Agent 任务SWE-bench、Terminal-Bench更高精度改 4KV Cache 内存把recurrent_kv_cache_mode改为last_loop无论循环几次KV Cache 都保持 1 循环的占用长上下文/高并发更从容客户端参数统一用temperature1.0、top_p0.95与 generation_config.json 一致API 完全兼容 OpenAI 客户端。 小结生产部署选NVFP4均衡求稳选MXFP8本地 Mac 选GGUF评测研究选BF16。四种格式共享同一套循环推理机制切换格式不影响n_recurrent_loops等所有行为参数迁移成本几乎为零。赞分享大模型人工智能模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4点击查看免费下载相关推荐NVFP4 vs FP8 vs BF16FLUX.2-klein-4b-nvfp4 量化版实测对比显存与画质一图看懂NVFP4 vs FP8 vs BF16FLUX.2 klein 4b nvfp4 量化版实测对比显存与画质一图看懂 FLUX.2 klein 4b nvfNVFP4 vs BF16 vs MXFP8MiniMax-Music3六大量化版本显存占用、生成速度与音质全对比NVFP4 vs BF16 vs MXFP8MiniMax Music3六大量化版本显存占用、生成速度与音质全对比 MiniMax Music3 是 MiniMLX量化选型终极指南North-Micro-Vision-Instruct-mxfp4 vs BF16 vs NVFP44bit模型到底选哪个MLX量化选型终极指南North Micro Vision Instruct mxfp4 vs BF16 vs NVFP44bit模型到底选哪个 正在为上一篇ZCode 中的 AI 上下文使用可视化Context 复合组件体系实战解析下一篇Pelican 元数据解析Markdown 空 Tags 字段为何被正确丢弃创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考