大模型基础模型多模态本地部署【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF点击查看免费下载NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 Unsloth 为 NVIDIA Nemotron 3.5 Bolt 多模态大模型制作的 Dynamic GGUF 量化权重仓库并随仓库附带了 DFlash NVFP4 推测解码 drafter让 74B 级大模型在本地推理时拥有大模型的智商、小模型的速度。本文带你快速看懂仓库里的每一档权重并讲清楚如何用 DFlash NVFP4 推测解码把生成速度拉起来 一、模型速览74B 总参数、仅 9B 激活的 MoE 选手这是一只为本地智能体任务设计的多模态模型核心参数一览项目说明总参数 / 激活参数74B / 9BMoE 架构每个 token 只计算约 1/8 的专家参数主干架构Mamba-2 Transformer 混合 LatentMoE视觉编码器C-RADIO v4-H支持图片与视频输入最大上下文256K tokens推测解码通过 DFlash 提供 LiLiCorr drafter官方 vLLM 配方默认 7 个推测 token许可证OpenMDW-1.1允许商用详细模型信息见仓库文档 README.md。关键点由于是 MoE 结构它的激活参数量只有 9B天然比同体量稠密模型更快再叠加推测解码加速延迟还能再降一截。二、仓库文件清单选对量化档位本仓库由 Unsloth Dynamic 3.0 量化流程产出覆盖了从 1-bit 到 BF16 的全档位按显存/内存对号入座即可档位文件 / 目录适合谁超低内存1~2 bitUD-IQ1_S、UD-IQ1_M、IQ2_XXS、UD-IQ2_M、UD-IQ2_XXS、UD-IQ3_XXS显存最紧张、只求能跑起来低比特实用档UD-Q2_K_XL、UD-Q3_K_XL小显存下尽量保质量均衡推荐档UD-Q4_K_XL/、UD-Q5_K_XL/多数人的第一选择质量/速度平衡高质量档UD-Q6_K_XL/、Q8_0/显存充裕、追求近无损输出全精度微调用BF16/后训练、二次量化非直接推理视觉投影模块mmproj-BF16.gguf需要图片/视频理解时搭配加载推测解码 drafterdflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf本文主角配合 vLLM 加速用 小文件如 UD-Q4_K_XL是主文件 分片的多段 GGUF加载时指定其中一个即可其余分片需放在同一目录。三、DFlash NVFP4 推测解码30 秒讲清原理推测解码Speculative Decoding的思路可以概括为小模型打草稿大模型做批改草稿一个体量小得多的 drafter 模型一口气猜出接下来的一串 token本仓库配方为 7 个批改74B 主模型只需一次前向并行验证这 7 个草稿 token正确的全部收下遇到错误就回退到正确位置结果一个生成步能推进多个 token而输出分布与直接用主模型逐字生成完全一致——更快但不牺牲质量。仓库里的 drafter 权重采用 NVFP44-bit 浮点量化体积仅约 1GB相比 74B 主模型几乎可以忽略加速净赚。这套 drafter 基于 DFlash 框架的 LiLiCorr 方案详见 README.md。四、实战三步把加速跑起来第 1 步下载权重仓库通过 Git LFS 存储大文件直接克隆即可git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF cd NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF git lfs pull只想要某一档量化用git lfs pull --include路径按需拉取即可例如只取 UD-Q4_K_XL 目录和 drafter 文件能省下大量带宽。第 2 步vLLM 部署并开启 DFlash 推测解码DFlash 加速面向 GPU 推理路线推荐用 vLLM 部署NVIDIA Ampere / Hopper / Blackwell 显卡主模型指向你选定的 GGUF/Safetensors 权重路径或按官方 vLLM recipes 指定的权重在推测解码配置中指定 dflash-...NVFP4.gguf 作为 drafter推测 token 数设为 7与官方配方一致采样参数建议 temperature 1.0、top_p 0.95这是官方继承自 Super 3.5 VL 客户端的推荐值。多模态输入时再额外加载 mmproj-BF16.gguf 视觉投影模块即可接收图片与视频帧。第 3 步没有大显卡用 llama.cpp 跑 GGUF纯 CPU 或小显存机器可以直接用 llama.cpp 加载上面的 GGUF 档位权重指定任意一个分片即可加载完整模型配合 mmproj 文件还能做多模态问答。这条路线以稳定为主DFlash 加速建议在 vLLM 路线上享受。五、效果预期与调优建议显存不够就先降档从 UD-Q4_K_XL 起步不够再降到 Q3/Q2 或 IQ 系列速度只会更快对话与智能体场景收益最大短问短答、工具调用时草稿命中率高加速比最明显超长思考链场景可考虑减少推测 token 数drafter 必须与主模型配套本 drafter 只适配 Nemotron 3.5 Bolt 74B-A9B 家族不要与其他模型混搭BF16 目录不是必需它主要面向定制与后训练日常推理用 Q4/Q6/Q8 档即可。六、常见问题 FAQQDFlash 文件是干什么的一定要下载吗A它是推测解码的草稿模型LiLiCorr drafterNVFP4 量化。想要快就下载只求能跑可只下主模型权重。QUD-Q4_K_XL、UD-Q5_K_XL 里的 UD 是什么AUnsloth Dynamic 量化档位的命名同一基础量化类型下按显存预算给出的推荐档。Q这个模型可以商用吗A可以许可证为 OpenMDW-1.1商业与非商业用途均允许。Q支持哪些语言A以英文与编程语言为主同时支持中文、日语、法语、德语、西班牙语等 10 余种语言。写在最后NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 用全档位 GGUF 约 1GB 的 NVFP4 drafter的组合把 74B 多模态智能体的部署门槛压到了很低选一个合适的量化档、按官方配方挂上 DFlash 推测解码你就能在本地体验到又快又聪明的 256K 上下文助手。上手试试吧 ⚡赞分享大模型基础模型多模态本地部署【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF点击查看免费下载相关推荐NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF 是什么一文读懂 LiLiCorr 投机解码草稿模型NVIDIA Nemotron 3.5 Bolt 74B A9B 24GB LiLiCorr GGUF 是什么一文读懂 LiLiCorr 投机解码草稿模型 N不只是推理用Unsloth微调NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF BF16权重做SFT与后训练的完整路线不只是推理用Unsloth微调NVIDIA Nemotron 3.5 Bolt 74B A9B GGUF BF16权重做SFT与后训练的完整路线 本文带你把大模型基础模型多模态本地部署10分钟快速开始如何用llama.cpp本地运行NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF附完整命令10分钟快速开始如何用llama.cpp本地运行NVIDIA Nemotron 3.5 Bolt 74B A9B GGUF附完整命令 NVIDIA Nem大模型基础模型多模态本地部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考