大模型基础模型多模态本地部署【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF点击查看免费下载NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 NVIDIA Nemotron 系列中面向本地 Agent 任务的 74B9B 激活多模态大模型本仓库已按 llama.cpp 的 GGUF 格式切分好从 IQ1 到 BF16 的完整量化梯度。本指南带你用llama.cpp在 10 分钟内把它跑起来选对量化版本、看清内存需求、复制即可运行的完整命令。 这个项目能做什么在开始之前先明确这个仓库的定位避免下载错文件特性说明架构Mamba-2 Transformer 混合LatentMoE专家并行仅激活 9B 参数能力文本、图像、视频输入文本输出视觉语言模型 VLM上下文最高支持 256K tokens语言英、中、日、法、西、德、意等用途本地智能体任务、工具调用、代码、文档理解关键点这是一套「量化全家桶」。同一个模型被压成了 13 种精度版本你只需要根据自己电脑的内存挑一个下载即可无需全部拉取。仓库的完整说明见 README.md模型卡中给出了各基准测试表现与许可OpenMDW-1.1可商用。 第一步安装 llama.cppllama.cpp 是运行 GGUF 模型的标准引擎。推荐直接下载官方预编译二进制无需编译环境# 1. 前往 llama.cpp 项目 Releases 页面下载与你系统匹配的压缩包 # Linux / macOS / Windows 各自独立包 # 2. 解压会得到 llama-cli、llama-server、llama-llava 等可执行文件 # 3. 把可执行文件加入 PATH或记住它的路径例如 export PATH$HOME/llama.cpp/build:$PATH # 验证安装 llama-cli --version⚠️版本提示该模型是 Mamba-2 混合架构请使用较新的 llama.cpp 构建版本建议直接取最新 Release旧版本可能无法识别混合层。 第二步下载模型只下载你需要的量化版本克隆本仓库文件通过 Git LFS 自动拉取需已安装git-lfsgit clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF.git cd NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF量化版本怎么选内存需求速查表这是新手最容易卡住的一步。下表按内存从低到高排好对号入座即可版本文件体积建议内存质量适合人群UD-IQ1_S17.2 GiB24 GB★★24G 轻薄本 / 最低门槛UD-IQ1_M18.9 GiB24 GB★★同上略好IQ2_XXS20.5 GiB32 GB★★★24GB 显卡首选UD-IQ2_XXS20.5 GiB32 GB★★★同上UD-IQ2_M22.9 GiB32 GB★★★24GB 目标甜点档UD-Q2_K_XL26.8 GiB32 GB★★★☆32G 内存主力UD-IQ3_XXS29.4 GiB40 GB★★★☆40G 内存UD-Q3_K_XL36.4 GiB48 GB★★★★48G 内存UD-Q4_K_XL46.8 GiB64 GB★★★★☆64G 高性价比推荐UD-Q5_K_XL54.9 GiB64 GB★★★★★64G 求质量UD-Q6_K_XL67.4 GiB80 GB★★★★★80G 高质量Q8_073.4 GiB96 GB★★★★★接近无损BF16138 GiB160 GB满血微调 / 生产推理推荐组合24 GB 内存→ 选IQ2_XXS或UD-IQ2_M32 GB 内存→ 选UD-Q2_K_XL64 GB 内存→ 选UD-Q4_K_XL质价比最佳追求最高质量→ 选Q8_0或UD-Q6_K_XL 分片文件-00001-of-00003在运行时用第一个分片的路径指向即可llama.cpp 会自动加载同目录的其余分片例如 UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf。⚡ 第三步完整运行命令方式 A交互式命令行最快上手# 以 64GB 的 Q4_K_XL 版本为例按上表替换模型路径 llama-cli -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf \ --ctx-size 16384 \ --temp 1.0 --top-p 0.95启动后即可直接在终端输入问题对话。--temp 1.0 --top-p 0.95是官方推荐的采样参数。方式 B本地 API 服务对接前端 / 应用llama-server -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf \ --ctx-size 16384 \ --port 8080 --host 127.0.0.1服务启动后浏览器访问http://127.0.0.1:8080即可获得一个开箱即用的 Web 聊天界面也可通过标准 OpenAI 兼容接口/v1/chat/completions调用。方式 C多模态视觉图像 / 视频理解本模型是 VLM必须加载视觉投影器文件 mmproj-BF16.gguf约 1.6 GiB才能看图# 开启视觉的服务端自动识别图片输入 llama-server -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf \ --mmproj mmproj-BF16.gguf \ --ctx-size 16384 --port 8080 视频输入支持 mp4最长 2 分钟。图像支持 jpg / png。️ 进阶用 dflash 加速推理可选仓库自带推测解码 drafter dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf仅约 0.9 GiB通过 LiLiCorr/DFlash 机制可显著提升出字速度。在命令中追加# 在 llama-server / llama-cli 后追加 --draft-model dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf 这是「加速包」不影响模型质量纯提速。显存/内存紧张时可省略。❓ 常见问题 FAQQ1内存不够模型能跑吗能。MoE Mamba 混合架构支持CPU 内存混合加载。只要物理内存放得下权重见上表没有独立显卡也能跑只是速度取决于内存带宽。Q2只想要某一个量化版本怎么省流量用git sparse-checkout只检出目标目录例如只要 Q4git clone --filterblob:none --sparse https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF.git cd NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF git sparse-checkout set UD-Q4_K_XL这样只会下载UD-Q4_K_XL/分片节省大量带宽与磁盘。Q3提示「架构不受支持 / 加载失败」多为 llama.cpp 版本过旧导致。请升级到最新 Release 后重试见第一步版本提示。Q4能商用吗可以。模型遵循OpenMDW-1.1许可支持商业与非商业用途。✅ 总结按内存从量化表中挑一个版本下载24G 选 IQ264G 选 Q4_K_XL。llama-cli快速试跑llama-server起服务对接应用。要看图就加--mmproj mmproj-BF16.gguf要提速就加--draft-model。全部命令均可直接复制运行10 分钟即可在本机跑起这个 74B 多模态智能体模型。赞分享大模型基础模型多模态本地部署【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF点击查看免费下载相关推荐本地AI集群搭建指南exo 让多设备推理最高提速 3.2 倍本地AI集群搭建指南exo 让多设备推理最高提速 3.2 倍 跑本地大模型时大多数人的直觉是设备越多只是能塞下更大的模型。 exo https://li人工智能大模型语音音频模型量化本地部署Mac上3分钟跑起NVIDIA-Nemotron-3.5-LightningMLX本地大模型快速上手教程Mac上3分钟跑起NVIDIA Nemotron 3.5 LightningMLX本地大模型快速上手教程 想在自己的 Mac 上离线运行一个 300 亿参数级如何快速上手privacy-filter-nemotron-GGUF10分钟用pf-cli完成第一次PII检测如何快速上手privacy filter nemotron GGUF10分钟用pf cli完成第一次PII检测 privacy filter nemot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考