大模型基础模型多模态本地部署openBMB【免费下载链接】MiniCPM-V-4.7-35B-A3B-gguf项目地址https://ai.gitcode.com/hf_mirrors/openbmb/MiniCPM-V-4.7-35B-A3B-gguf点击查看免费下载本文带你一次选对MiniCPM-V 4.7 35B-A3B的GGUF 量化每个量化档位代表什么、占多少磁盘和显存、适配哪张显卡以及如何用 llama.cpp / Ollama 跑起来。这个仓库就是官方发布的 GGUFllama.cpp 格式权重仓库一口气给出 16 种量化从最省的 IQ3_XS约 13.5 GB到无损的 F16约 64.6 GB另附多模态投影文件和 DSpark 加速头覆盖 16 GB 显卡到 80 GB 大显存的几乎所有场景。 一句话背景MiniCPM-V 4.7 35B-A3B 是 MiniCPM-V 系列首个 MoE 多模态模型——总参数 35B、每个 token 只激活 3B支持单图、多图和视频理解。GGUF 格式专为 llama.cpp 生态设计支持 CPU 推理和显存卸载这也是它能在小显存上跑的关键。仓库内容一览16 种量化 3 个辅助文件整个仓库只有三类文件结构非常清爽完整说明见 README.md主模型权重16 种量化档位分类文件无损/高精度MiniCPM-V-4_7-35B-A3B-F16.gguf、MiniCPM-V-4_7-35B-A3B-Q8_0.gguf6-bitMiniCPM-V-4_7-35B-A3B-Q6_K.gguf5-bit4 档MiniCPM-V-4_7-35B-A3B-Q5_0.gguf、MiniCPM-V-4_7-35B-A3B-Q5_1.gguf、MiniCPM-V-4_7-35B-A3B-Q5_K_S.gguf、MiniCPM-V-4_7-35B-A3B-Q5_K_M.gguf4-bit6 档MiniCPM-V-4_7-35B-A3B-IQ4_XS.gguf、MiniCPM-V-4_7-35B-A3B-Q4_0.gguf、MiniCPM-V-4_7-35B-A3B-IQ4_NL.gguf、MiniCPM-V-4_7-35B-A3B-Q4_K_S.gguf、MiniCPM-V-4_7-35B-A3B-Q4_K_M.gguf、MiniCPM-V-4_7-35B-A3B-Q4_1.gguf3-bit3 档MiniCPM-V-4_7-35B-A3B-IQ3_XS.gguf、MiniCPM-V-4_7-35B-A3B-IQ3_M.gguf、MiniCPM-V-4_7-35B-A3B-mix_q3gud_im.gguf视觉投影文件mmproj跑多模态必需mmproj-model-f16.gguf约 1.4 GB默认 16x 视觉 token 压缩速度优先mmproj-model-f16-4x.gguf约 0.8 GB4x 压缩保留 4 倍视觉 token细节更足OCR、小字识别场景推荐加速组件dspark-MiniCPM-V-4_7-35B-A3B-F16.gguf约 0.73 GBDSpark 投机采样草稿头配合 llama.cpp 生态可显著提升解码速度——官方正是靠它 专家预调度实现了 iPhone 17 Pro Max 上 3 GB 内存 13 tokens/s 的端侧推理量化命名速读F16、Q4_K_M、IQ4_XS 到底差在哪不用记复杂理论看懂命名规则就够了F1616-bit 浮点等于没压缩的原始精度画质基准线Q8_0 / Q6_K / Q5_x / Q4_x数字是平均位宽8/6/5/4 bit。后缀 K_S、K_M 表示 K-quant 的小/中配置——用少量 16-bit 权重保护敏感层同位宽下质量更好无后缀如 Q4_0是最朴素的均匀量化IQxInt-Quant非对称 重要性加权量化同位宽下通常比 Q 系列更准。所以同是 3-bitIQ3_XS 的可用性明显好于老式 Q3mix_q3gud_im混合量化。把 MoE 专家层 FFN 权重ffn_(gate|up|down)_exps压到 Q3_K其余张量保持高精度详见 MiniCPM-V-4_7-35B-A3B-mix_q3gud_im.tensor-types.txt专为部分权重放显卡、部分放内存的卸载场景设计16 种量化显存与体积终极对照表下表大小均按仓库中权重的实际字节数核算1 GB 2³⁰ B量化档位文件大小建议显存画质评级一句话点评IQ3_XS13.5 GB16 GB★★★☆极限小显存方案日常对话够用复杂推理有损IQ3_M14.4 GB16 GB★★★☆比 IQ3_XS 更稳的 3-bit16 GB 卡优选mix_q3gud_im14.4 GB8-16 GB 内存卸载★★★☆MoE 专家层 Q3_K 混合档显存不够时的最佳卸载方案IQ4_XS17.4 GB24 GB★★★★4-bit 入门档质量已跨过明显损失线Q4_018.4 GB24 GB★★★★最朴素的 4-bit兼容性最好IQ4_NL18.4 GB24 GB★★★★非对称量化小尺寸下略优于 Q4_0Q4_K_S18.5 GB24 GB★★★★K-quant 小配置均衡之选Q4_K_M19.7 GB24 GB★★★★☆甜点档24 GB 显存的默认答案Q4_120.3 GB24 GB★★★★4.5-bit 过渡档Q5_022.3 GB32 GB★★★★5-bit 朴素版Q5_K_S22.3 GB32 GB★★★★☆5-bit K-quant 小配置Q5_K_M23.3 GB32 GB★★★★☆32 GB 卡推荐档Q5_124.3 GB32 GB★★★★☆5.5-bit接近 6-bitQ6_K26.6 GB32-48 GB★★★★★几乎无损48 GB 卡首选Q8_034.4 GB48 GB★★★★★与原始精度肉眼难辨F1664.6 GB80 GB★★★★★无损基准A100/H100 级⚠️ 显存估算 权重体积 视觉编码器mmproj 约 0.8~1.4 GB KV Cache 与激活开销。上下文开到 8K~16K 时建议在上表基础上再预留 2~4 GB。按你的显卡30 秒对号入座16 GB 显卡4070 Ti Super / 3090 二手等选 MiniCPM-V-4_7-35B-A3B-IQ3_M.gguf或显存吃紧时选 mix_q3gud_im 并把部分层卸载到内存。日常问答、看图描述没压力数学推理类任务请放宽预期。24 GB 显卡4090 / 5090 / A5000 等闭眼选 MiniCPM-V-4_7-35B-A3B-Q4_K_M.gguf。质量损失小、速度快、留足上下文空间是本仓库使用率最高的档位。32~48 GB 显卡32 GB 上 MiniCPM-V-4_7-35B-A3B-Q5_K_M.gguf 很从容48 GB 直接上 MiniCPM-V-4_7-35B-A3B-Q6_K.gguf 甚至 Q8_0画质基本无损。80 GB 及以上 / 不想牺牲任何东西F16 全精度跑满配合 4x 版 mmproj 获得最高视觉细节。纯 CPU 或小显存 大内存这正是 MoE 架构的红利区——每 token 只激活 3B 参数CPU 解码速度完全可用。选 mix_q3gud_im专家权重占比最大的部分用 Q3_K 压缩其余高精度内存带宽压力最小。跑起来llama.cpp 与 Ollama 两条路llama.cpp手动、可控性最强主权重 视觉投影文件要同时指定llama-server -m MiniCPM-V-4_7-35B-A3B-Q4_K_M.gguf \ --mmproj mmproj-model-f16.gguf \ --ctx-size 16384需要更强视觉细节时把--mmproj换成 mmproj-model-f16-4x.gguf 即可——这就是官方4x/16x 混合压缩设计默认 16x 求快4x 求细。Ollama最省心官方模型源已上线 openbmb/minicpm-v4.7一条命令拉取ollama run openbmb/minicpm-v4.7三个高频问题一次说清1. 量化后画质损失体现在哪量化损失不体现在图片清晰度上——视觉投影文件全系保持 F16 精度。损失主要体现在复杂推理、长文一致性等语言侧能力Q8_0/Q6_K 几乎无感Q4_K_M 偶有小瑕疵IQ3 档在难题上掉分较明显。而视觉细节想拉满靠的是换 4x 版 mmproj与主模型量化档位无关。2. 为什么 clone 下来 gguf 文件只有 136 字节这是正常的——仓库用 Git LFS 存储大文件指针文件里记录了真实大小也就是本文对照表的来源。克隆时执行git lfs install git lfs pull即可拉取真实权重clone 地址git clone https://gitcode.com/hf_mirrors/openbmb/MiniCPM-V-4.7-35B-A3B-gguf。3. 手机上能跑吗能。官方通过 Lookahead Expert Scheduling专家预取调度 细粒度分层量化 DSpark 投机采样让 35B-A3B 成为首个可在端侧无损流畅运行的开源 MoE 模型iPhone 17 Pro Max 仅 3 GB 内存即可 13 tokens/s 解码。本仓库的 dspark-MiniCPM-V-4_7-35B-A3B-F16.gguf 就是这套方案在 llama.cpp 侧的组成部分。选型口诀16 GB 选 IQ3_M24 GB 选 Q4_K_M32 GB 选 Q5_K_M48 GB 选 Q6_K/Q8_0显存不够就 mix_q3gud_im 内存卸载——剩下的交给 llama.cpp 就行。赞分享大模型基础模型多模态本地部署openBMB【免费下载链接】MiniCPM-V-4.7-35B-A3B-gguf项目地址https://ai.gitcode.com/hf_mirrors/openbmb/MiniCPM-V-4.7-35B-A3B-gguf点击查看免费下载相关推荐MiniCPM-V-4.7-1B-int4量化选型清单BNB、AWQ、GPTQ、GGUF、FP8五种方案怎么选MiniCPM V 4.7 1B int4量化选型清单BNB、AWQ、GPTQ、GGUF、FP8五种方案怎么选 MiniCPM V 4.7 1B int4 是人工智能大模型多模态基础模型模型量化本地部署7档量化怎么选MiniMax-H3-Pruned-GGUF从Q3_K_M到Q8_0的显存与画质选型清单7档量化怎么选MiniMax H3 Pruned GGUF从Q3_K_M到Q8_0的显存与画质选型清单 MiniMax H3 Pruned GGUF 是 Mi细看 Xing4.0 GGUF 全量化档位从 IQ2_M 到 f16质量与显存的账到底怎么算细看 Xing4.0 GGUF 全量化档位从 IQ2_M 到 f16质量与显存的账到底怎么算 把 29B 参数的模型塞进一张 16GB 消费级显卡靠的不是大模型人工智能本地部署模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考