【免费下载链接】MiniCPM-V-4.7-35B-A3B-mxfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-35B-A3B-mxfp4点击查看免费下载MiniCPM-V-4.7-35B-A3B-mxfp4 是 mlx-community 基于 MLX 框架转换的 mxfp4 量化多模态视觉语言模型采用 MoE混合专家稀疏架构35B 总参数、每 token 仅激活约 3B配合 MXFP4 低比特量化后整模型权重仅约 22.5GB让消费级设备跑 35B 级多模态模型变得现实。本文将拆解它的 MoE 架构、混合注意力设计与本地推理的启用方法 它是什么一个为本地推理优化的多模态模型这个仓库是从官方 openbmb/MiniCPM-V-4.7-35B-A3B 转换而来转换脚本与版本记录见 conversion.json由 MLX-VLM 0.7.8 完成量化采用 Apache-2.0 许可。它的定位很清晰图 文都能理解的视觉语言模型VLM支持单图、多图与视频输入默认视觉下采样为16x需要更细粒度时可用4x模式。核心规格一览维度规格总参数35B每 token 激活参数约 3BTop-8 / 256 专家语言层数40 层每 4 层 1 层为全注意力上下文长度262144 tokens256K量化格式mxfp44-bit组大小 32视觉塔27 层保持 BF16 不量化许可证apache-2.0MoE 架构35B 总参数为什么只激活 3B这是本模型速度快的根本原因答案藏在 config.json 的几行配置里num_experts: 256—— 每层 MLP 内置256 个专家num_experts_per_tok: 8—— 每个 token 只激活8 个专家moe_intermediate_size: 512shared_expert_intermediate_size: 512—— 专家与共享专家均为轻量结构打个比方模型像一栋有 256 间办公室的大楼处理每个 token 时只派 8 位专家上岗其余 248 位待机。于是参数容量达到了 35B 级别知识储备大、多模态理解强而实际计算量只有 3B 级别快、省内存。这就是名字中35B-A3B的含义A3B Active 3B。此外路由层mlp.gate与mlp.shared_expert_gate全部 80 个模块特意保留8-bit 仿射量化组大小 64避免路由器被激进量化后选错专家这个小细节对 MoE 模型质量至关重要。混合注意力3/4 线性注意力 1/4 全注意力config.json 的layer_types显示了一个很有规律的排布每 4 层中 3 层使用线性注意力linear_attention1 层使用全注意力full_attention。线性注意力层配合 Mamba 风格 SSM 状态mamba_ssm_dtype: float32与卷积核linear_conv_kernel_dim: 4长序列处理近乎 O(1) 开销全注意力层保留精确的全局建模能力旋转位置编码为mrope_mode: canvas的 3D 交织 MRoPE天然适配图像 token 的空间布局这种3:1 混合设计是它能撑住256K 上下文且不拖垮显存的关键长文档 多图混合输入时优势明显。mxfp4 量化22.5GB 装下 35B 的秘诀本仓库使用MXFP4 微缩放浮点格式4-bit、组大小 32相比传统 4-bit 仿射量化MXFP4 每 32 个权重共享一个浮点缩放因子精度损失更小且已被 Apple Silicon 与 MLX 生态深度优化。量化策略是混合精度并非一刀切模块精度说明语言专家 FFN 等主体mxfp44-bit, g32共 280 个模块体积大头MoE 路由器 gate / shared_expert_gate8-bit affineg64共 80 个模块保路由精度视觉塔、视觉 merger、embedding、输出头BF16保视觉质量线性注意力A_log张量保留源精度保证 SSM 数值稳定5 个分片文件合计约 22.5GB每个分片的 SHA-256 校验值都记录在 conversion.json 中下载后可自行验证完整性model-00001-of-00005.safetensors约 5.3GBmodel-00002-of-00005.safetensors约 5.4GBmodel-00003-of-00005.safetensors约 5.3GBmodel-00004-of-00005.safetensors约 5.2GBmodel-00005-of-00005.safetensors约 1.3GB视觉塔等未量化模块权重映射索引见 model.safetensors.index.json分词器为 tokenizer.json 与 tokenizer_config.json。本地推理一条命令跑起来无需 PyTorch、无需远程代码——MLX-VLM 的原生 NumPy/Pillow 处理器开箱即用。按 README.md 操作安装 MLX-VLM需包含 MiniCPM-V 4.7 支持的版本pip install -U githttps://github.com/Blaizzy/mlx-vlm.gitmain命令行直接生成mlx_vlm.generate --model mlx-community/MiniCPM-V-4.7-35B-A3B-mxfp4 --image path/to/image.jpg --prompt Describe this image. --max-tokens 200 --temperature 0想要更精细的视觉细节通过--processor-kwargs {downsample_mode: 4x}切换 4x 下采样默认 16x速度更快。采样默认值来自 generation_config.jsontemperature 1.0、top_k 20、top_p 0.95、开启采样do_sample: true。图像预处理参数最大 9 个切片、canvas 模式 MRoPE见 preprocessor_config.json 与 processor_config.json。速度预期由于每 token 只激活 3B 参数且 4-bit 权重大幅降低内存带宽压力在配备足够内存的设备上解码阶段的速度接近 3B 稠密模型而理解能力对标 35B 级模型——这正是 MoE 多模态模型的核心卖点。转换与验证如何复现这个量化版如果你想自己从 BF16 原版复现同款 mxfp4 转换README.md 提供了完整命令mlx_vlm.convert --hf-path openbmb/MiniCPM-V-4.7-35B-A3B \ --revision 17e651151c161dce119cd0ac57570f60da8a0b40 \ --mlx-path MiniCPM-V-4.7-35B-A3B-mxfp4 --dtype bfloat16 \ -q --q-bits 4 --q-group-size 32 --q-mode mxfp4该 checkpoint 通过了严格校验测试记录见 validation.json✅ 严格重新加载strict checkpoint reload通过✅ 量化配置检查通过✅ 纯文本生成通过22 正确回答 4✅ 16x 与 4x 两种下采样下的猫图描述均正确需要说明的是这些属于冒烟测试验证的是能跑、量化配置正确并非质量基准测试浮点 4-bit 与仿射量化在输出上可能存在细微差异。文件清单速查文件用途README.md使用说明与转换记录config.json架构配置MoE、注意力、量化策略conversion.json转换参数 权重 SHA-256 校验值validation.json通过项与测试环境记录generation_config.json采样参数默认值model.safetensors.index.json权重分片索引chat_template.jinja对话模板preprocessor_config.json图像预处理参数总结MiniCPM-V-4.7-35B-A3B-mxfp4 用256 选 8 的 MoE 稀疏激活 3:1 线性/全注意力混合 mxfp4 量化三板斧把 35B 级多模态模型的本地推理门槛压到了 22.5GB 磁盘 一条命令的水平非常适合想在自己设备上体验大参数视觉语言模型的用户 赞分享【免费下载链接】MiniCPM-V-4.7-35B-A3B-mxfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-35B-A3B-mxfp4点击查看免费下载相关推荐35B 参数为何只激活 3BMiniCPM-V-4.7-35B-A3B-nvfp4 的 MoE 专家架构全解35B 参数为何只激活 3BMiniCPM V 4.7 35B A3B nvfp4 的 MoE 专家架构全解 MiniCPM V 4.7 35B A3B nv35B总参数只激活3BMiniCPM-V-4.7-35B-A3B-6bit的MoE与混合线性注意力架构深度拆解35B总参数只激活3BMiniCPM V 4.7 35B A3B 6bit的MoE与混合线性注意力架构深度拆解 MiniCPM V 4.7 35B A3B 6读懂MiniCPM-V-4.7-35B-A3B-bf16为什么35B的MoE大模型只激活3B参数也能看懂图像读懂MiniCPM V 4.7 35B A3B bf16为什么35B的MoE大模型只激活3B参数也能看懂图像 读懂MiniCPM V 4.7 35B A3B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考