人工智能大模型多模态基础模型本地部署【免费下载链接】MiniCPM-V-4.7-35B-A3BMiniCPM-V 4.7 是 MiniCPM-V 系列的最新模型提供 35B-A3B 变体其中 35B-A3B 是 MiniCPM-V 系列中的首个 MoE混合专家模型。它在家族现有的单图、多图和视频理解能力基础上结合了更强的基础能力、高效的视觉编码以及端侧推理特性。项目地址https://ai.gitcode.com/OpenBMB/MiniCPM-V-4.7-35B-A3B点击查看免费下载MiniCPM-V 4.7 是 MiniCPM-V 系列最新的多模态大模型其中35B-A3B是该系列首个 MoE混合专家模型。本文分享它在 iPhone 17 Pro Max 上的端侧推理实测仅占用约 3GB 内存解码速度稳定在13 tokens/s单图、多图和视频理解都能在手机本地流畅完成——不用联网、不用 GPU 服务器这就是端侧 MoE 推理的真实体验。为什么 35B MoE 大模型能塞进手机传统稠密大模型每生成一个字都要动用全部参数端侧推理时参数越多越慢。而 MoE 架构的思路是总参数大、单 token 激活参数少。从 config.json 可以看到 35B-A3B 的具体配置256 个专家每个 token 只激活 8 个激活占比约 3%即A3B约 3B 激活参数的由来40 层主干每 4 层才用一次全注意力其余 75% 为线性注意力长上下文计算量显著降低支持 256K 上下文覆盖绝大多数文档和视频理解场景完整 BF16 权重大约 70GB见 model.safetensors.index.json共 16 个分片问题在于35GB 级权重远大于手机内存不同 token 还会选中不同专家反复从闪存加载权重会导致解码卡顿。MiniCPM-V 4.7 正是针对这一点做了一套端侧推理优化。三大端侧优化技术专家调度、层量化与投机采样MiniCPM-V 4.7 35B-A3B 成为首个能无损流畅运行在端侧的开源 MoE 模型靠的是三项互补技术LES 前瞻专家调度Lookahead Expert Scheduling用跨层路由预测提前预载下一层可能用到的专家权重并把预取专家的计算与其余专家的加载重叠执行。预测只影响预取调度实际计算仍遵循模型原始的 token 级路由——能力不打折速度却上来了。细粒度层量化对专家权重做分层细粒度量化减小存储占用和内存带宽流量让专家加载更适配端侧内存与带宽限制。DSpark 投机采样集成用轻量草稿模型先猜出一串 token再由主模型一次性校验配合前两项技术进一步提升解码效率官方同时发布了配套的 DSpark 草稿模型。iPhone 17 Pro Max 实测13 tokens/s 是什么概念以下是设备端直接录屏、未经剪辑的演示iPhone 17 Pro Max35B-A3B图片问答、视频理解、界面操作描述等任务全程本地完成回答速度接近正常阅读速度运行期间占用内存仅约3GB——这意味着它甚至能和相机、浏览器等其他 App 共存解码13 tokens/s对交互类场景看图说话、OCR、文档摘要已经足够随手问、即时答不止手机在 iPad M4 上同样流畅。官方还支持iOS、Android、HarmonyOS三大移动系统并对 Rockchip、Houmo后摩、Intel、AMD、Arm 等芯片平台提供 day-0 部署支持端侧部署生态相当完整。性能与效率不只能跑还跑在 Pareto 前沿端侧大模型的取舍往往是能力 vs 速度而 35B-A3B 在 Instruct 模式下用更短的推理时间取得了比 Qwen3.6 35B-A3B 更高的综合得分把多模态大模型的性能–效率 Pareto 前沿往前推了一档。视觉语言综合能力方面35B-A3B 在多个主流评测上保持第一梯队水平快速上手三步部署 MiniCPM-V 4.7 35B-A3B️第 1 步安装依赖pip install transformers[torch]5.18.0 torchvision torchcodec第 2 步获取模型权重模型以openbmb/MiniCPM-V-4.7-35B-A3B发布除 BF16 原版权重外还提供FP8、int4、AWQ、GPTQ、GGUF等量化版本端侧和 CPU 场景优先选 GGUF另可搭配 Ollama 的minicpm-v4.7直接使用。第 3 步加载并推理from transformers import AutoModelForImageTextToText, AutoProcessor model_id openbmb/MiniCPM-V-4.7-35B-A3B processor AutoProcessor.from_pretrained(model_id) model AutoModelForImageTextToText.from_pretrained( model_id, torch_dtypeauto, device_mapauto )之后传入图片 文字的消息即可对话。两个实用小技巧downsample_mode16x省算力、适合大多数场景需要识别更多细节时换成4x视觉 token 多 4 倍基于 ViT 内早期压缩开销可控多图、视频场景建议开启 Flash Attention 2提速明显更多细节可参考 README.md 中的完整示例以及仓库内的 chat_template.jinja对话模板与 tokenizer.json。总结端侧 MoE 推理的里程碑MiniCPM-V 4.7 35B-A3B 证明了一件事大参数 MoE 多模态模型可以在手机上不降质地流畅运行。LES 前瞻专家调度 细粒度层量化 DSpark 投机采样让3GB 内存跑 35B从口号变成了可复现的实测数据而 iOS/Android/HarmonyOS 与多芯片平台的 day-0 支持则让开发者今天就能把它装进自己的产品。适合谁想在不上传数据的前提下本地处理图片/视频理解的开发者和极客需要隐私敏感场景医疗、金融文档端侧方案的团队以及所有对手机跑大模型感兴趣的普通用户。赞分享人工智能大模型多模态基础模型本地部署【免费下载链接】MiniCPM-V-4.7-35B-A3BMiniCPM-V 4.7 是 MiniCPM-V 系列的最新模型提供 35B-A3B 变体其中 35B-A3B 是 MiniCPM-V 系列中的首个 MoE混合专家模型。它在家族现有的单图、多图和视频理解能力基础上结合了更强的基础能力、高效的视觉编码以及端侧推理特性。项目地址https://ai.gitcode.com/OpenBMB/MiniCPM-V-4.7-35B-A3B点击查看免费下载相关推荐iPhone 跑 35B 大模型实测 6.4 tok/s端侧推理要进入「手机时代」了iPhone 跑 35B 大模型实测 6.4 tok/s端侧推理要进入「手机时代」了 过去两年端侧大模型叙事的主线一直是「把模型做小」从 7B 量化到人工智能大模型模型量化LoRA本地部署端侧部署革命MiniCPM-V模型在llama.cpp上的极速优化实践端侧部署革命MiniCPM V模型在llama.cpp上的极速优化实践 你是否还在为多模态大模型的本地部署头疼推理速度慢、内存占用高、硬件要求苛刻——这些问人工智能大模型多模态计算机视觉NLP微调openBMB创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考