【免费下载链接】MiniCPM-V-4.7-35B-A3B-mxfp8项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-35B-A3B-mxfp8点击查看免费下载MiniCPM-V-4.7-35B-A3B-mxfp8 是 MiniCPM-V 4.7 多模态大模型的 MLX 量化版本支持图文问答、工具调用与思考模式。本文带你用最少代码从安装、第一条命令一路玩到多步智能体闭环完整掌握这个 35B 总参数、推理只激活 3B 的混合 MoE 视觉模型。一、模型概览35B 总参数为什么叫 A3BMiniCPM-V-4.7-35B-A3B 采用MoE混合专家架构总参数约 35B但每个 token 只激活约 3Bconfig.json 中num_experts: 256、num_experts_per_tok: 8兼顾大模型的知识容量与轻量推理的速度。它的聪明来自几个关键设计混合注意力40 层中每 4 层放 1 层全注意力其余为线性注意力config.json长文本推理更高效超长上下文最大支持 262144256Ktokentokenizer_config.json视觉塔27 层 ViT支持图片与视频输入默认 16 倍降采样config.jsonmxfp8 量化权重以 8 位 mxfp8group size 32存储视觉模块、embedding 等保持 BF16 混合精度config.json8 个分片权重文件model-00001-of-00008.safetensors 至 model-00008-of-00008.safetensors约 40GB在 Mac/MLX 环境下即可流畅运行。 A3B 的含义Active 3B即每次推理实际激活约 3B 参数显存友好。二、快速上手一条命令完成图文问答在支持 MiniCPM-V 4.7 的 MLX-VLMmain 分支环境中只需一条命令就能让模型看图说话mlx_vlm.generate \ --model mlx-community/MiniCPM-V-4.7-35B-A3B-mxfp8 \ --image path/to/image.jpg \ --prompt Describe this image. \ --max-tokens 200 --temperature 0安装方式与完整参数说明见 README.md。两个实用细节原生处理器免依赖内置 NumPy/Pillow 处理器不需要 PyTorch也不需要远程代码文本、单图、多图、视频都能直接处理细节更清晰默认视觉降采样为16x速度优先小字多、细节要求高的场景可加--processor-kwargs {downsample_mode: 4x}切换到 4x 模式。三、思考模式让答案先想后说MiniCPM-V 4.7 内置思考模式Thinking Mode模型在给出正式回答前先输出一段thinking内部的推理过程再输出答案。在 chat_template.jinja 中可以看到每条 assistant 消息都会被渲染为赞分享【免费下载链接】MiniCPM-V-4.7-35B-A3B-mxfp8项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-35B-A3B-mxfp8点击查看免费下载相关推荐Microduck RL并行环境数怎么调4096个envs背后的训练效率权衡Microduck RL并行环境数怎么调4096个envs背后的训练效率权衡 Microduck RL https://link.gitcode.com/i/用MiniCPM-V-4.7-35B-A3B-mxfp4做图像与视频问答完整教程从单图描述到多图推理用MiniCPM V 4.7 35B A3B mxfp4做图像与视频问答完整教程从单图描述到多图推理 本教程带你零基础玩转多模态大模型 MiniCPM V 4图片细节识别不准怎么办MiniCPM-V-4.7-35B-A3B-mxfp8下采样模式与采样参数调优完全指南图片细节识别不准怎么办MiniCPM V 4.7 35B A3B mxfp8下采样模式与采样参数调优完全指南 用 MiniCPM V 4.7 35B A3B上一篇Octopi架构解析理解ALPM后端与Qt前端的完美结合下一篇数字取证与事件响应Awesome-Cybersecurity-Handbooks 专业工具使用教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考