昨晚刷到一条消息的时候我愣了下面壁智能把 MiniCPM-V 4.7 开源了一个总参数 35B 的 MoE混合专家多模态模型宣布只占 3G 内存在 iPhone 17 Pro Max 上断网就能跑解码速度每秒 13 个 token 以上。我第一反应是不信——35B 的权重按半精度算光文件就 70G塞进 3G 内存这账怎么算都算不平。直到我把它的技术拆解翻完才发现自己一开始就想错了方向它压根不是把 35B塞进去而是让手机每次只请需要的专家到岗。先把这个反直觉的点讲清楚。35B-A3B 是个 MoE 架构总参数 35B但每个 token 真正参与计算的只有 3B 左右。听起来很美可真搬到手机上麻烦就来了——手机内存装不下全部 35B 权重大部分专家只能放在闪存里用到再读。而 MoE 的路由每层都是动态的这一层调了哪几位专家得等上一层算完才知道。于是就有了过去两种都很别扭的跑法一种是严格按照路由结果现读现用模型能跑但解码慢到没法实时对话每秒大概 2 个 token跟看幻灯片似的另一种是给整段对话提前固定一小撮专家读盘次数是少了可模型能调动的专家也跟着变少能力当场打折。MiniCPM-V 4.7 的前瞻专家调度LES是在这两头的缝隙里做文章。它抓住了一个很朴素的特点模型相邻两层的输入特征往往高度相似。所以当前层还在算的时候就把它的路由特征提前送进下一层的路由器预测接下来要用哪些专家后台线程同步把这些权重从闪存读进内存。等下一层真开工需要的专家多半已经就位。按团队的测试这个抢跑能提前备好超过 80% 的专家而且不用重新训练。更关键的设计在于预测只负责提前搬运和安排计算顺序最终每个 token 用哪些专家还是由模型原生的路由说了算——没猜中的专家照常加载照常算一分能力都不省。说白了它优化的是等待不是偷工。光靠预取还不够存储这边也得省。逐层混合精度量化把专家权重压得更小每次要搬的数据量直接降下来权重还重新组织成连续存储的布局让闪存能顺序读、少零散读——做过 I/O 优化的朋友应该秒懂机械式的随机读和顺序读性能差着量级。几招叠一起16GB 内存 iPad Pro M4 上的解码速度综合提升约 5 倍再配上 DSpark 草稿模型做投机解码草稿模型先猜多个 token主模型批量核验M5 Mac 上又快了 17%。从每秒 2 个 token 到 8-12 个就是这些不起眼的工程细节一点点抠出来的。把镜头拉远一点看这场抠内存的比赛背后有个很现实的行业背景。IDC 预计今年中国新一代 AI 手机出货量达到 1.47 亿台渗透率第一次突破 53%——每卖出两台新手机就有一台带端侧 AI。但内存一直在涨价12GB 成了 AI 手机的及格线旗舰普遍 16GB部分机型开始往 24GB 上探。模型想变强往往就要吃更多内存内存越贵这条路越费钱。所以用更少内存跑更大模型这件事对厂商来说是真金白银的吸引力。端侧 AI 的竞争重点也正在从芯片制程和算力转向模型和推理框架跟硬件的配合程度——这块过去是边缘活接下来是拉开差距的主战场。我对这类方案的整体判断是端侧和云端不会是谁取代谁而是分工再切一刀。涉及隐私、要求低延迟、经常断网的活儿交给端侧重推理重创作的活儿继续留在云端。MiniCPM-V 4.7 这类工作真正让我在意的不是分数有多高而是它验证了一条路径不做极端量化那种 2-bit 一下去、能力掉一半的老路而是靠 MoE 的稀疏性加上调度和 I/O 优化在快和能力保留之间找到了一个还算体面的平衡点。开发者微调时还有个自回放微调来防遗忘——把模型原来答得好的问题混进新任务的数据里边学新技能边复习旧本领定制成本接近普通 SFT。这些细节单拎出来都不惊艳拼起来就是3G 内存跑 35B的完整拼图。最后留个问题给你如果你的 App 明天就要上线一个 AI 功能隐私敏感、用户还经常在地库里没信号你会选 3G 内存跑一个 35B 的端侧 MoE还是继续老老实实调云端 API端侧这条路你觉得是过渡方案还是终局形态评论区聊聊。