这篇 Hugging Face 的经典博客《Mixture of Experts Explained》讲的就是混合专家模型MoE——现在几乎所有大模型Mixtral、Switch Transformer、乃至很多前沿闭源模型都在用的一种架构。原文链接https://huggingface.co/blog/moe以下是大白话解析一句话抓住核心传统大模型是——“什么问题都让全院医生一起会诊”每来一个字都要把全部参数跑一遍又慢又费。MoE 的思路是养一大批专科医生专家但每次挂号只叫其中一两个来看。这样模型可以养得非常大知识多但每次真正干活的只有一小部分速度快。这就是文章反复强调的两句话预训练更快、推理更快但很吃显存、微调容易翻车。那MoE 到底改了什么在 Transformer 里MoE 只动了一个地方——把原来那层前馈网络FFN换成了一个 MoE 层它由两部分组成一是一堆专家每个专家其实就是一个独立的小 FFN比如 8 个。二是一个门控网络 / 路由器router它像医院的分诊台负责判断这个字该送给哪个专家看。这个分诊台不是写死的规则而是和整个模型一起训练出来的。所以 MoE 分诊台 一群专科医生替换掉原来那个全科大夫。关键误区澄清显存的账怎么算以 Mixtral 8x7B 为例想当然以为是 8×7B56B 参数。其实不是。因为只有 FFN 那部分被拆成了 8 个专家而注意力层等其它部分是所有专家共享的。所以实际显存要按约 47B 的规模来准备——8 个专家都得同时装进显存里待命哪怕这次没被叫到。但计算量速度又是另一笔账Mixtral 每个字只走 top-2叫 2 个专家所以真正的计算量只相当于一个 12B 左右的小模型。这就是 MoE 的精髓按大模型的知识量收费按小模型的速度干活。稀疏性和分诊台怎么工作稀疏sparsity就是不是所有参数都参与运算这件事。分诊台用一个叫 Noisy Top-k Gating 的机制来决定叫谁先给每个专家算一个分数故意加一点随机噪声为了让负载更均衡然后只保留分数最高的 k 个专家其余的直接置零、不计算。k 取 1 或 2 时最快。训练 MoE 的几个大坑文章重点负载不均衡如果不管它分诊台会越来越偏心——总叫那几个明星专家因为它们被叫得多、训练得快、于是更被青睐恶性循环剩下的专家全废了。解决办法是加一个辅助损失auxiliary loss / aux_loss强制让每个专家分到的活儿差不多均匀。专家容量capacity factor给每个专家设一个当天最多看几个号的上限。超了就溢出这个字要么被丢弃、要么直接走残差连接跳过这层。Switch Transformer 发现容量系数取 1-1.25 就够好。训练不稳定门控里有指数运算数值一大就容易出错。ST-MoE 提出的 Router z-loss惩罚过大的 logits能显著稳住训练。另外路由器必须用全精度计算用 bfloat16 会崩。微调容易过拟合稀疏模型比稠密模型更容易在下游任务上过拟合需要更强的正则化。有个反直觉的发现微调时只冻结 MoE 层、只更新其它参数效果几乎不掉还省显存。还有个亮点——MoE 特别吃指令微调instruction tuning这一套任务越多、收益越大比稠密模型受益更明显。专家到底学到了啥有意思的是专家并不是按这个管中文、那个管英文来分工的。编码器里的专家更多是学浅层的 token 模式比如有的专门管标点、有的管专有名词多语言场景下没有哪个专家专精某种语言因为负载均衡把它打散了。部署时怎么缓解吃显存文章给了几招蒸馏把 MoE 压回一个稠密小模型还能保留 30~40% 的加速收益、专家并行把不同专家放到不同机器上、量化QMoE 能把参数压到不到 1 bit把 1.6T 的 Switch Transformer 从 3.2TB 压到 160GB、以及专家合并。什么时候该用 MoE简单判断机器多、追求高吞吐、预训练算力预算固定 → 用 MoE显存小、低吞吐场景 → 老老实实用稠密模型。另外文章特别提醒稀疏模型和稠密模型的参数量不能直接对比含义完全不一样。附言想深入的话除了这篇原文推荐顺着它引用的两篇一起读Shazeer 2017《Outrageously Large Neural Networks》稀疏 MoE 的开山之作Switch Transformer / ST-MoE 论文训练稳定性讲得最透。