1.简介MoE 是一种将多个子模型（专家）结合的技术，用于提升大语言模型（LLMs）性能。它主要由稀疏 MoE 层和门控网络（路由）组成。稀疏 MoE 层替代传统 Transformer 中的前馈神经网络（FFN）层，包含多个独立的专家网络，每个专家都是一个 FFN。门控网络负责决定输入的 token 被发送到哪个或哪些专家进行处理，其决策过程基于学习的参数，并与网络其他部分一起进行预训练。2. MOE 细节设计MoE 层构成：每个 MoE 层通常由一组 N 个专家网络和一个门控网络组成。门控网络一般由 softmax 函数线性层构成，作用是将输入 Token 引导至合适的专家网络。替换 FFN 的原因：随着模型规模扩大，FFN 计算需求剧增，MoE 层替换 FFN 层能够节省算力，同时提升模型能力。结构分类：分为稠密 MoE 和稀疏 MoE。稠密 MoE 对每个输入 X，线性 softmax 门控会选择所有专家；稀疏 MoE 则选择 top - k 专家执行条件计算，专家层返回所选专家输出乘以门控函数输出。稠密混合专家层在每次迭代中