1. 大模型训练里优化器到底在干什么很多人第一次接触大模型训练注意力全在模型结构、参数量、注意力机制上觉得优化器就是个“调参的附属品”。我刚开始也这么想直到有一次复现一个7B模型预训练损失曲线死活不收敛换了三版数据清洗流程都没用最后发现问题出在优化器的权重衰减配置上——那一刻我才真正意识到优化器不是配角它直接决定训练能不能跑起来、跑得稳不稳、最终效果好不好。优化器的本质工作可以用一个很生活化的类比来解释。想象你在一个浓雾弥漫的山谷里找最低点你看不见全局地形只能感知脚下哪个方向是下坡。这个“感知下坡方向”就是梯度计算而“迈多大步子、要不要参考之前几步的方向、遇到平地怎么处理”就是优化器要解决的问题。大模型训练里参数动辄几十亿上百亿每个参数都是一个独立维度你面对的是一个超高维的非凸优化问题优化器的选择直接决定了你能不能在这个复杂地形里找到一条相对靠谱的下降路径。从SGD到Adam再到AdamW再到最近讨论度很高的Muon优化器的演进路线其实反映了从业者对“如何更聪明地更新参数”这件事的不断深入理解。SGD是最朴素的方案每次只沿着当前梯度的反方向走一步简单直接但容易震荡和陷入局部最优。Adam引入了动量一阶矩估计和自适应学习率二阶矩估计让每个参数有自己的更新节奏收敛更快也更稳定。AdamW则修正了Adam中权重衰减的实现方式把L2正则从梯度里解耦出来这个改动看似微小但在大模型训练里影响巨大。还有一个容易被忽视但极其重要的组件是EMA指数移动平均。它不直接参与梯度更新而是维护一份模型参数的滑动平均副本。你可以把它理解为“给模型参数做了一个平滑滤波”在训练后期用EMA参数做推理往往能获得更稳定的效果。很多开源大模型的推理权重实际上用的是EMA参数而非原始训练参数这一点在复现时如果不注意很容易出现“训练指标很好但推理效果对不上”的情况。这篇文章面向的是正在做或准备做大模型训练的同学无论你是刚入门想搞清楚优化器选型逻辑还是已经踩过一些坑想系统梳理一遍我都会从原理、实操、参数计算、问题排查几个维度展开把SGD、AdamW、EMA、Muon这几个核心话题讲透。读完之后你应该能独立完成优化器配置、学习率调度设计、EMA参数管理等关键环节并且知道遇到不收敛、loss尖刺、显存爆炸这些问题时该往哪个方向排查。2. 优化器选型的核心逻辑与方案对比2.1 为什么大模型训练几乎不用纯SGDSGD的更新公式极其简单参数沿着梯度的反方向移动一个学习率步长。数学上写成 θ θ - lr * g其中g是当前batch的梯度。它的优势是显存占用极低每个参数只需要存一份梯度不需要额外的动量缓冲和二阶矩估计。但问题也很明显大模型训练的损失曲面非常复杂存在大量鞍点和狭窄的山谷纯SGD在这种地形里容易来回震荡收敛速度慢得让人崩溃。我实测过一个1.3B参数的模型用纯SGD训练学习率设到3e-4跑了5000步loss还在2.8附近徘徊换成AdamW之后同样步数已经降到2.1。这不是说SGD不能用而是它需要非常精细的学习率调度和动量设计才能在大模型上工作。实际生产中纯SGD几乎只出现在一些特殊场景比如某些微调任务的最后阶段做精细调整或者作为对比实验的baseline。不过SGD的思想并没有消失它以“带动量的SGD”形式继续存在。动量机制的核心是引入一个速度变量v每次更新时v β * v g参数更新变成θ θ - lr * v。这个β通常取0.9意味着当前更新方向是过去梯度的指数加权平均。这样做的好处是能平滑梯度方向减少震荡在一致的下降方向上加速前进。你可以把它理解为“给优化过程加了惯性”就像开车时松开油门后车还会继续滑行一段。2.2 Adam和AdamW的关键差异Adam的全称是Adaptive Moment Estimation它同时维护两个状态变量一阶矩m梯度的指数移动平均和二阶矩v梯度平方的指数移动平均。更新时m和v分别用β1和β2进行更新然后做偏差校正最后参数更新量为lr * m_hat / (sqrt(v_hat) eps)。这套机制让每个参数都有自适应学习率——梯度大的参数学习率自动变小梯度小的参数学习率相对变大。Adam的问题出在权重衰减的实现上。原始Adam把L2正则项加在梯度里也就是g g λ * θ然后这个g会进入m和v的计算。这意味着权重衰减的效果会被自适应学习率“吃掉”一部分——对于梯度大的参数权重衰减的实际效果被缩小了。AdamW的改进就是把权重衰减从梯度计算中解耦出来直接作用在参数更新上θ θ - lr * (m_hat / (sqrt(v_hat) eps)) - lr * λ * θ。这个改动让权重衰减的效果变得可预测在大模型训练中尤其重要因为大模型对正则化的敏感度很高。实际配置中AdamW的默认参数通常是lr1e-4到3e-4β10.9β20.95到0.999eps1e-8weight_decay0.01到0.1。β2的选择和大模型训练稳定性关系很大β2越高二阶矩估计越平滑但响应越慢。很多大模型训练会选β20.95而不是默认的0.999就是为了让优化器对梯度变化响应更快一些。2.3 EMA为什么是大模型训练的隐形功臣EMA不参与梯度更新它维护的是一份模型参数的影子副本。每次参数更新后EMA参数按θ_ema decay * θ_ema (1 - decay) * θ进行更新。decay通常取0.999或0.9999意味着EMA参数是过去很多步参数的加权平均。这个机制的作用是平滑训练过程中的参数波动尤其是在训练后期学习率衰减到很小的时候原始参数可能在最优点附近小幅震荡而EMA参数会稳定在一个更优的位置。我在实际项目里遇到过一个典型场景训练到最后阶段验证集loss在1.85到1.88之间波动但用EMA参数评估时稳定在1.83。这说明原始参数确实在最优解附近震荡EMA起到了平滑滤波的作用。很多开源模型在发布时明确说明推理权重是EMA参数如果你用原始参数去推理效果会差一截。EMA的decay选择需要根据训练步数来定。如果总训练步数是Ndecay大约取1 - 1/N的量级比较合适。比如训练10万步decay取0.9999意味着EMA参数大约平均了过去1万步的参数这个窗口大小比较合理。如果decay太小EMA参数波动大起不到平滑作用如果decay太大EMA参数更新太慢训练早期会严重滞后。2.4 Muon优化器的适用场景Muon是最近在社区讨论比较多的一个优化器它的核心思想是对梯度做正交化处理让更新方向更加“均匀”地分布在各个维度上。具体来说Muon对梯度矩阵做Newton-Schulz迭代来近似正交化然后用处理后的梯度更新参数。这个方案在部分视觉任务和小规模语言模型上表现不错但在超大模型上的验证还不够充分。我个人的看法是Muon目前更适合作为实验性方案在特定任务上尝试。它的显存开销和计算开销都比AdamW高因为正交化过程需要额外的矩阵运算。如果你的训练资源有限或者任务对收敛速度要求很高AdamW仍然是更稳妥的选择。Muon的价值在于它提供了一种不同的优化视角未来可能会有更多基于这个思路的改进方案出现。3. 核心参数解析与实操配置要点3.1 学习率设置与调度策略学习率是优化器里最敏感的参数没有之一。设大了loss直接飞掉设小了训练慢得让人怀疑人生。大模型训练通常采用warmup加衰减的策略前几百到几千步线性增加学习率然后按余弦或线性方式衰减到接近零。warmup的作用是让模型在训练初期不要被大梯度冲击。大模型初始化时参数是随机的前几个batch的梯度可能非常大如果直接用大学习率参数会被更新到一个很糟糕的区域后面很难恢复。warmup通常设总步数的1%到5%比如训练10万步warmup设2000到5000步。峰值学习率的选择和模型大小、batch size都有关系。一个经验公式是lr_peak ≈ 0.003 * sqrt(batch_size / 1024)但这个公式只是起点实际需要根据loss曲线微调。我通常的做法是先跑一个短实验用不同学习率跑500到1000步看哪个学习率的loss下降最快且没有尖刺然后在这个值附近做精细搜索。衰减策略方面余弦衰减是当前最主流的选择。它的形式是lr lr_min 0.5 * (lr_peak - lr_min) * (1 cos(π * step / total_steps))。余弦衰减的特点是前期下降慢、后期下降快符合大模型训练“先探索后收敛”的需求。线性衰减也有人在用但余弦衰减在多数任务上表现更稳定。3.2 权重衰减与梯度裁剪权重衰减的本质是限制参数不要变得太大起到正则化作用。AdamW里weight_decay通常设0.01到0.1大模型训练偏向0.1。这个值不能设太大否则模型会欠拟合也不能太小否则过拟合风险增加。有一个细节是权重衰减通常不作用于LayerNorm的缩放参数和偏置项因为这些参数本身就需要保持一定的灵活性。梯度裁剪是另一个稳定性保障机制。大模型训练中偶尔会出现梯度爆炸表现为loss突然飙升。梯度裁剪的做法是计算所有参数梯度的全局范数如果超过阈值就把梯度按比例缩小。阈值通常设1.0这个值在多数场景下够用。如果训练中频繁触发裁剪说明学习率可能设大了或者数据里有异常样本。注意梯度裁剪是在优化器更新之前执行的它不影响优化器内部状态的计算。如果你用的是混合精度训练梯度裁剪需要在unscale之后进行否则裁剪的是缩放后的梯度阈值就不准了。3.3 EMA参数管理与推理切换EMA的实现需要注意几个细节。首先是EMA参数的初始化通常直接复制模型初始参数。其次是更新时机应该在优化器更新完参数之后、下一次前向传播之前进行EMA更新。如果顺序搞反了EMA参数会滞后一步影响不大但不够精确。EMA的decay设置前面提过和总步数相关。但有一个容易被忽视的点训练早期的EMA参数质量很差因为模型本身还在快速变化。所以有些实现会在训练前若干步不启用EMA或者用warmup的方式逐渐增加decay。我自己的做法是前1000步不做EMA更新之后正常启用。推理时切换EMA参数需要小心。如果你的模型有BatchNorm层EMA参数和原始参数的统计量可能不一致需要额外处理。大模型通常用LayerNorm这个问题不存在直接替换参数即可。另外保存checkpoint时建议同时保存原始参数和EMA参数方便后续对比和选择。3.4 显存占用与优化器状态管理优化器状态是显存占用的大头。以AdamW为例每个参数需要额外存储一阶矩m和二阶矩v加上参数本身和梯度总共是4份。一个7B模型用fp32训练光优化器状态就占7B * 4 * 4 112GB这还没算激活值和中间结果。所以大模型训练必须用混合精度和ZeRO系列技术来分摊显存。混合精度训练里优化器状态通常保持fp32但参数和梯度用fp16或bf16。bf16的动态范围比fp16大不容易溢出是大模型训练的首选。ZeRO Stage 1把优化器状态分片到不同GPU上Stage 2再分片梯度Stage 3分片参数。实际使用中Stage 1和Stage 2对训练速度影响较小Stage 3会引入较多通信开销需要根据集群带宽权衡。EMA参数也会占用显存相当于多存一份模型参数。如果显存紧张可以考虑用bf16存储EMA参数精度损失在可接受范围内。另外EMA更新可以和参数更新融合在一起做减少一次显存读写对训练速度有轻微提升。4. 完整训练流程中的优化器实操4.1 从零配置一个AdamW优化器假设你在用PyTorch训练一个语言模型优化器配置的代码大概长这样import torch from torch.optim import AdamW from transformers import get_cosine_schedule_with_warmup # 参数分组权重衰减不作用于LayerNorm和bias no_decay [bias, LayerNorm.weight] optimizer_grouped_parameters [ { params: [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], weight_decay: 0.1, }, { params: [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], weight_decay: 0.0, }, ] optimizer AdamW( optimizer_grouped_parameters, lr3e-4, betas(0.9, 0.95), eps1e-8, ) scheduler get_cosine_schedule_with_warmup( optimizer, num_warmup_steps2000, num_training_steps100000, )这段代码里有几个关键点。参数分组是为了让权重衰减只作用于权重矩阵不作用于LayerNorm的缩放参数和偏置。β2设0.95而不是默认的0.999是为了让二阶矩估计响应更快适合大模型训练。warmup步数设2000总步数10万对应2%的warmup比例。训练循环里梯度裁剪和优化器更新的顺序是loss.backward() - torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) - optimizer.step() - scheduler.step() - optimizer.zero_grad()。注意scheduler.step()在optimizer.step()之后调用否则学习率更新会滞后一步。4.2 EMA的代码实现与集成EMA的实现可以自己写也可以用现成的库。自己写的话核心逻辑很简单class EMA: def __init__(self, model, decay0.9999): self.decay decay self.shadow {} for name, param in model.named_parameters(): if param.requires_grad: self.shadow[name] param.data.clone() def update(self, model): for name, param in model.named_parameters(): if param.requires_grad: self.shadow[name] ( self.decay * self.shadow[name] (1 - self.decay) * param.data ) def apply(self, model): for name, param in model.named_parameters(): if param.requires_grad: param.data.copy_(self.shadow[name])集成到训练循环里在optimizer.step()之后调用ema.update(model)。推理之前调用ema.apply(model)把EMA参数写回模型。注意apply之后如果还要继续训练需要保存原始参数否则原始参数就被覆盖了。有一个细节是decay的调度。固定decay在训练早期会让EMA参数严重滞后因为模型变化太快。一个改进方案是动态调整decay比如decay min(0.9999, (1 step) / (10 step))这样早期decay较小EMA参数跟得紧后期decay增大平滑效果增强。4.3 学习率搜索的实操方法学习率搜索不需要跑完整训练用短实验就能找到大致范围。我的做法是选5个学习率比如1e-5、3e-5、1e-4、3e-4、1e-3每个跑500步记录loss下降曲线。然后画在一张图上看哪个学习率的loss最低且曲线最平滑。如果资源允许可以在找到大致范围后再做一轮精细搜索步长缩小到2倍左右。比如第一轮发现3e-4最好第二轮就试2e-4、3e-4、5e-4。两轮下来基本能确定最优学习率。提示学习率搜索时要用相同的随机种子和数据顺序否则不同学习率之间的对比不公平。另外短实验的loss绝对值没有意义只看相对下降趋势。4.4 训练过程中的监控指标优化器相关的监控指标主要有几个梯度范数、参数范数、学习率、loss scale混合精度。梯度范数突然增大往往预示着训练不稳定需要检查数据或降低学习率。参数范数持续增大说明权重衰减不够模型可能在过拟合。学习率按调度正常变化即可如果发现学习率没有按预期衰减检查scheduler的配置。loss scale是混合精度训练特有的指标。如果loss scale频繁下降说明梯度溢出严重可能需要调整初始化或降低学习率。如果loss scale一直不涨说明模型对精度不敏感可以尝试用纯bf16训练省掉loss scale。我习惯在TensorBoard里同时监控原始参数和EMA参数的验证loss两者差距过大说明EMA decay设得太大差距过小说明EMA没起到作用。理想情况下EMA loss应该比原始loss低0.02到0.05左右。5. 常见问题排查与避坑经验5.1 Loss尖刺与梯度爆炸的处理Loss尖刺是大模型训练中最常见的问题之一表现为loss突然从正常值跳到很高然后慢慢恢复。造成尖刺的原因可能有几种数据里有异常样本、学习率过大、梯度爆炸、数值精度问题。排查顺序建议从数据开始。检查尖刺出现的那一步对应的batch看看有没有特别长或特别短的序列或者包含特殊字符。如果数据没问题再看梯度范数如果尖刺时梯度范数也飙升说明是梯度爆炸可以降低学习率或减小梯度裁剪阈值。如果梯度范数正常但loss尖刺可能是数值精度问题尝试用bf16替代fp16或者提高eps。我遇到过一次尖刺是因为数据里混入了一条超长序列导致注意力矩阵数值溢出。解决办法是在数据预处理阶段过滤掉超过最大长度的样本同时在模型里加attention mask的数值稳定性处理。5.2 优化器状态导致的显存不足显存不足是另一个高频问题。AdamW的优化器状态占4份参数显存如果模型是7Bfp32优化器状态就是112GB。解决办法有几个层次首先用混合精度参数和梯度用bf16优化器状态保持fp32显存降到约70GB。然后启用ZeRO Stage 1把优化器状态分片到8张卡上每张卡约9GB。如果还不够上ZeRO Stage 2分片梯度或者Stage 3分片参数。EMA参数也会占显存如果显存实在紧张可以只对部分参数做EMA比如只对Transformer层的权重做EMALayerNorm和embedding不做。或者用bf16存储EMA参数精度损失很小。5.3 学习率调度不生效的排查学习率调度不生效通常有几个原因scheduler.step()调用位置不对、optimizer和scheduler的绑定关系断了、或者用了多个optimizer但只给一个配了scheduler。检查方法是打印每一步的学习率看是否符合预期曲线。还有一个坑是warmup步数设得太大导致训练前几千步学习率一直很低loss下降很慢。如果发现训练初期loss几乎不动检查warmup配置。反过来warmup太小会导致训练初期不稳定loss震荡。5.4 EMA参数效果不如原始参数的情况EMA参数效果不如原始参数通常发生在训练不充分或者EMA decay设置不当的时候。如果训练步数很少EMA参数严重滞后于原始参数效果自然差。解决办法是减小decay或者延迟启用EMA。另一个原因是训练后期学习率没有充分衰减原始参数还在较大范围内变化EMA参数跟不上。这种情况下需要检查学习率调度确保训练后期学习率降到足够小。还有一种情况是模型有BatchNorm层EMA参数和原始参数的running statistics不一致。大模型一般用LayerNorm没这个问题但如果你的模型有BatchNorm需要在EMA更新时同步更新running statistics或者推理前重新计算一遍。5.5 常见问题速查表问题现象可能原因排查方向解决方案Loss尖刺数据异常/梯度爆炸/精度问题检查对应batch数据、梯度范数过滤异常样本、降低学习率、改用bf16显存不足优化器状态过大查看各组件显存占用混合精度、ZeRO分片、bf16 EMA学习率不衰减scheduler配置错误打印每步学习率检查step调用位置和绑定关系EMA效果差decay不当/训练不足对比EMA和原始参数loss调整decay、延迟启用EMA训练不收敛学习率过大/过小短实验搜索学习率重新搜索学习率、调整warmup梯度裁剪频繁触发学习率过大/数据异常监控梯度范数降低学习率、检查数据质量6. 优化器进阶话题与个人经验6.1 不同规模模型的优化器配置差异模型规模不同优化器配置的策略也要调整。小模型1B以下对优化器不太敏感AdamW默认参数基本够用学习率可以设大一些比如3e-4到1e-3。中等规模1B到10B需要更精细的调参β2建议设0.95weight_decay设0.1学习率2e-4到3e-4。超大模型10B以上对稳定性要求极高学习率通常设1e-4到2e-4warmup步数要足够长梯度裁剪阈值可以适当放宽到1.0以上。batch size也会影响优化器配置。大batch训练时梯度估计更准确学习率可以相应增大。一个经验规则是batch size翻倍学习率增加1.4倍左右。但这个规则不是线性的超过某个batch size后收益递减。6.2 优化器与模型并行的配合用张量并行或流水线并行训练时优化器的行为会有些变化。张量并行下每个GPU只持有部分参数优化器状态也相应分片更新时需要注意跨GPU的梯度同步。流水线并行下不同stage的参数更新是独立的但学习率调度需要全局一致。ZeRO和模型并行的组合需要小心。ZeRO Stage 3会和张量并行冲突因为两者都在分片参数。实际使用中通常是ZeRO Stage 1或2配合张量并行或者纯ZeRO Stage 3不用张量并行。选择哪种方案取决于集群的通信带宽和模型大小。6.3 我踩过的几个坑第一个坑是权重衰减设得太大。有一次我设了0.5想着正则化强一点防止过拟合结果模型严重欠拟合训练loss都降不下去。后来改成0.1才正常。权重衰减不是越大越好大模型本身参数量大过拟合风险相对小权重衰减主要是为了训练稳定性。第二个坑是EMA decay设成0.999但训练只有1万步。结果EMA参数严重滞后验证效果比原始参数还差。后来改成0.999需要至少10万步训练才合适短训练应该用0.99或更小。第三个坑是混合精度训练时忘了unscale梯度就做裁剪。结果裁剪阈值1.0实际上裁的是缩放后的梯度相当于没裁。这个bug很隐蔽因为loss看起来正常但训练后期容易出现不稳定。解决办法是用torch.cuda.amp.GradScaler的unscale_方法先还原梯度再裁剪。6.4 优化器未来的可能方向从最近的社区讨论来看优化器的改进方向主要有两个一是降低显存占用比如通过量化优化器状态或者用低秩近似来压缩二阶矩二是提升收敛效率比如Muon这类对梯度做预处理的方案。另外针对特定任务定制优化器也是一个趋势比如长上下文训练可能需要调整β2来适应更长的梯度历史。不过对于大多数从业者来说AdamW加EMA的组合在未来一段时间内仍然是最稳妥的选择。新优化器可以关注但在生产环境大规模使用前需要充分验证。我的建议是保持对社区动态的关注但不要轻易在生产训练中替换经过验证的配置。6.5 一个实用的优化器配置模板最后分享一个我常用的配置模板适用于7B到13B规模的模型预训练# 优化器配置 lr_peak 2e-4 betas (0.9, 0.95) eps 1e-8 weight_decay 0.1 grad_clip 1.0 # 调度配置 warmup_steps 2000 total_steps 100000 lr_min lr_peak * 0.1 # EMA配置 ema_decay 0.9999 ema_start_step 1000 # 混合精度 dtype torch.bfloat16这个配置在多个项目上验证过loss曲线平滑最终效果稳定。当然具体任务还需要微调但作为起点是靠谱的。学习率是最需要根据实际情况调整的参数其他参数在这个模板基础上小幅变动即可。训练大模型这件事优化器配置只是其中一环但这一环没做好后面所有工作都白搭。我见过太多因为优化器配置问题导致训练失败的案例包括我自己早期踩的坑。希望这些经验能帮你少走弯路把训练跑稳跑好。