1. 模型集成到底在解决什么问题先说个实际场景。你训了一个深度学习模型验证集上准确率已经做到92%再往上调结构、调学习率、加数据增强折腾两周纹丝不动。这时候有个老选手跟你说把三个不同seed训出来的模型平均一下测试集直接冲上93.5%。你半信半疑试了一下结果是真的。这就是模型集成最朴素也最管用的形态。模型集成Ensemble Learning的核心思想简单到一句话别把所有鸡蛋放在一个篮子里。单个模型有它的偏见和盲区把多个能力相近但犯错方式不同的模型组合起来让它们的错误互相抵消正确判断互相累加整体表现就会明显强于任何一个成员。这个思路不是深度学习时代才有的随机森林、梯度提升树这些经典机器学习模型本身就是集成的产物只是到了深度学习里集成的方式和玩法有了新的变化。这个技术适合谁如果你在做图像分类、目标检测、语义分割、文本分类、推荐排序这类任务或者你在打比赛、做落地项目、跑实验写论文模型集成几乎是必学的最后一个提分手段。它能解决的问题非常明确单模型精度到瓶颈、训练过程不稳定、测试集表现波动大。它不需要你重新发明网络结构不需要换更大的数据集成本只是训练时间翻几倍换来的却常常是几个百分点甚至十几个百分点的提升。为什么集成能提升精度可以用一个生活类比来理解。假设一个诊断小组里有三位医生每位单独诊断的准确率都是70%如果三个人诊断的错误完全随机且互不相关那么三人投票、少数服从多数整体准确率可以显著提升。但如果三位医生是同一个老师教出来的错误都发生在同一种病例上投票就没意义了。所以集成的核心从来不是“多训几个模型”而是让不同模型犯不同的错这才是所有集成策略设计背后的根本出发点。从数学上理解更清楚。把模型的预测误差分解成偏差、方差和噪声三部分其中噪声是数据本身带来的谁也消除不了能做的就是压低偏差和方差。单个复杂的深度模型往往偏差很低但方差不小——换一批随机种子或换一个初始化结果就抖。集成通过组合多个模型相当于在保持低偏差的同时用平均效应把方差压下来。用统计的语言说如果K个模型预测的相关性不高集成后的方差会近似降到原来的1/K。这里有个关键的深层理解集成减少误差的幅度不取决于模型的数量而取决于模型之间的相关性。K个一模一样的模型做平均方差一点都不会降K个误差完全不相关的模型做平均方差可以降得很漂亮。所以后面讲的所有方法本质都是在问一个问题怎么让模型之间的误差尽量不相关2. 三大主流集成方案的选型逻辑2.1 Bagging并行训练专治方差Bagging这个名字来自Bootstrap Aggregating核心做法是对数据进行有放回抽样训练出多个模型最后对它们的预测取平均或投票。随机森林就是Bagging在决策树上的经典实现。深度学习中由于数据量通常很大有放回抽样的意义不大所以更常见的做法变成了同样的数据和结构用不同的随机种子初始化、不同的数据洗牌顺序、不同的增强策略各训一个模型。Bagging的思路对应的是降方差。它假设每个模型都学得不错但都各自有一些随机波动平均之后就稳了。我在实践中观察到只要模型结构本身容量够Bagging几乎是深度学习里最稳的集成手段。它不需要你改损失函数、不需要设计复杂的融合策略最简单的方式就是最后把每个模型的softmax输出直接平均。Bagging在比赛和实际项目中的典型收益我测过的大致范围是单模型验证集91%左右3模型平均到92%左右5到8个模型平均能到92.5%以上。收益是边际递减的所以实践中常见的做法是训3到5个模型就够了再多边际收益很小训练成本倒是一直翻倍。2.2 Boosting串行纠错专治欠拟合Boosting的思路完全相反不并行而是串行地训练一系列模型每个新模型重点关注之前所有模型都做错的样本。训练完以后把这一串模型按权重组合起来。传统机器学习里的AdaBoost、Gradient Boosting、XGBoost都是这个套路。Boosting对应的是降偏差。如果单个模型太简单、学不到位Bagging也救不了因为每个模型都欠拟合平均之后还是欠拟合。这时候要靠Boosting不断强化对难样本的注意力把整体偏差压下去。但说实话在深度学习的主流实践中Boosting用得不像Bagging那么直接。因为深度学习模型本身容量巨大训练一轮就已经把训练集拟合得差不多了偏差通常不是主要问题。再去做串行纠错训练成本极高而且深度模型对难样本的“过度关注”很容易变成对噪声样本的过拟合。所以如果你今天打开一个比赛的开源方案看到最多的还是“3个模型做平均”而不是“串行训练10个模型”。Boosting在深度学习里更多以其他形态存在在后面会提到。2.3 Stacking让模型自己学怎么融合Bagging和Boosting的融合方式都是人工设计的——平均就是各1/K加权就是按验证集表现调权重。Stacking换了个思路把每个基模型的预测结果当作特征喂给一个上层模型让这个元模型自己学习最优的组合方式。Stacking的优势在于它能捕捉到基模型之间的非线性关系。比如某个基模型在A类样本上特别准、另一个在B类样本上特别准简单的平均没法体现这种互补性但一个学出来的元模型可以。实践中常见做法是第一层放3到5个不同类型的基模型比如不同的网络结构、不同的预训练权重、不同模态的特征第二层用一个简单的逻辑回归或浅层MLP做融合。Stacking最大的坑是数据泄漏。如果用全部训练数据训完基模型再用它们对同一批训练数据的预测结果去训元模型元模型学到的其实是“训练误差”而不是“泛化误差”上线必炸。所以标准的Stacking流程必须配合K折交叉验证每个基模型在预测训练集样本时必须用不包含该样本的那一折模型去预测这样得到的预测结果才能当作元模型的特征。这个细节我在第4章会给出完整的代码级讲解。2.4 深度学习里的特殊形态Deep Ensemble深度学习里有一个专门的说法叫Deep Ensemble指的是用完全相同的数据和结构只改变随机种子训练多个模型并组合。这个做法在论文里被研究过结论很有意思它提升的不只是最终精度还会让模型的不确定性估计变得更可靠——就是说模型不仅更准而且更清楚自己什么时候不懂。Deep Ensemble之所以有效是因为深度学习的优化问题是非凸的不同的初始化会落在不同的局部最优解上。这些局部最优解虽然性能接近但学到的特征模式是有差异的组合起来互补性不错。这解释了为什么哪怕结构数据和超参一模一样只是换几个seed也能有不错的集成收益。但Deep Ensemble的开销是实打实的。训一个ResNet可能是3个小时训5个就是15个小时推理时还要跑5次。所以实际项目里单卡资源紧张的时候我常用一个折中方案一个训练任务里周期性保存多个checkpoint选验证集上表现最好的前几个checkpoint做平均。这种方式和多个独立训练相比多样性虽然弱一些但成本几乎不增加收益大概是完整Deep Ensemble的六到八成性价比非常高。3. 让集成真正起效的实操细节3.1 多样性从哪来集成效果的天花板由多样性决定这是一个怎么强调都不为过的原则。多样性可以从几个层面来构造我按容易程度排序说一下。数据扰动是最直接的手段。随机裁剪、随机翻转、颜色抖动、MixUp、CutMix这些增强策略本身就是在制造不同的训练视图每个模型“看到的世界”略有不同学的就有差异。实际操作中我更推荐让不同模型用不同的增强组合比如A模型用标准裁剪加翻转B模型加颜色抖动C模型加MixUp比所有模型都用同一套增强效果好。特征扰动在深度学习里不像在树模型里那么常用但有一个变体非常实用用不同的预训练特征提取器做基模型。比如做图像分类时一个模型用某种预训练主干另一个模型用另一种预训练主干两者的特征空间差异天然很大集成互补性极强这个操作在跨主干集成时提升非常明显。算法扰动最简单有效的体现是结构差异。EfficientNet系列的不同版本、ResNet和DenseNet、Transformer和CNN只要参数量接近结构差异足够大集成收益就比同结构多seed高。代价是要维护不同的训练配置工程上麻烦一点。超参扰动也值得一提。同样的结构A用学习率1e-3、B用3e-4、C用1e-4训练动力学不同最后的解也不同。我在实际试验中测过单纯把初始学习率拉开8倍比换三个完全一样的配置来得有效得多。这个操作成本最低——只改配置不改代码。3.2 融合前先校准Logits这个细节我在很多分享里反复强调过因为实在是太容易被忽略了。直接拿不同模型的softmax概率做平均前提是这些概率分布是可比的。但实际情况是有些模型训出来概率分布很“锐利”最大值接近0.99有些模型概率分布很“平滑”最大值只有0.6。如果直接平均锐利模型的意见会被平滑模型稀释掉。解决办法有两个。最简单的用温度缩放temperature scaling先校准再融合。softmax里有一个温度参数T把logits除以T再算softmaxT越大概率越平滑T越小概率越锐利。每个模型先用验证集找各自最合适的T再按校准后的概率做融合。更稳妥一点的做法是不要在概率层做融合直接在logits层做平均再统一过一次softmax。我在实践中通常两种都测哪个好选哪个。大多数情况下logits层平均的效果会略好于概率层平均因为跳过了一层非线性变换信息的损失更少。3.3 加权融合的权重怎么定模型两三个的时候可以先用验证集各评一个指标按指标高低给个粗略权重。比如A模型验证集准确率91.2%B模型90.8%C模型90.1%那权重可以给0.35、0.33、0.32先这么试。模型再多手调权重就不靠谱了。我会用网格搜索或者简单的最优化方法在验证集上搜索一组权重使融合后的指标最大化。注意这里要防过拟合如果验证集很小权重会被验证集的噪声带偏。我踩过的坑是验证集只有一两千张图时搜索出来的权重分布非常极端换一个验证集就崩。所以权重搜索必须在足够大的验证集上做或者用交叉验证来选。另外一个经验是权重需要定期更新。如果模型要上线并且后续会增量更新每隔一段时间重新跑一次权重搜索甚至考虑把新模型加入集成、把旧模型移除比一直固守一个固定集合要好得多。4. 完整可复现的集成流程4.1 先做一个最简单的CV分类集成假设你手头有一个图像分类任务加载了预训练模型训练脚本已经能跑到单模型90%验证准确率。我直接给一个最常用的集成代码骨架基于PyTorch实现。import torch import torch.nn.functional as F def infer_with_ensemble(models, dataloader, device): 传入模型列表对dataloader里的数据做前向推理并返回融合后的预测 # 让所有模型进入评估模式 for m in models: m.eval() all_logits [] with torch.no_grad(): for inputs in dataloader: inputs inputs.to(device) batch_logits [] for m in models: # 直接取logits不取softmax logits m(inputs) batch_logits.append(logits) # 在logits层做平均 avg_logits torch.stack(batch_logits, dim0).mean(dim0) all_logits.append(avg_logits) # 拼接成完整预测 outputs torch.cat(all_logits, dim0) probs F.softmax(outputs, dim1) return probs这段代码的逻辑就是把每一个模型的logits都保留下来所有模型推理完后按位取平均。如果类别数量相同、batch一致这段代码可以直接替换你原来单模型推理的那段。实测效果单模型91%验证准确率3模型平均后在测试集上稳定提高约1到1.5个百分点。如果你想用加权平均把avg_logits那行改成加权的即可weights [0.4, 0.35, 0.25] # 在验证集上搜索出的权重 avg_logits sum([w * logits for w, logits in zip(weights, batch_logits)])要提醒一点用哪个预处理、哪个输入分辨率所有模型要统一。不同模型如果用了不同的输入尺寸或不同的归一化参数集成的输入处理必须分别走各自模型对应的预处理最后再融合。千万不要图省事统一预处理某个模型是用448分辨率预训练微调的你用224去喂它的logits必然被削弱。4.2 Tabular数据集上的Stacking完整流程Kaggle这类比赛里最常见的场景就是表格数据回归或二分类Stacking是最常用的终局方案。我给一个可以直接套用的流程重点讲清楚K折回填这个关键细节。假设训练集有训练特征X和标签y需要把它切成5折。对每个基模型进行5次循环每次拿4折训练、1折验证。验证的那一折数据用当前训练好的模型预测一遍把预测结果存为一个新特征。这样5次循环之后整个训练集都被这个基模型“以从未见过该样本的方式”预测了一遍得到一列新的预测特征。测试集则用5个模型分别预测一遍取平均作为这个基模型在测试集上的预测特征。import numpy as np from sklearn.model_selection import StratifiedKFold def stacking_feature(model_list, X, y, test_X, n_splits5): 生成Stacking的第一层特征 model_list: 一组基模型每个模型需支持fit和predict X: 训练特征, y: 标签, test_X: 测试特征 返回: train_feat, test_feat skf StratifiedKFold(n_splitsn_splits, shuffleTrue, random_state42) test_feat np.zeros((test_X.shape[0], len(model_list))) train_feat np.zeros((X.shape[0], len(model_list))) for col, model in enumerate(model_list): test_pred np.zeros(test_X.shape[0]) # K折循环 for tr_idx, va_idx in skf.split(X, y): X_tr, X_va X[tr_idx], X[va_idx] y_tr y[tr_idx] m model.__class__(**model.get_params()) m.fit(X_tr, y_tr) # 对验证集预测填入训练特征对应行 train_feat[va_idx, col] m.predict(X_va) # 对测试集预测累加 test_pred m.predict(test_X) / n_splits test_feat[:, col] test_pred return train_feat, test_feat这个生成的train_feat就是元模型的特征test_feat就是对测试集的预测特征。第二层元模型我习惯用逻辑回归分类或线性回归回归这种结构足够简单不容易过拟合第一层特征中的噪声。如果发现逻辑回归效果一般可以试一下浅层GBDT但注意验证集上的表现防止第二层也过拟合。Stacking在实践中的一个重要技巧叫做“特征宽度”。第一层基模型不要清一色都用同一类模型最好覆盖不同机制的模型——树模型、线性模型、神经网络模型各放一个。不同机制的模型做出来的特征互相关性低第二层学到的东西才真正有价值。如果第一层放了5个相似的树模型那第三层特征之间的相关性极高Stacking就退化成了一次加权平均没必要。4.3 轻量备选EMA与SWA很多时候受资源限制没办法训多个完整模型。这时候有两个轻量级的“软集成”思路非常值得考虑。EMAExponential Moving Average是训练过程中持续维护一份模型参数的滑动平均。写法很简单每训练一步更新模型参数的同时用一个小系数更新EMA参数。最后推理时用EMA参数而不是训练出的原始参数。ema_decay 0.999 ema_model copy.deepcopy(model) for step, (inputs, targets) in enumerate(train_loader): # 常规梯度更新 loss.backward() optimizer.step() # 更新EMA参数 with torch.no_grad(): for ema_p, p in zip(ema_model.parameters(), model.parameters()): ema_p.data.mul_(ema_decay).add_(p.data, alpha1 - ema_decay)EMA的本质是在时间维度上做集成每一步的模型参数都在微小变化EMA平均掉了前面的步子得到的参数更稳。尤其是训练后期学习率衰减那段时间EMA参数的提升往往比最终checkpoint还明显。我在不少任务上测过EMA带来的收益在0.3到0.8个百分点之间代价只是多存一份模型参数和一次推理。SWAStochastic Weight Averaging思路类似但不是指数滑动平均而是把训练后期的几个checkpoint权重直接取算术平均。它比EMA更激进我一般只在学习率已经衰减到很小之后用SWA。用法是训练快结束时保存最后5到10个epoch的模型权重取平均作为最终权重。这个方法在CV任务中屡试不爽在NLP任务上效果弱一些因为NLP模型的损失平面更崎岖简单的权重平均容易落在坏点上。如果评估出来EMA单模型比原始模型好那还有一个额外的好处EMA模型可以替代一个Bagging基模型加入到集成里。我在一个任务里测试过3个普通模型加1个EMA模型融合效果优于4个普通模型因为EMA模型和普通模型的多样性更高。5. 常见问题与排查技巧实录5.1 集成后反而变差了先查这几个地方最常碰到的怪事是单独测每个模型验证集都有88%到89%集成平均反而只有87%。出现这种情况时我通常按下面的顺序排查。第一步查归一化。前面说了如果在概率层做平均模型间的概率分布差异会直接影响融合效果。把融合位置挪到logits层或者先做温度缩放常常就解决了。第二步查代表性。看每个模型在验证集上是不是真的都表现接近。比如A模型在验证集上90%B模型只有82%那集成平均反而会被B拖下水。这时候的解决方案是要么去掉太弱的模型要么给弱模型一个很低的权重。我见过不少初学集成的人以为模型越多越好结果塞了一堆弱模型验证集越降越低。记住集成的前提是每个成员都有接近的能力然后才谈互补性。第三步查数据泄漏。如果你用了Stacking但第一层预测特征是用全量训练数据训练后预测出来的那元模型必然过拟合。判断方法很简单看训练集上的融合指标和验证集上的融合指标之间的差距是不是特别大。如果训练集95%、验证集88%差距过大优先怀疑泄漏。第四步查验证集本身。如果验证集只有几百个样本那么0.5到1个百分点的波动都是正常的集成是否有效要靠一个更大更稳的评估集来确认。我试过在一个2000张图的验证集上3模型平均比单模型高了0.8%看起来不错但换一个同分布的5000张图验证集差距缩到了0.2%。所以判断集成收益务必用大一点的评估集别被小集噪声骗了。5.2 训练成本太高怎么压缩如果你训练的是大模型一个模型就要一张卡跑一周集成5个就是五周确实不可接受。我推荐几个我常用的成本控制策略。第一个策略是减少每个成员的训练轮数。集成成员的精度要求不必和单模型冲榜时那么极致训练到验证集收敛的80%程度就保存集成的融合效应能补上剩下的差距。实测下来两个训练不充分的模型加上一个训练充分的模型集成效果并不比三个充分训练的差多少成本却能省三成以上。第二个策略是共享主干只训分类头。对CV任务来说用同一个预训练主干抽特征后面接几个不同结构的分类头分别训练相当于只训练了几条轻量分支。这样训练成本和单模型几乎持平但获得了模型层面的多样性。这个做法来自我在一个医疗影像项目的实践当时GPU资源有限这样处理后集成的收益大约是从单模型89%提到90.5%。第三个策略是做时序集成。前面说到的checkpoint平均其实也属于这一类。训练一个大模型保存最后一两个epoch的checkpoint就当作两个成员用。这么做不增加额外训练成本但收益一般只有千分之几。不过对于已经卡在瓶颈期的模型来说千分之几的提升已经值得拿了。5.3 类别不平衡情况下集成的特殊处理二分类任务里正样本只占5%这时候直接平均softmax概率模型很容易被多数类主导。我的处理方法是在训练阶段就让每个模型用不同的正负样本比例或不同的class weight让它们对少数类的敏感度有所差异。集成时可以手动提高少数类概率更高的模型的融合权重或者在元模型的训练特征里加入类别置信度校准。这个思路在欺诈识别、故障检测这类场景里非常实用。如果类别数量非常多比如几千类的分类任务集成时还有一个技巧按logits的排名融合而不是按原始数值融合。rank-based融合能消除不同模型logits尺度差异带来的影响在多分类任务中比直接平均要稳。6. 从集成到部署的工程化经验6.1 知识蒸馏把集成塞回一个模型里集成效果好是没错但在线推理时如果要做5次前向传播延迟和算力成本直接翻5倍。很多生产环境根本承受不起这个代价。这时候我通常的做法是知识蒸馏用一个性能强的集成模型teacher去教一个单模型student让单模型尽量逼近集成的预测分布。蒸馏的核心是student不仅要学teacher预测的硬标签还要学teacher输出的软标签。具体说训练student时loss由两部分组成一部分是常规的交叉熵loss对着真实硬标签算另一部分是KL散度loss对着teacher的softmax输出和自己softmax输出的分布算。teacher的softmax需要加一个温度参数让它分布变平滑这样能传递出更多“teacher对相似类别也含糊”的信息。我在一个商城的商品分类任务上做过对比单模型直接训到89%5模型集成到91.5%用集成模型蒸馏出的单模型也到了91.0%。推理成本直接回到单模型水平性能亏了0.5个点但完全可接受。这是我在实际项目中最推荐的落地方式——训练时用集成部署时用蒸馏。蒸馏的一个细节是teacher的logits必须先做温度缩放否则一个过于自信的teacher会让软标签失去信息量。我这里用过的经验温度取值在2到6之间具体要调。6.2 什么时候不值得用集成这个话题可能很多人不爱听但我的真实经验是集成不是银弹有些场景收益很低。第一个不值得的场景是数据极少。训练集只有几百张图时每个模型本身都是处于严重过拟合状态它们的“多样性”来自过拟合的不同噪声集成平均下来虽然方差降了但偏差仍在收益非常有限。这时候投入精力去搞数据清洗、收集更多数据回报远大于集成。第二个不值得的场景是推理资源极度紧张并且无法做蒸馏的线上服务。如果一个接口限制延迟必须在10毫秒以内5个模型的集成根本进不了在线链路而且短期内没有时间做蒸馏压缩那这个锦上添花的事只能暂时放下。第三个场景是成员模型之间已经存在依赖关系。比如多个模型共享同一个预训练骨干或者在同一份数据上训练多样性被结构性限制了。这种情况下你训10个模型基本等于训了一个模型的轻微变体融合提升微乎其微。要先从结构上拉开差异再谈集成。6.3 关于评估和上线监控的一句提醒集成模型上线后除了盯着总体指标我还会单独监控每个成员的指标变化。如果线上数据分布发生漂移往往不是所有模型一起掉点而是某一个模型先掉。这时候如果能对每个成员单独统计指标就能提前发现漂移的苗头及时决定要不要减少该成员的权重或者触发重训。这个做法我踩过几次坑后总结出来的成本很低但效果很实在。另外集成模型的最终表现还有一个“隐藏福利”它比单模型更稳定。这种稳定不只是指标更高更体现在预测的抖动变小。对线上分数敏感的业务比如风控、搜索排序这种稳定性有时候比精度提升本身更重要。这行做久了你会发现集成的技巧并不多核心还是那句话让每个模型独立地犯不同的错然后让它们互相纠错。真正拉开差距的往往是你对数据、对模型、对训练细节的把控而不是某个花哨的融合公式。