从上次整理完第一份深度学习笔记到现在隔了挺长时间。这段时间里我自己试了不少网络结构也帮身边几个在做项目的同学盯过他们的训练过程发现一个特别常见的现象论文里的模型看着都懂跑开源代码也能出结果可一旦换成自己的数据训练就变成一场漫长且莫名其妙的折磨——loss不降、指标乱跳、还有一个数据换到另一个数据上直接废掉。所以这份深度学习笔记二我不想再按网络层数、激活函数、损失函数从头到尾背一遍概念而是把注意力放在更值钱的地方数据进模型之后到损失下降、评估指标靠谱为止整套训练流程里到底有哪些点会拖后腿以及出了问题该按什么顺序排查。这个定位决定了这篇笔记的受众。如果你已经跑通过MNIST、CIFAR这类入门案例但第一次拿自己的数据集做训练时感到无从下手或者你调参基本靠猜每次改一个超参数要等一晚才有结果那么这份笔记会比较对路。如果你连损失函数、反向传播这些基础都还没接触过建议先翻前面的入门资料再回来看本文否则很多经验理解起来就会缺一块。1. 这份笔记写给谁跳过理论直接面对训练这件事1.1 从“能跑通”到“能稳定复现”之间的那道坎第一份笔记整理完以后我的重心就从“怎么搭一个网络”转移到了“怎么让网络在真实数据上稳定出结果”上。这两个状态之间的距离比大多数人想的大得多。搭网络无非是层次堆叠、激活函数、池化方式这些套路哪怕是入门教程都能给出一个标准答案但稳定训练涉及的问题维度完全不同包括数据分布、初始化、学习率策略、正则化程度、评估指标的选取任何一个环节出现隐性错误都会让你在傍晚提交训练任务第二天早上收获一个nan或者一串毫无意义的loss曲线。我见过一个比较经典的局面同一个网络结构在公开数据集上效果很好换成某个横向项目的数据后训练集loss一路下降验证集指标却纹丝不动。刚开始以为是过拟合试了Dropout、权重衰减、数据增强全都没用。后来排查发现数据里正负样本比例差了几十倍模型一开始就把所有样本都预测成多数类loss虽然下降但少数类一个都没抓到。这个案例让我意识到训练结果不好很多时候不是“网络不够深”而是数据进入模型之前的环节出了岔子模型只是在忠实拟合一个本来就错乱的分布。所以这篇笔记的主线不是模型结构而是训练流程。我会按真实项目里遇到问题的频率来组织内容尽量把“问题表现—根因分析—排查顺序—验证方法”这条链路讲完整而不是堆砌术语。1.2 核心主线一切围绕“训练结果”展开建模这件事模型结构只是骨架数据质量、预处理、训练策略、评估方式才是血肉。拿盖房子打比方结构决定你盖的是公寓还是别墅但如果水电管线走错了、地基没处理好住进去一样出问题。深度学习的训练过程也类似很多人一开始就把大量精力花在“换一个更强的模型”上却没有先回答一个更基础的问题当前这套数据配这个任务到底有没有一个模型能正常收敛、稳定泛化我写这篇笔记时采用的思路是从数据到模型、从训练到评估每个环节都围绕“最终训练结果”来展开。你先能做出一个无论效果好不好但逻辑完全正确的基线再谈优化否则所有后续改动都是空中楼阁。后面几个章节的排列也遵循这个逻辑数据预处理在前训练过程中的排查清单居中过拟合判断与正则化策略承接最后落到评估和复现习惯上。这样看下来读者能形成一条完整的排查线路而不是拿到一个问题就到处乱试。2. 数据进入模型前比调参更早出现的三个隐性坑2.1 归一化与标准化同样网络换个数据就失效的根因第一件要聊的事不是网络是数据预处理里的归一化。很多初学者觉得归一化就是“减均值除以标准差”这么简单套上去没用就开始怀疑人生。其实归一化的价值不是让数据变成0到1而是让特征的尺度处于同一水平避免数值大的维度完全主导梯度。举个例子如果你做一个房价预测特征里面积可能是几十到几百房龄可能是1到100周边学校数量可能是0到10。直接把这三个特征拼起来进线性层模型学习的重点会偏向数值大的面积房龄和学校数量即使有关系也会因为梯度幅度相差悬殊而学得很慢。这种情况在神经网络里体现得更隐蔽因为中间层还有权重和激活函数放大缩小但尺度失衡的问题并没有消失。具体操作上最常见的两种方法是MinMax归一化和Z-Score标准化。MinMax适合分布边界明确、没有明显长尾的数据Z-Score更适合分布接近高斯、存在离群点的数据。代码很简单用PyTorch或NumPy都能实现关键是这个变换的统计参数只能用训练集计算存下来再应用到验证集和测试集。import numpy as np # 假设 train_data 是二维数组shape [样本数, 特征数] mu train_data.mean(axis0) std train_data.std(axis0) train_norm (train_data - mu) / (std 1e-8) # 验证集和测试集必须使用同一组 mu 和 std val_norm (val_data - mu) / (std 1e-8)有一个新手经常踩的坑把整个数据集一起算均值、标准差再做归一化再划分训练集和验证集。这样做会把验证集的信息泄露到训练过程中导致验证指标虚高。正确顺序应该是先划数据再在训练集上计算统计量。图像任务略有不同通常只用全局均值和标准差比如常见的ImageNet统计量但如果是医学影像或者特殊传感器数据还是建议自己从训练集统计。2.2 样本不平衡与数据增强多数人忽略的“隐性因素”第二个坑是样本不平衡。还是拿一个实际例子来说假设你在做一个缺陷检测二分类模型正样本占总量只有1%负样本占99%。如果网络把所有样本都预测成负样本训练loss依然可以降得很低准确率甚至能到99%但那只是把问题彻底掩盖了。我刚开始做相关任务的时候也吃过这个亏看到验证准确率到99%以为大功告成后面画混淆矩阵才发现正样本几乎全被分错模型根本没有任何实用价值。解决样本不平衡要从几个方向同时用力一是数据层面少数类过采样、多数类欠采样二是损失函数层面给少数类更高的权重或者在二分类场景使用Focal Loss三是评估层面不要盯着准确率改用精确率、召回率、PR曲线来判断好坏。数据增强是另一个常被误用的手段。很多人以为数据增强就是把图片旋转、翻转、加噪声然后无脑加到训练流程里。增强确实有用但增强强度需要结合任务来设计。比如文字识别任务里把一个“6”倒过来旋转180度语义就完全变了这种增强只会把模型搞糊涂。正确的节奏是先确认任务是否具有该变换的不变性再决定增强策略。另外数据增强只应该作用在训练集绝不可以在验证集和测试集上做同样的随机变换否则验证指标本身就失真了。2.3 数据集划分验证集和测试集的作用不能混着用第三个坑听起来最基础但在实际项目里中招的人非常多没有正确区分验证集和测试集的用途。验证集是用来在训练过程中做模型选择的它参与超参数的调整和早停判断测试集只在训练结束、模型完全固定之后做一次最终评估。如果把测试集也拿来回调参那测试集的实际作用就退化成了第二个验证集最后的测试分数会严重虚高等到真正上线面对新数据时性能就会崩。造成这种现象的原因也很直白训练时loss在下降到底该继续训还是该早停必须有一组模型没有见过的数据来打分这就是验证集存在的意义。你拿到一个模型在验证集上指标不涨然后顺手改个学习率再去测试集上看效果改三次之后模型已经在测试集上“见过”三次不同超参数对应的结果了最终得分自然被污染。遇到时序数据时划分方式也不能随机。随机划分会把未来的数据混进训练集造成信息泄露在时间序列预测、金融风控这类任务里尤其致命。正确做法是按时间顺序切分比如前80%的时间段做训练后20%做验证再后面留一段完全碰不得的数据做测试。划分规则要在项目一开始写清楚最好直接写进实验记录的README里避免后面写着写着就忘了。3. loss不降和乱跳时的排查链路按顺序来别瞎试3.1 先怀疑代码正确性用梯度检查和“过拟合一个batch”定位问题训练过程中最让人崩溃的瞬间就是loss完全不降或者在某个地方突然变成nan。遇到这种情况很多人第一反应是去调整网络结构、更换损失函数但我的建议非常明确先怀疑代码正确性再做其他猜测。有一个很有效的排查技巧叫“过拟合一个batch”。做法很简单停用所有正则化手段比如Dropout、权重衰减、数据增强然后只拿几十个样本训练把训练步数放大。如果模型连几十个样本都不能把训练loss压到接近0那大概率是代码逻辑有问题比如前向传播计算错了、梯度没有正确反传、标签和数据没有对齐。如果一个batch能过拟合再逐步把正则化和完整数据加回来问题出在哪一环就比较容易暴露。梯度检查是另一道保险。深度学习框架虽然帮我们实现了大部分反向传播但自定义操作符、复杂损失函数的梯度仍然可能写错。PyTorch里提供了torch.autograd.gradcheck它会用数值法对比解析梯度误差超过阈值就报错。我第一次检查自己写的一个自定义损失函数时就发现梯度差了几个数量级那种bug是训练时永远不可能收敛的光靠“调大学习率”根本救不回来。3.2 学习率是头号嫌疑人从大到小扫一圈再定初始值代码没问题、损失还是不降第二件事就是检查学习率。学习率是训练过程中最敏感的超参数它一错什么优化器都救不了。我的习惯是先用一个比较粗的学习率扫描来做区间确认在同一个任务上把学习率从1e-4到1e-1按倍数拉开每个学习率只训练几百步记录loss下降曲线的形状再选择下降速度快且稳定的那一档作为初始学习率。下面这张表总结了我平时判断的思路训练表现主要嫌疑初步对策loss几乎不下降下降缓慢得像水平线学习率过小尝试调大3到10倍loss先快速降然后突然变成nan学习率过大调小10倍再观察loss上下乱跳但平均趋势在下降学习率略大或batch太小适当降低学习率或增大batch sizeloss在某个值附近震荡怎么也压不下去可能卡在局部平坦区或梯度消失换优化器或调低学习率后配合warmup学习率也不是全程固定不变的。很多稍微复杂一点的任务尤其是Transformer类的模型需要在训练初期使用线性的warmup把学习率从0逐步加到目标值然后再按余弦退火或分段衰减降低。但这些都是后续优化初始排查时不要想得太复杂先跑一个简单固定学习率的baseline把问题边界画清楚再说。3.3 损失函数、标签和数值范围低级错误造成的“假性不收敛”还有一类问题特征是代码没有报错loss走势也正常但指标怎么都上不去。这种时候要回头检查损失函数和标签的匹配关系尤其是分类问题。一个很经典的错误是手动在多分类模型的输出层加了Softmax又去用nn.CrossEntropyLoss而这个损失函数内部就带Softmax计算等于softmax套了两次导致梯度变小模型学习速度骤减。标签的数据类型也有讲究。PyTorch里分类标签要传torch.long这种整型张量回归目标传浮点型。某个框架中如果传错类型有时候不报错但结果完全不对这种问题特别隐蔽排查起来很费时间。另一个容易出错的地方是回归任务的标签范围。如果真实标签取值范围是0到10模型的输出却没有经过任何约束Sigmoid之类的激活函数会把输出强行压到0到1之间结果可想而知。解决办法是最后一层不加激活函数或者把标签归一化到合适的范围再训练。数值稳定性方面输入数据里一旦混入NaN或无穷大训练几乎必然走向崩溃所以数据检查这个步骤不要省略。3.4 Shuffle与样本顺序数据排列带来的隐藏偏差最后一个容易忽略的原因跟数据顺序有关。如果你在训练前没有正确地打乱数据或者打乱方式在每次epoch之间完全一样模型会在一个固定顺序上学会一些虚假的规律而不是真正理解数据。举个例子某个小组做商品分类原始数据按类别排好A类500张B类500张如果不打乱就进入训练一个batch里全是同一类。模型很快能记住“预测当前batch的类别”而不是学习类别本身的特征表现在验证集上指标可能还行但换成业务现场数据就直接失效。正确的做法是每个epoch都重新随机打乱训练数据固定随机种子方便复现同时验证集在构建时也可以打乱一次避免同类样本集中在一起影响对整体性能的判断。4. 过拟合和欠拟合借助训练曲线判断模型处于哪个阶段4.1 读懂训练曲线的三个关键点训练曲线是深度学习里最直接的“体检报告”但很多新手不知道怎么看。我习惯先看三个关键点训练loss和验证loss之间的距离、两者各自的变化趋势、验证指标波动的幅度。训练loss一路走低验证loss先跌后涨这是标准的过拟合形态。模型把训练数据的细节背下来了但没有学到可以迁移到新数据上的规律。反过来训练loss始终高居不下验证loss也跟着高这是欠拟合问题一般出在模型容量不够、训练不够充分、特征没有处理好或者数据本身存在错误。还有一个常见形态是训练loss还在降验证loss已经横盘甚至上升这时候模型在过拟合的边缘早停就是派这个用场。判断时不能只看最终结果一两个点要完整记录并观察整条曲线的走势。很多人的做法是每个epoch打印一次loss就完事我会推荐用TensorBoard或者直接存日志把所有epoch的指标都留下。这样回头分析“指标到底从第几个epoch开始恶化”时才有依据。4.2 Dropout、权重衰减与早停不要一上来全部打开正则化手段越多越好这是一个常见的误区。Dropout、权重衰减、标签平滑、数据增强各有作用机制但叠加在一起并不一定产生协同效应有时候反而会压制模型的拟合能力让欠拟合问题变得更严重。我的建议是“缺什么补什么”而不是“有什么上什么”。当你判断模型已经过拟合可以先加一个Dropout看看效果比如放在全连接层之间比例从0.3开始调。权重衰减则对大多数网络都有正面影响一般从1e-4或1e-5起步。早停则是在验证集指标连续多个epoch不涨时停止训练保存验证指标最优的那个模型权重。这几个手段中早停风险最小Dropout和权重衰减更偏向改变模型的表达方式最好分开验证不要同时大幅度调整否则出了问题都不知道是哪个改变带来的。4.3 数据量不足时不要急着把模型做大数据量小的时候最常见的错误是觉得模型必须足够大才能学习复杂规律结果几千张图配上几千万参数的网络训练一个epoch都非常慢效果反而不如一个小模型。小数据场景下的正确策略是先用简单模型做基线验证数据本身是否有足够信号然后如果确实需要更强的特征提取能力考虑迁移学习或微调预训练模型。在图像领域直接用预训练的卷积网络做特征提取只训练后面的分类头是数据量有限时最稳妥的方式。一个小团队做过一个实验在只有几百张图片的数据集上完全从头训练一个大网络验证准确率长期在60%附近换用预训练特征加一个线性分类器以后首轮训练就到了85%以上。差别就在于预训练模型已经掌握了大量通用视觉特征不需要重新从零开始学。5. 评估模型时被低估的两张图和三个习惯5.1 只看Accuracy为什么会被坑混淆矩阵和PR曲线是标配很多项目汇报里汇报准确率就完了我建议不管业务方有没有要求先把混淆矩阵和PR曲线做出来。混淆矩阵能直接看出模型在哪些类别上互混比如邮箱验证码识别里数字8和0、1和7之间的误判是一目了然的。PR曲线的价值在不平衡分类里更突出它能告诉你“在维持一定精确率的前提下召回率能做到多少”。精确率是“预测为正的样本里真正为正的比例”召回率是“真实为正的样本里被找回来的比例”。这两个指标往往是矛盾的PR曲线展示的就是这个取舍过程。只看准确率的问题在于当正样本比例极低时哪怕模型一个正样本都找不出来准确率也可能高得吓人。所以凡是要上线到业务中的模型我都会要求团队成员至少把这两张图放进实验结果里。5.2 测试集上的表现不等于真实表现测试集分数只是一个参考不是承诺。模型在测试集上的表现和真实环境表现往往存在落差主要原因是训练测试集与线上数据的分布不一致。这类现象有个通用的名字叫分布偏移比如做物品外观检测训练数据来自某个型号的相机光线稳定到了线上换了个拍摄设备或者拍摄角度变了模型的性能可能肉眼可见地下降。应对分布偏移的办法不是只看总分而是做“残差分析”。把测试集里被分错的样本挑出来逐一观察它们和训练集样本的差异有时候你会发现模型学的根本不是目标本身而是背景里某种颜色、某个logo甚至拍摄时的水印。这种发现光靠指标数字永远看不出来必须动手看数据。5.3 再小的项目也要有模型保存和实验记录的习惯最后说三个实验管理上的习惯它们看似跟“深度学习技术”没什么关系但恰恰是最能让训练结果沉淀下来的部分。第一模型权重不要只保存最后一轮而要保存验证集表现最好的那一份。第二每次实验要记录随机种子、数据版本、预处理配置、超参数、训练时长最好用一套统一的配置文件管理。第三所有实验结果和日志放到固定的文件夹结构里方便追溯。一个小项目配一个配置文件是我觉得性价比最高的做法。你可以用简单的字典或YAML文件把学习率、batch size、数据增强选项、模型名称都集中起来训练脚本只负责读取配置。这样当你拿到一个旧实验想要复现时不需要去翻聊天记录猜当时用了什么参数。一开始多花一点时间后面节省的时间是成倍的。6. 我踩过很多次坑之后最想留下的几句话6.1 我的“三板斧”排查流程现在每次拿到一个新的训练任务我不再像以前那样凭感觉东调西试而是严格遵守一套自己的排查流程。第一步先构建一个极小规模的训练集确保模型能过拟合这一步的目的是验证代码整体没问题第二步跑一个覆盖多个学习率的小规模扫描确定合适的初始学习率范围第三步用完整的训练数据训出第一个baseline画出训练曲线和评估曲线再决定往哪个方向优化。这个过程看起来很简单但至少帮我避开了百分之七八十的无效调参。很多人浪费时间的根本原因不是不勤奋而是同时动太多变量最后出了问题也无法归因。按照这三步走每个阶段只有一种变量在变化出了问题很容易定位到具体原因。6.2 在学习节奏上的建议再分享一个心得不要一上来就换新模型。拿到一个新任务时先用最简单的逻辑或现成的预训练模型跑一个baseline确认数据通道、损失函数、评估流程都正确再开始追求指标。很多时候你最后花了很多天换来的效果提升还不如早点去检查数据里有没有脏样本来得快。神经网络是很强大的拟合工具但前提是建立在干净的数据和正确的框架之上。这份深度学习笔记二能写出来的每一个排查顺序都是花了不少冤枉时间换来的。如果它能帮你少走一段弯路那就很值得了。接下来如果大家想看可以考虑再整理一篇关于数据清洗和错误分析的笔记毕竟在真实项目里那部分才是决定一个模型能不能真正落地的重要环节。