简介Python 实现的多模型消融实验人脸表情识别项目面向有深度学习基础的研究者或本科生可用于复现 VGG16、ResNet50、InceptionV3 与自定义卷积网络在 FER2013、RAF 数据集上的对比实验。项目基于深度学习框架构建核心是将 CBAM、SE、ECA 三种注意力模块嵌入各主干网络通过消融实验验证注意力机制对表情识别精度的影响实验结论为 ResNet50 结合 CBAM 组合精度最高、模型拟合效果最好。压缩包共 18 个文件体积约 244KB以 7 个 Python 脚本为主涵盖数据加载、模型定义、注意力模块编写、训练与结果保存等环节另有 3 张图片展示结果、2 份 Markdown 文档说明使用方法。工程目录按 dataloader、dataset、logs、result 划分结构清晰各主干网络可通过参数快速切换便于直接运行和二次改造。已有 443 人学习适合用于课程设计、论文实验或表情识别方向的入门实践。1. 先想清楚这个项目到底在验证什么Resnet50 与 Attention 的排列组合实验人脸表情识别在 FER2013 这类公开数据集上很多人一上来就堆最重的分类模型结果基线和变量都没控制住折腾半个月也说不清到底是哪个模块起了作用。这个标题其实点出一条更工程化的路线以 Resnet50 为主干接上 SE、CBAM 这类轻量 Attention 模块用统一的数据、统一的超参、统一的模型工厂做多模型消融实验用对比数据回答“Attention 到底值不值得加、加在哪里有效”。它适合三类人做毕设需要完整实验链的学生、想在算法笔试里拿出可复现项目的人、以及在小团队里承接表情识别评估任务的工程师。读完这篇你能得到一条能直接落地的实验骨架也知道哪些地方容易翻车。2. 选型与数据预处理基线定在 Resnet50 的理由以及表情数据怎么灌进模型2.1 为什么基线不选 Resnet101 也不选 VGG19而是 Resnet50FER2013 是 48×48 的灰度图、7 分类训练集约 2.8 万张类间差异很小像 Sad 和 Neutral 的边界本来就模糊。在这种数据量级下Resnet101 和 Resnet152 的深层结构容易在训练集上快速收敛、却在测试集上掉点因为强拟合能力会把类内噪声一起记住。VGG16/19 的问题更直接参数集中在三个大全连接层里又没有残差捷径梯度经过十几个线性层回传后很容易衰减训练速度慢而且对学习率特别敏感。Resnet50 是折中点。残差结构让梯度回传顺畅50 层的容量对表情识别够用torchvision 里一条命令就能拿到预训练权重。更关键的是结构规整conv1 → bn → relu → maxpool → layer1 到 layer4 → fc每一层的输出通道数都公开可查插入 Attention 模块的位置非常清晰。做消融实验还有一个容易被忽略的选型标准——模型必须容易被改造Resnet50 的四个残差阶段边界分明你有四个可选的插入点这是 VGG 那种串行结构给不了的。Resnet18 我也会放进消融矩阵里不是当主力而是当“快速验证组”。跑通全套代码、确认 Attention 实现正确之前先用 Resnet18 把实验链路验证一遍单轮训练只要几分钟排查问题不用等。确认链路没问题再上 Resnet50 和 VGG16。这是做实验的基本顺序先快后慢而不是先慢后快。2.2 人脸表情数据的预处理管线灰度图、对齐与归一化FER2013 原始数据是 CSV每一行是一张 48×48 的像素值数组加一个标签。常见做法是把它落地成图片文件一方面方便后续可视化另一方面换模型时不用重新解析 CSV。用 opencv 读灰度图做缩放和数据增强然后转成 PyTorch 的张量import cv2 import numpy as np import torch from torch.utils.data import Dataset class FER2013Dataset(Dataset): def __init__(self, image_paths, labels, size48, augmentFalse): self.image_paths image_paths self.labels labels self.size size self.augment augment def __len__(self): return len(self.image_paths) def __getitem__(self, idx): image cv2.imread(self.image_paths[idx], cv2.IMREAD_GRAYSCALE) # FER2013 原始尺寸就是 48x48但如果是视频抽帧需要先做人脸检测裁切 image cv2.resize(image, (self.size, self.size)) # 训练阶段做轻量增强测试阶段不做保持评估口径一致 if self.augment: if np.random.rand() 0.5: image cv2.flip(image, 1) angle np.random.uniform(-10, 10) M cv2.getRotationMatrix2D((self.size // 2, self.size // 2), angle, 1.0) image cv2.warpAffine(image, M, (self.size, self.size)) # 转 float 并归一化到 0~1 image image.astype(np.float32) / 255.0 # 全局标准化mean 和 std 按训练集统计值来 image (image - 0.5) / 0.25 image torch.from_numpy(image).unsqueeze(0) label torch.tensor(self.labels[idx], dtypetorch.long) return image, label这段代码有几个点需要解释。第一cv2.IMREAD_GRAYSCALE读出来是 H×W 的单通道数组后面不需要任何 RGB 转换第二数据增强只加在训练侧测试侧必须做完全相同的 resize 和归一化否则评估结果和训练时的数据分布不一致消融实验的意义就没有了第三mean0.5、std0.25是灰度图经验的取值因为像素归一化到 0~1 后整体接近均匀分布如果你用的是拍摄条件特殊的自采数据集一定要按训练集重新统计均值和标准差。DataLoader 的配置同样影响实验可复现性train_loader DataLoader( train_set, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue, drop_lastTrue )num_workers在 Windows 上建议设成 0否则多进程加载频繁报错Linux 环境可以开到 4 或 8。pin_memoryTrue在 GPU 训练时减少一次主机到设备的拷贝。drop_lastTrue是为了避免最后一个 batch 样本太少导致 BN 统计量跳动虽然 FER2013 的 2.8 万张能被 64 整除但换成自采数据集时这个设置能防止意外。环境准备也要先交代清楚pip install torch torchvision opencv-python如果cv2装不上先检查python --version和pip -V是否指向同一个解释器这是新手最常见的第一步卡点后面避坑章还会提到。3. 搭建可切换的模型工厂把 Resnet50 / Resnet18 / VGG16 和 Attention 模块解耦3.1 先实现轻量 AttentionSE 模块和 CBAM 的简化版这里说的 Attention 不是 Transformer 里那种全局自注意力而是加在卷积输出上的通道/空间加权。SE 模块的思路是用全局平均池化统计每个通道的响应强度再通过两个全连接层和 sigmoid 生成 0~1 的权重把重要通道放大、不重要通道压低。它的参数量极小一个 256 通道的 SE 块只有约 4k 个参数非常适合做消融研究。import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.gap nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() # 全局统计量每个通道压成一个标量 y self.gap(x).view(b, c) # 两个全连接层先降维再升维sigmoid 输出门控 y self.fc(y).view(b, c, 1, 1) # 通道加权保留空间结构不变 return x * y.expand_as(x)reduction16是 SENet 原论文的值但在这个任务里要留意Resnet50 的 layer1 输出通道是 256除以 16 后中间层只有 16 维信息瓶颈太窄layer4 输出 2048除以 16 后是 128反而合理。所以很多人在小数据集上会把 reduction 改成 8尤其是前面几个 stage。这也是一个可以进消融矩阵的超参我会在下一章展开。CBAM 是在 SE 基础上多了一条空间注意力分支。空间分支的做法是把特征图在通道维度上取平均和最大值拼成两通道的图过一个 7×7 卷积再 sigmoid 得到每个像素位置的权重class SpatialAttention(nn.Module): def __init__(self, kernel_size7): super().__init__() self.conv nn.Conv2d(2, 1, kernel_size, paddingkernel_size // 2) self.sigmoid nn.Sigmoid() def forward(self, x): # 通道维度上压缩得到一个平均响应图和一个最大响应图 avg_out torch.mean(x, dim1, keepdimTrue) max_out, _ torch.max(x, dim1, keepdimTrue) out torch.cat([avg_out, max_out], dim1) out self.conv(out) return x * self.sigmoid(out)完整的 CBAM 是先做一遍通道注意力再做空间注意力。强调一下实现 CBAM 时那个共享 MLP 必须有两个全连接层加一个 ReLU少一个 ReLU 或者把两个池化分支的 MLP 分开写都会改变梯度路径导致结果和你对比的论文对不上。有人会问既然有 flash attention 这类高性能实现为什么不直接用道理很简单——SE 和 CBAM 根本没有 QKV 矩阵乘法它们是另一类结构flash attention 在这里用不上而且消融实验最忌讳混用不同实现那等于在同一组实验里塞进了额外的变量。我一般把注意力实现保持原生 PyTorch只在 DataLoader 层面做性能优化。3.2 模型工厂用一段代码让基线模型可插拔、可加 Attention消融实验的工程核心是“模型工厂”输入一个骨干模型名和一个注意力模块名返回组装好的完整模型。这里有一个隐蔽的设计决策——Attention 作用在哪个位置。我采用的方案是骨干网输出 feature map 后先过 Attention再做全局平均池化最后接分类头。也就是说 Attention 作用在带空间尺寸的特征图上而不是已经压扁的向量上。import torchvision.models as models from torch import nn class ModelFactory: def __init__(self, num_classes7, in_channels1): self.num_classes num_classes self.in_channels in_channels def _fix_first_layer(self, model): # 把 ResNet 系模型的第一层卷积改成单通道输入 old model.conv1 model.conv1 nn.Conv2d( self.in_channels, old.out_channels, kernel_sizeold.kernel_size, strideold.stride, paddingold.padding, biasFalse ) return model def get_backbone(self, name): if name resnet50: model models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V1) elif name resnet18: model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) elif name vgg16: model models.vgg16(weightsmodels.VGG16_Weights.IMAGENET1K_V1) else: raise ValueError(funsupported backbone: {name}) if name vgg16: # VGG 的结构里没有 conv1 属性第一层在 features[0] model.features[0] nn.Conv2d( self.in_channels, 64, kernel_size3, padding1) else: model self._fix_first_layer(model) return model def build(self, backbone_name, attention): # 拿到骨干网络并摘掉分类头保留特征提取部分 backbone self.get_backbone(backbone_name) if backbone_name.startswith(resnet): channels backbone.fc.in_features backbone.fc nn.Identity() else: channels backbone.classifier[0].in_features backbone.classifier nn.Identity() # 按名字选择注意力模块none 就是用 Identity 占位 if attention se: attn SEBlock(channels) elif attention cbam: attn nn.Sequential(SEBlock(channels), SpatialAttention()) else: attn nn.Identity() # 统一分类头GAP - Flatten - Dropout - Linear head nn.Sequential( attn, nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Dropout(0.5), nn.Linear(channels, self.num_classes) ) return nn.Sequential(backbone, head)这段代码解决了三个问题。第一灰度图输入和预训练权重的冲突Resnet50 的 conv1 原本是 3 通道直接喂单通道会报错_fix_first_layer把它替换成 1 通道卷积。替换后的 conv1 是随机初始化的后面的 layer1 到 layer4 仍然加载 ImageNet 权重这叫部分迁移。你也可以选择把灰度图复制三份当 RGB 输入但那样 conv1 的预训练权重保留下来却没有对应的彩色语义心里要清楚这一点。第二dropout 的位置。很多人把 Dropout 放在 GAP 之前但如果 Attention 已经作用完、特征图被 GAP 压成 1×1Dropout 就几乎没有意义了。我在 head 里把 Dropout 放在 Flatten 之后、Linear 之前这才是它该待的地方。第三模型工厂返回的是一个干净的nn.Sequential(backbone, head)训练代码完全不用感知具体模型结构。后续想加新的 Attention 模块只要新增一个类再往 build 里加一个分支训练脚本一行都不改。这就是消融实验的基本工程要求变量最小化改动局部化。4. 消融实验怎么设计基线与 Attention 组合的训练与指标统计4.1 消融矩阵哪些组合该跑哪些组合是浪费算力消融实验的第一件事是把组合矩阵列清楚。主实验是 3 个骨干模型 × 3 个注意力配置组合编号骨干模型Attention实验目的A1Resnet18无轻量基线A2Resnet18SE快速验证 SE 是否有效A3Resnet18CBAM快速验证 CBAM 是否有效B1Resnet50无主基线B2Resnet50SE主实验SE 对比基线B3Resnet50CBAM主实验CBAM 对比基线C1VGG16无无残差结构对照C2VGG16SE验证 Attention 是否依赖残差C3VGG16CBAM验证 Attention 是否依赖残差这套矩阵把骨干模型和注意力模块完全正交9 组跑完能得到两个结论一是“加 Attention 有没有用”二是“这个结论在 Resnet 系和 VGG 系上是否一致”。第二个结论往往比第一个更有价值因为一个模块如果只在 Resnet50 上有效、换到 VGG16 上失效说明它很可能在弥补残差结构的某些短板而不是一个通用组件。第二层消融属于超参层不建议一开始就跑比如 SE 的 reduction 取 8 还是 16、CBAM 的 kernel size 取 3 还是 7。把超参也变成变量组合数翻倍一旦结果出现波动你很难定位是模块本身的问题还是参数没调好。我的一般顺序是先用固定超参跑完 9 组主实验确认哪些组合值得深挖再针对有效的组合单独做超参消融。4.2 训练脚本骨架固定随机种子、固定超参才有资格谈对比消融实验最大的前提是对照组一致。所有组合必须用同一套损失函数、同一套优化器、同一套学习率调度、同一组随机种子只允许 backbone 和 attention 变化。否则你比较的就不是 Attention 的有效性而是不同优化器状态的差异。先固定随机种子这一步必须在 import 之后、任何模型初始化之前执行import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) def worker_init_fn(worker_id): np.random.seed(np.random.get_state()[1][0] worker_id) set_seed(42)worker_init_fn是容易被漏掉的一个点DataLoader 开多进程加载数据时每个 worker 会继承主进程的随机状态如果不单独设种子数据增强里的随机翻转和旋转在每个 epoch 的序列都不可复现。之前我吃过这个亏跑同一个组合两次测试准确率差了快两个点查了一晚上才发现是 worker 随机性造成的。训练循环保持朴素不要加花活def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0.0 correct 0 total 0 for imgs, labels in loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() out model(imgs) loss criterion(out, labels) loss.backward() optimizer.step() total_loss loss.item() * imgs.size(0) pred out.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) return total_loss / total, correct / total主干训练的超参我建议固定成这一套batch_size64lr1e-3优化器 SGD 配 momentum0.9、weight_decay5e-4或者 AdamW 也可以但一旦选定整个矩阵都用同一个优化器。学习率调度用CosineAnnealingLRT_max50不要用ReduceLROnPlateau因为后者依赖验证集反馈不同模型的表现节奏不同等于给每个组合引入了不同的训练行为。CrossEntropyLoss不加 label smoothing加了就所有组合都加这同样是一个变量。评估函数要记录的不只是总准确率还有每一类的准确率torch.no_grad() def evaluate(model, loader, device, num_classes7): model.eval() correct 0 total 0 per_class_correct torch.zeros(num_classes) per_class_total torch.zeros(num_classes) for imgs, labels in loader: imgs, labels imgs.to(device), labels.to(device) pred model(imgs).argmax(dim1) correct (pred labels).sum().item() total labels.size(0) for i in range(num_classes): mask labels i per_class_correct[i] (pred[mask] i).sum().item() per_class_total[i] mask.sum().item() acc correct / total class_acc per_class_correct / per_class_total.clamp(min1) return acc, class_acc只看总准确率会被不均衡的类别分布骗过去。FER2013 里 Happy 样本多、Disgust 样本极少模型可以完全放弃 Disgust 也能保持不错的总准确率但这不是你要的结果。记录 per-class accuracy重点看 Attention 到底提升了哪个类——通常如果 SE 对 Fear 和 Disgust 这类小样本类别有提升这个模块才是真正学到了表情判别特征。批量跑 9 组实验时我一般直接在 bash 里套两层循环每组实验独立输出一个结果文件#!/bin/bash for backbone in resnet18 resnet50 vgg16; do for attn in none se cbam; do python train.py --backbone $backbone --attention $attn \ --seed 42 --lr 1e-3 --epochs 50 --batch-size 64 done done最后强调重复实验的问题。单次训练的随机性通常能造成 ±1.5% 的波动而一个 Attention 模块的有效提升往往只有 1%~2%只看一次结果就下结论很容易把噪声当结论。常见做法是每组组合用三个种子各跑一遍记录均值和标准差报告时写成“B1 基准 0.62±0.008、B2 加 SE 0.63±0.007”这种形式。9 组 × 3 个种子共 27 次训练FER2013 在单张 V100 上 Resnet50 每轮 15 到 25 分钟总开销可控。这套管线也完全能复用到小样本场景把 Dataset 换成每类固定抽 1 张或 5 张的子集就能做 1-shot、5-shot 的对比实验训练脚本一行不用改。5. 避坑与常见问题从训练不收敛到 Attention 失效的排查记录5.1 加了 SE 模块后 Loss 反而比基线还高现象训练几百个 step 后 loss 停在初始值附近验证集准确率比随机猜测高不了多少。原因最常见的不是 SE 写错而是把它接到了错误的特征图上——如果 Attention 前面已经做完了全局平均池化输入是 1×1 的特征图SE 里的AdaptiveAvgPool2d(1)还能运行但空间信息早就没了通道统计完全失去意义注意力机制自然失效。解决在模型第一次跑通时打印每一层输出的 shape确认 SE 的输入是类似[64, 2048, 7, 7]这样的带空间尺寸的张量而不是[64, 2048, 1, 1]。我习惯在 build 方法里临时加一个 forward hook 打印形状验证完再删掉。另一个验证方式是梯度检查把 SE 前后的特征图标准差打出来如果加 SE 后标准差骤降说明门控把响应压得太死。5.2 灰度图输入直接报错Expected 3 input channels, but got 1现象代码完全按 RGB 模型写的读图改成cv2.IMREAD_GRAYSCALE后forward 报通道数不匹配。原因torchvision 里 Resnet50 的 conv1 写死了in_channels3改数据不动模型两边一定对不上。解决用模型工厂统一处理替换 conv1 的输入通道。注意替换后这个卷积层是随机初始化的所以在构造模型之前必须先执行set_seed否则每次启动模型conv1 的初始化都不同这等于给消融实验引入了新的随机源。这里不做严格检查的话你最终跑出来的组间差异里就混着初始化噪声。5.3 加载预训练权重时 state_dict size mismatch现象模型构造没问题但load_state_dict报错提示conv1.weight或fc.weight尺寸不匹配。原因改过 conv1 和分类头之后state_dict 的 keys 和模型当前 keys 对不上strictTrue直接拒绝加载。解决加载时用strictFalse但必须自己确认只漏掉了哪些层state_dict torch.load(weights_path, map_locationcpu) model_state model.state_dict() for k in model_state.keys(): if k not in state_dict: print(fmissing in pretrained: {k}) for k in state_dict.keys(): if k not in model_state: print(funexpected in pretrained: {k})打印出来应该只有conv1.weight、fc.weight、fc.bias这三类。如果layer1.0.bn1.weight也出现在 missing 列表里说明你的模型结构改坏了不要继续训练先回去检查模型工厂。5.4 同一套参数两次训练结果差 2%现象固定了代码、固定了超参同一个组合跑两次测试集准确率差 1.5%~2%比 SE 模块可能带来的提升还大。原因随机种子没固定全。最常见的是固定了 PyTorch 和 NumPy 的种子但漏了 DataLoader 的 worker另一个隐蔽原因是cuda.manual_seed_all写在训练函数末尾而不是 import 之后、构造模型之前执行顺序错了等于没固定。解决把set_seed放到所有初始化之前DataLoader 加worker_init_fn并在代码启动时打印一行日志确认种子生效。如果做了这三步组内波动通常能压到 1% 以内这时再去比较组间差异才有意义。建议每组组合至少跑 3 个种子取均值不要跟单次的“开盲盒”结果较劲。5.5 加了 SE 有效加了 CBAM 反而掉点现象SE 比基线提升了 1% 左右CBAM 却不升反降而且只在部分随机种子下复现。原因两个方向。一是 CBAM 比 SE 多了一个 7×7 空间卷积参数量和训练难度都增加在小数据集上需要更多 epoch 才能收敛50 轮可能不够它发挥二是实现细节出错例如空间注意力分支里两个池化图拼起来后直接过卷积没有先把通道数匹配好或者共享 MLP 里少了 ReLU导致梯度路径改变。解决把 CBAM 拆成两个独立实验——只保留通道注意力部分、只保留空间注意力部分分别对比定位掉点的是哪一半。如果确认是空间注意力的问题先把 kernel_size 从 7 改成 3降低局部感受野再考虑增加训练轮数到 80。一句话不要因为 CBAM 在原论文效果好就直接套用它在我们这个数据尺度上的行为需要单独验证。6. 把消融结果讲明白差距大于 1% 才算有效模块顺带用 Grad-CAM 验证 Attention 到底看了哪里6.1 用 Grad-CAM 看 Attention 的落点消融实验给你的是定量结论但它回答不了“模型为什么提升了”。Grad-CAM 是一种直观的验证手段通过最后一层卷积的梯度反推模型决策时盯着哪个区域叠回原图生成热力图。人脸表情识别的合理落点应该是眼睛、眉毛和嘴巴周边区域如果热力图主要落在头发、背景或脸颊中央说明数据预处理或 Attention 的插入位置可能有问题准确率数字再好看也值得怀疑。下面是精简的 Grad-CAM 实现基于 hook 实现不改动模型结构能在任意已训练好的模型上直接跑def grad_cam(model, image, target_class, layer_namelayer4): target_layer dict(model.named_modules())[layer_name] features {} def forward_hook(module, input, output): features[out] output.detach() def backward_hook(module, input_grad, output_grad): features[grad] output_grad[0].detach() hook_f target_layer.register_forward_hook(forward_hook) hook_b target_layer.register_full_backward_hook(backward_hook) model.eval() out model(image.unsqueeze(0)) loss out[0, target_class] model.zero_grad() loss.backward() # 对梯度做全局平均池化得到每个通道的权重 grad features[grad].mean(dim(2, 3), keepdimTrue) # 通道加权求和再经过 relu 保留正向激活 cam (features[out] * grad).sum(dim1, keepdimTrue) cam torch.relu(cam) cam torch.nn.functional.interpolate(cam, size(48, 48), modebilinear) cam (cam - cam.min()) / (cam.max() - cam.min() 1e-8) hook_f.remove() hook_b.remove() return cam.squeeze().cpu().numpy()代码里的关键点是register_full_backward_hook它拿到的output_grad是损失对最后一层特征图的偏导对这个梯度做全局平均池化就得到每个通道的重要性权重把特征图和权重做加权求和再经过relu过滤掉负激活就得到热力图。用 hook 而不是改写 forward是刻意保持模型代码不被污染——测试多个模型组合时这个设计能省掉大量重复代码。对比方法上有两个技巧。第一同一个样本分别跑基线和加 SE 的模型把两张热力图横着拼在一起看落点差异比单独看一张更有说服力第二关注类别的针对性比如专门挑 Fear 和 Disgust 的样本看这两个类别在 FER2013 上样本少、准确率低如果加 Attention 后热力图从“盯着脸颊”变成“盯着眼睛”那它的提升就不是偶然。我自己在反复跑实验时最大的教训是下结论的标准必须前置。如果一个模块跑 3 个种子后均值和基线差不到 1%而且标准差互相重叠那就不能得出“有效”的结论这时候最该做的是加种子数而不是调超参去强行拉大差距。另一个教训是不要为了“看起来好看”单独给加了 Attention 的那一组调学习率——一旦你为某一组改了训练配置整个消融实验就失效了数据再漂亮也不能写进结论。希望帮到你。本文还有配套的精品资源点击获取