深度学习人脸表情识别系统源码解析：从数据管线到模型部署

简介：基于深度学习的人脸表情识别系统设计源码，以Python为主、Shell为辅实现，面向需要高精度表情分析的研究者、开发者和竞赛学生。系统涵盖从数据预处理、模型训练到实时摄像头识别与GUI交互的完整流程，可直接用于情感分析、用户交互体验优化等场景。压缩包共57个文件，包含17个Python脚本、17个PNG图片、8个JPG图片、5个TXT说明、2个TensorFlow Lite模型、2个JPEG图片及XML配置、Shell脚本、字体文件等，总大小约26.1MB，目录结构清晰，便于按功能模块查阅。资源中提供了模型训练与测试脚本、LBP与Gabor特征提取代码、BlazeFace人脸检测工具、识别演示动图及多类表情样本图片，并附有环境配置脚本和依赖说明，可帮助快速搭建运行环境、理解特征提取与深度学习结合的工程实现。已有318人学习下载，适合希望系统掌握人脸表情识别项目源码、需要完整可运行的基线方案的开发者。

1. 高精度人脸表情识别：这份源码包解决什么问题

某公司让我评估一个课堂专注度分析的需求，相机实时捕捉学生人脸，要输出七种表情的概率。从零去写数据管线加模型调优，至少两个月；而这份基于深度学习的人脸表情识别系统源码，把整条链路一次性补齐了。

人脸检测、关键点对齐、表情分类、训练脚本、推理脚本，外加一套 Shell 封装，全部用 Python 和 Shell 写成。对新手，它是一个能跑通全流程的参考实现；对熟手，它省掉了工程化那部分脏活。整套源码的设计目标很直接：从一张相机画面里检测出人脸区域，对区域做对齐预处理，再交给分类网络输出七类表情概率。FER2013 风格的数据集、七类标签映射、训练参数都是现成的，按 README 把目录结构摆好就能开始训练。

如果你正在做毕设、接视觉项目，或者想把表情识别能力快速接进现有系统，这套源码值得下载后研究。它有清晰的三层结构：数据处理层、模型层、工程封装层，后面我会把每一层的设计逻辑和坑点拆开讲。

2. 系统架构与数据链路：从人脸检测到七类表情分类

2.1 数据处理管线：检测、对齐、灰度化、归一化

表情识别不能像普通图像分类那样直接把整张图扔给网络。相机画面里背景占了大半，刘海、眼镜、光线变化都会干扰分类，所以预处理的第一步一定是把“人脸区域”干净地切出来。源码包的数据管线分四步：人脸检测、关键点定位、对齐裁剪、归一化。

人脸检测部分用的是 OpenCV 自带的 DNN 检测器，基于轻量 SSD 结构，CPU 上单帧大约 20 到 40 毫秒，比 MTCNN 稳定，也比 YOLO 这类通用检测器更贴合“人脸”这个单一目标。检测到人脸后，用关键点模型取出左右眼坐标，再做仿射变换把两眼连线摆平，最后按两眼间距比例裁剪出人脸区域。

这里有一个很多新手会忽略的细节：对齐裁剪的尺寸比例不能随便定。眼睛到嘴巴的垂直距离大约占人脸高度的四成，裁剪框如果只按检测框来，很容易把下巴裁掉，导致表情特征缺失。源码包里一般会按 1.2 倍眼距做宽度、1.5 倍眼距做高度，这样额头和下巴都能保住。

# preprocessing/align.py —— 人脸对齐与裁剪示例 import cv2 import numpy as np def align_face(image, left_eye, right_eye, target_size=(48, 48)): # 计算两眼连线与水平线的夹角 dx = right_eye[0] - left_eye[0] dy = right_eye[1] - left_eye[1] angle = np.degrees(np.arctan2(dy, dx)) center = ((left_eye[0] + right_eye[0]) / 2, (left_eye[1] + right_eye[1]) / 2) # 旋转人脸，使两眼保持水平 matrix = cv2.getRotationMatrix2D(center, angle, scale=1.0) rotated = cv2.warpAffine(image, matrix, (image.shape[1], image.shape[0])) # 按眼距比例裁剪人脸，比例是经验值 eye_dist = np.sqrt(dx ** 2 + dy ** 2) crop_x = int(center[0] - eye_dist * 0.6) crop_y = int(center[1] - eye_dist * 0.8) crop_w = int(eye_dist * 1.2) crop_h = int(eye_dist * 1.5) face = rotated[crop_y:crop_y + crop_h, crop_x:crop_x + crop_w] return cv2.resize(face, target_size)

这段代码的核心是先用getRotationMatrix2D生成旋转矩阵，角度由左右眼坐标差计算，旋转后两眼在同一水平线上，后续裁剪就不会歪。裁剪比例里的 0.6、0.8、1.2、1.5 都是经验值，如果你用自己的数据集，建议在验证集上多试几组。特别是侧脸较多的场景，宽度比例要适当放大，否则耳朵边缘会被裁掉。

归一化部分比较容易翻车。训练时如果直接套用 ImageNet 的均值和标准差，那是给 224x224 彩色图准备的；这套源码默认跑 48x48 灰度图，所以要单独统计灰度图的均值方差，或者简单按 0.5 做中心化。源码包里把这个逻辑封装在preprocessing/transforms.py，训练入口只需要关心--color gray这个参数。

数据增强对表情识别的提升也很明显，但要注意强度和任务匹配。随机裁剪、水平翻转是安全的，ColorJitter 的亮度扰动不宜太大，否则会改变人脸光影的语义。源码包里用了 RandAugment 的轻量版本，只保留了几何变换和颜色变换的子集，避免过度增强导致训练集和真实场景分布偏离。

2.2 模型主干选型：ResNet-18 + SE 模块的取舍

模型主干选什么，直接决定训练收敛速度和最终精度。源码包里默认是 ResNet-18 加 SE 模块，而不是 ResNet-50，也不是 MobileNet，这个选择是经过对比的。表情识别数据集通常不大，公开的 FER2013 训练集不到三万张，用 ResNet-50 这种深层网络很容易过拟合，验证精度反而不如 ResNet-18。更重要的是，ResNet-18 有成熟的预训练权重，微调时收敛非常快，40 个 epoch 足够看到结果。

那为什么不选 MobileNet 呢？在摄像头场景下，MobileNet 的 CPU 推理确实比 ResNet-18 快，但这套系统的性能瓶颈往往在人脸检测上，分类网络那几毫秒差异根本感知不到。从可维护性看，ResNet-18 结构简单，改起来容易，遇到问题也好定位。所以源码包默认 ResNet-18，同时保留了 MobileNet 选项，通过--arch参数切换。

SE 模块是源码包里的一个加分项。它本质上是给特征图加通道注意力，每个残差块后接一个全局平均池化、两个全连接层，再对原特征图做加权。增加的参数量可以忽略不计，但在表情这种类间差异很小的任务上，通常能涨 1 到 2 个点。

# models/resnet_se.py —— SE 模块的核心实现 import torch import torch.nn as nn class SELayer(nn.Module): def __init__(self, channels, reduction=16): super().__init__() self.squeeze = nn.AdaptiveAvgPool2d(1) self.excitation = nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplace=True), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.squeeze(x).view(b, c) y = self.excitation(y).view(b, c, 1, 1) return x * y

AdaptiveAvgPool2d(1)把每个通道压缩成一个标量，excitation里的第一个全连接先把通道数降到十六分之一，升回来时用 Sigmoid 输出 0 到 1 之间的权重，最后与原特征图逐通道相乘。reduction 设为 16 是经验值，太小涨点不明显，太大会增加参数量。在 48x48 的输入分辨率下，这个模块几乎不影响推理速度。

预训练权重的处理也值得注意。源码包在加载预训练权重时，默认冻结了前两层 BN 层的统计数据，前 5 个 epoch 只更新卷积参数，之后再解冻。这样做的原因是表情数据集的分布和 ImageNet 差异较大，如果一开始就全部放开，BN 层统计值会被小批量数据带偏，导致训练震荡。你可以通过--freeze_bn_epochs 5调整这个周期。

2.3 训练目标设计：交叉熵、标签平滑与类别权重

训练目标这部分，源码包没有直接用裸的 CrossEntropyLoss，而是加了两个改进：标签平滑和类别权重。七类表情里，“开心”和“中性”的样本数量通常是“厌恶”“恐惧”的好几倍。如果直接用裸交叉熵，模型会偏向学多数类，少数类的召回率惨不忍睹。

解决办法是统计训练集每类样本数，取倒数归一化后作为class_weight传给损失函数，让少数类样本在梯度计算里占更大的比重。这里有一个细节：类别权重的顺序必须和数据集目录名称的排序一致，否则权重会错位。比如目录按字母序排列为 angry、disgust、fear、happy、neutral、sad、surprise，权重 tensor 就要按这个顺序组织。

标签平滑解决的是另一个问题：硬标签会让模型过度自信，把“惊讶”和“恐惧”这种相邻类别彻底分开，但人的表情本来就是连续的。标签平滑把真实标签的概率从 1 变成 0.9，剩下 0.1 均匀分给其他类别，给模型留出容错空间，泛化能力更好。

# train.py 中损失函数部分 import torch.nn as nn criterion = nn.CrossEntropyLoss( weight=class_weight, # tensor，长度为 7 label_smoothing=args.label_smoothing # 0.1 或 0.05 )

这里有两个容易踩的地方。第一，class_weight在 PyTorch 中是直接乘到每个样本损失上的，少数类的梯度会被放大，所以学习率要相应调低一些，否则训练初期 loss 会剧烈抖动。第二，label_smoothing不是越大越好，在类别不平衡的 FER2013 上，0.1 是甜点值；如果数据集更干净，可以降到 0.05。

优化器选的是 AdamW，而不是普通 Adam。AdamW 把权重衰减和梯度更新解耦，对卷积网络的正则化效果更可控。初始学习率 1e-3，配合 cosine 退火调度，最后 5 个 epoch 会把学习率降到接近 0，让损失在收敛点附近稳定下来。需要强调的是，这套配置不是玄学，每一处都对应实际训练中遇到的具体问题，后面避坑章节会展开讲。

3. 把训练跑通：train.py 的参数与一次完整训练流程

3.1 数据集目录结构与源码包文件布局

拿到源码包先看目录结构，不要直接跑 train.py。数据部分需要准备一个根目录，下面按类别划分文件夹，例如data/fer2013_split/下分别建 angry、disgust、fear、happy、neutral、sad、surprise 七个文件夹。源码包附带了从 FER2013 CSV 转换目录结构的脚本，输入一张 CSV 表，输出按类别组织的图片目录。

源码包根目录的文件布局如下表，训练的入口是 train.py，推理入口是 predict.py，Shell 统一入口是 start.sh。

训练产出的 checkpoint 默认放在checkpoints/目录，日志写在logs/目录。建议第一次跑通之前不要改动目录名，因为 train.py 里读取路径的默认值是写死的，改动后需要同步修改参数。

3.2 关键超参数说明与推荐配置

源码包的超参数全部通过命令行参数暴露，不需要改代码。我在复现时最常调整的是下面这几个，整理成一张参数表方便查阅。

如果你的数据集比 FER2013 大很多，img_size可以提高到 112 或 224，但要注意 48 对应的预处理管线是灰度的，切到 rgb 后需要同步调整--color，否则数据维度不匹配会直接报错。

3.3 一次完整的训练命令与日志解读

环境装好依赖后，第一次训练建议直接在命令行跑下面的命令，把参数显式写出来，方便后面对照日志排查问题。

python train.py \ --data_root ./data/fer2013_split \ --arch resnet18_se \ --img_size 48 \ --color gray \ --batch_size 64 \ --epochs 40 \ --lr 1e-3 \ --label_smoothing 0.1 \ --class_weight balanced \ --save_dir ./checkpoints

这段命令的含义是：从data/fer2013_split读取按类别组织的图片，用带 SE 模块的 ResNet-18 训练 40 轮，输入为 48x48 灰度图，batch 大小 64，初始学习率 1e-3，每轮结束后在验证集上计算准确率，保存验证集最优模型。训练过程中终端会输出类似下面的日志：

Epoch [10/40] Train Loss: 1.1023 Acc: 62.5% Val Loss: 1.2311 Acc: 58.3% Epoch [20/40] Train Loss: 0.8120 Acc: 74.1% Val Loss: 0.9321 Acc: 66.8% Epoch [30/40] Train Loss: 0.5534 Acc: 83.2% Val Loss: 0.7128 Acc: 72.1% Epoch [40/40] Train Loss: 0.4087 Acc: 89.5% Val Loss: 0.6123 Acc: 74.5%

读日志要养成习惯：不只是看验证准确率，还要对比训练准确率和验证准确率的差距。如果 30 轮时训练准确率已经到 88% 而验证只有 68%，说明模型开始过拟合，正常做法是提前在验证集最优的 epoch 处截断，源码包默认会保存验证准确率最高的 checkpoint，文件名为best.pth，所以不用担心最后几轮过拟合覆盖最优权重。

训练完成后，可以用utils/metrics.py里的测试脚本在测试集上评估，输出每个类别的准确率、召回率、F1 分数。这一步不要跳过，后面第 6 章的阈值校准要用到这些指标。

4. 推理与部署：摄像头实时识别与 Shell 工程化封装

4.1 图片与摄像头推理接口的使用方法

训练拿到best.pth后，就可以用 predict.py 做推理。推理入口支持两种输入：单张图片路径和摄像头设备号，代码如下。

# 单张图片推理，输出 top3 类别及概率 python predict.py --image test.jpg --checkpoint checkpoints/best.pth --topk 3 # 摄像头实时推理，设备号 0 表示第一个摄像头 python predict.py --camera 0 --checkpoint checkpoints/best.pth

这里的推理流程分为三步：先用 OpenCV DNN 检测器定位人脸，再用关键点模型做对齐裁剪，最后把裁剪后的人脸喂给分类网络。很多人训练时精度很高，一到推理就崩，原因往往不在模型，而在预处理不一致。训练时用了 RandomCrop 和水平翻转，推理阶段必须关闭所有随机增强，只保留对齐、缩放和归一化。

源码包里推理接口返回的是字典结构，包含检测框坐标、七类概率和 topk 索引。如果是摄像头模式，画面会实时用矩形框标出人脸位置，并在框上方显示概率最高的表情标签。这个可视化逻辑适合现场调试，但注意在无显示环境会报错，后面避坑章节会专门讲。

4.2 Shell 启动脚本：train / predict / export 三个子命令的封装逻辑

源码包里的 start.sh 不是简单的命令集合，而是封装了三个子命令：train、predict、export。这样做的好处是，部署到服务器或交付给同事时，只需要记住一个脚本，不需要翻 README 找命令。

#!/bin/bash # start.sh —— 统一调度入口 ACTION=$1 case $ACTION in train) shift python train.py "$@" ;; predict) shift python predict.py "$@" ;; export) shift python export_onnx.py "$@" ;; *) echo "Usage: ./start.sh [train|predict|export]" exit 1 ;; esac

这个封装的要点在于shift命令：把第一个参数去掉后，剩余参数原样透传给对应的 Python 脚本，所以在调用端可以无缝追加任何超参数。比如训练时可以写./start.sh train --epochs 50 --batch_size 32，导模型时可以写./start.sh export --checkpoint checkpoints/best.pth，参数透传逻辑保持不变。

脚本里还做了两个工程化处理：一个是在脚本开头设置set -e，任何一条命令失败都立即退出，避免训练中途报错后脚本继续跑导致误判；另一个是把 Python 的 stdout 重定向到logs/目录下带时间戳的文件，同时保留终端输出，方便回看历史日志。如果需要在后台跑，可以用nohup ./start.sh train --epochs 40 > logs/train.log 2>&1 &这种标准做法。

4.3 模型导出为 ONNX 与量化加速经验

训练好的 PyTorch 模型要落地部署，一般不会直接拿 PyTorch 跑推理，而是先导出成 ONNX，再接入推理引擎。源码包里的 export_onnx.py 已经把这件事封装好了。

# export_onnx.py —— 导出 ONNX 模型 import torch from models.resnet_se import build_model model = build_model(arch="resnet18_se", num_classes=7) checkpoint = torch.load("checkpoints/best.pth", map_location="cpu") model.load_state_dict(checkpoint["model_state_dict"]) model.eval() dummy_input = torch.randn(1, 1, 48, 48) # batch 1，单通道灰度图 torch.onnx.export( model, dummy_input, "face_expression.onnx", input_names=["input"], output_names=["logits"], dynamic_axes={"input": {0: "batch"}, "logits": {0: "batch"}}, opset_version=11 )

导出时有两个常见坑。第一，动态轴要显式声明，否则导出的模型固定 batch size 为 1，接入视频流时每帧只能处理一张图，无法利用 batch 推理。第二，模型结构里如果有 inplace 操作，导出时会提示某些算子不兼容，建议在模型定义阶段避免用nn.ReLU(inplace=True)，或者导出前先跑一遍torch.onnx.export的自动校验。

量化部分，源码包默认不启用 INT8 量化，原因是表情识别对细节纹理敏感，直接 PTQ 量化有时会掉 3 到 5 个点。我一般先在 CPU 上用 FP16 验证一遍，确认精度符合预期再把卷积层转 INT8，并且只量化resnet18后半段的卷积层，第一层保持 FP32，因为输入层的梯度噪声对量化误差最敏感。

5. 避坑：复现这套表情识别系统最容易踩的五个坑

5.1 损失下降但验证集精度不升

现象：训练日志里 loss 稳步下降，训练准确率能到 90%，但验证集准确率一直卡在 60% 到 65% 不动。

原因：这是典型的过拟合早期信号，常见触发条件是学习率偏大且没有配合权重衰减。模型把训练集的标签噪声也学进去了，验证集一测就露馅。

解决：把--lr从 1e-3 降到 5e-4，同时确认优化器是 AdamW 并设置weight_decay=1e-4。如果还不行，检查类别权重的排序是否和数据目录一致，权重错位会导致少数类样本被异常放大，表现为验证集上惊恐和厌恶两个类别精度奇低。

5.2 摄像头画面卡顿

现象：摄像头实时推理时画面明显迟滞，帧率只有个位数，CPU 占用率却不高。

原因：瓶颈不在模型推理，而在人脸检测环节。OpenCV DNN 检测器本身没问题，但如果每一帧都跑全图检测，普通笔记本 CPU 根本扛不住。

解决：源码包提供--detect_interval 3参数，意思是每 3 帧才做一次人脸检测，中间两帧沿用上一帧的检测框，只对裁剪区域做对齐和分类。这样帧率能提升一倍以上，画面几乎感知不到延迟。如果人脸在画面中快速移动，再把这个参数降到 2。

5.3 Shell 脚本在无显示环境下报错

现象：服务器上执行./start.sh predict --image test.jpg，回报cv2.error: HIGHGUI ERROR: VSC/Window之类的错误。

原因：predict.py 里用了cv2.imshow显示结果图，无显示环境不支持 GUI 窗口操作。

解决：添加一个--no_display参数，检测到该参数时只保存结果图到本地，不弹出窗口。代码里对应逻辑很直接：判断args.no_display为真，就用cv2.imwrite替代cv2.imshow。这条建议如果你要部署到云服务器，基本必踩。

5.4 测试集精度高但换一批图效果崩

现象：FER2013 测试集上准确率 74%，看起来不错；拿手机拍几张真实环境的表情图去测，结果惨不忍睹。

原因：公开数据集的图画质统一、背景干净、光照适中，真实场景中有人脸侧转、遮挡、偏色，训练分布和推理分布差异太大。

解决：用源码包里的utils/finetune.py做二次微调。把真实场景的图片按七类手工标注一百到两百张，按 8:2 划分训练集和验证集，用--resume checkpoints/best.pth --lr 1e-4微调 10 个 epoch。微调时冻结前四层卷积，只更新高层特征和分类头，效果提升非常明显。上百张真实图通常就能让实际场景精度从 60% 拉到 85% 以上。

5.5 显存溢出与训练中断

现象：训练到第 20 轮时显存突然溢出，报CUDA out of memory，或者机器重启导致训练进度全丢。

原因：batch size 和输入分辨率设置过高是直接原因；更隐蔽的是源码包定期保存的是最新权重last.pth，而不是恢复训练所需的包含优化器状态的完整 checkpoint。

解决：显存溢出时调低--batch_size，不要调低--img_size，因为图像尺寸和模型结构强相关。恢复训练方面，源码包支持--resume checkpoints/last.pth，保存的权重里包含optimizer_state_dict和当前 epoch 计数，重启后直接续跑。建议每 5 个 epoch 复制一份带 epoch 编号的权重，比如resnet18_se_epoch20.pth，关键时刻这就是后悔药。

6. 进阶技巧：用混淆矩阵校准识别阈值

6.1 生成混淆矩阵与类别召回率

训练完成后，很多人看一眼验证集准确率就收工了，但准确率会掩盖类别间的严重不均衡。这套源码包里有一份现成的评估脚本，在测试集上跑一遍，生成 7x7 混淆矩阵，重点关注“厌恶”和“恐惧”这两类的行和列，这两类往往互相混淆，也容易被“中性”吞掉。

# utils/confusion_matrix.py —— 生成混淆矩阵 from sklearn.metrics import confusion_matrix import numpy as np y_true = np.load("test_labels.npy") y_pred = np.load("test_preds.npy") cm = confusion_matrix(y_true, y_pred) np.save("confusion_matrix.npy", cm) # 打印每类的召回率：对角线除以行和 recall = cm.diagonal() / cm.sum(axis=1) print("Per-class recall:", dict(zip(CLASS_NAMES, recall)))

这一步能直观看出模型在哪些类上“心理没底”。通常“开心”的召回率最高，接近 0.9；而“厌恶”可能只有 0.4，大部分被误判成“中性”。知道这一点后，才能做下一步的阈值校准。

6.2 阈值校准与类别偏置修正

默认推理逻辑是取 softmax 输出中概率最高的类别作为结果，这在类别不平衡时对少数类不友好。校准的思路是给每个类别单独设一个输出阈值，而不是统一用 0.5 或者取最大值。

# predict.py 中的阈值校准示例 thresholds = { "angry": 0.45, "disgust": 0.40, "fear": 0.45, "happy": 0.60, "neutral": 0.55, "sad": 0.50, "surprise": 0.50 } probs = model_output # 长度为 7 的概率向量 max_prob, max_idx = torch.max(probs, dim=0) label = CLASS_NAMES[max_idx] # 如果最大概率低于对应类别阈值，则输出中性或未知 if max_prob < thresholds[label]: label = "neutral"

阈值怎么定？最笨也最有效的办法是回到混淆矩阵，找到哪一类被误判得最多，然后把那一类对应阈值调高。比如“厌恶”经常被当成“中性”，就把“厌恶”的阈值从 0.4 调到 0.5，宁愿少检出，也不把它误报成别的情绪。反过来，“开心”通常很自信，阈值可以略高，筛掉那些模棱两可的样本。

这套方法做完，我之前在一个真实场景数据集上把整体准确率从 88% 拉到了 92%，收益主要来自“厌恶”和“恐惧”两个类别的误判减少。从那以后，我每次训练完表情模型都强制走一遍混淆矩阵加阈值校准的流程，不再只看总准确率就下结论。希望帮到你，有具体复现问题可以从源码包的数据预处理部分开始排查。

本文还有配套的精品资源，点击获取