简介这是一套面向高校毕业设计及课程项目的面部表情识别系统完整方案基于PyTorch实现涵盖数据预处理、模型训练、测试与对比等环节适合需要快速上手深度学习图像分类任务的学生参考。资源共36个文件压缩包约446MB主要包含14个Python源码文件如CNN、VGG、ResNet模型实现及测试脚本、5个Jupyter Notebook教学笔记、论文与答辩PPT文档、部署说明手册以及人脸检测XML与模型权重文件等可支撑从环境搭建到结果展示的全流程。目前已有288人学习下载。除可运行代码外包内还附带Fer2013等经典表情识别框架源码、人脸标注工具和示例视频论文文档覆盖多位作者的不同侧重点便于借鉴写作思路。项目评审分达95分以上难度适中能帮助读者快速理解卷积神经网络在面部表情识别中的实际应用与调参方法。1. 面部表情识别毕设源码包拿到手先拆目录再谈跑训练这套基于深度学习的面部表情识别Python毕设源码包我拿到手的第一件事不是跑训练而是先拆目录。原因很现实包里面同时出现了model_CNN.py、model_VGG.py、model_ResNet.py三条模型主线外加dataset数据集、论文、答辩PPT、部署手册和README明显是一份交过作业的期末项目不是网上那种只放一个demo脚本的玩具。它解决的问题是一条完整链路从原始人脸图片到七类表情输出生气、厌恶、恐惧、开心、悲伤、惊讶、中性中间要过数据预处理、模型构建、训练调参、测试评估论文和答辩材料也配齐了。如果你正愁毕设题目又不想从零造轮子或者是想快速跑通CNN表情识别流程的入门开发者这份包能省掉大量试错时间。2. 拆解源码与文件关系先弄清每个文件在链路里的位置这个包的文件数量偏多第一眼容易乱。我把关键文件分成五组模型定义与测试、数据处理、人脸检测与标签映射、对比与演示、文档。分完组再看结构就是一个标准的PyTorch图像分类项目只多了论文和答辩材料。分组文件在链路里的作用模型线model_CNN.py / model_VGG.py / model_ResNet.py三套主干网络定义模型测试model_CNN_test.py / model_VGG_test.py / model_ResNet_test.py加载权重跑测试集或单图推理数据处理data_process.py / data_separation.py / data_view.py预处理、数据集划分、样本可视化检测与映射haarcascade_frontalface_default.xml / image_emotion_mapping.py人脸检测、表情类别映射对比与视频model_All_Compare.py / video / example_dsh.mp4三模型对比、视频流演示包里的Jupyter NotebookCNN_01到CNN_03、ResNet.ipynb、Facial-expressions.ipynb是分步实验记录适合理解每个阶段的中间输出真正跑训练还是以.py脚本为准。2.1 主线代码是三条模型线不是单一demo很多人拿这种包会下意识找train.py这个包里没有统一训练入口而是每个模型脚本自带训练逻辑。对毕设反而是加分项因为论文里的对比实验需要分模型记录数据分开写更清楚。model_CNN.py是纯手写卷积网络适合当baselinemodel_VGG.py走卷积块堆叠路线model_ResNet.py带残差结构。在FER2013这种48x48小图上VGG和ResNet的绝对准确率不一定比CNN高太多但表达能力和收敛稳定性更强特别是配合预训练权重时优势才体现出来。对应的三个_test.py脚本逻辑基本一致加载训练好的权重、读入测试集或单张图片、输出预测类别和置信度。区别只在模型结构导入路径不同。我一般先跑一遍model_CNN_test.py确认整条链路通了再去做其他两个模型的对比实验避免一上来就在大网络上折腾半天才发现数据预处理有问题。2.2 dataset目录结构与训练数据的关系数据集在dataset目录下配合包里附带的Fer2013相关压缩包使用。FER2013是面部表情识别最常用的公开数据集每张图是48x48灰度图共7类表情。它原始数据是CSV格式每行由脸部标签、像素值和用途三列组成像素值是一长串空格分隔的数字所以要先用data_process.py把CSV转成图片PyTorch的ImageFolder才能正常读取。转换后standard目录结构长这样dataset/ ├── train/ │ ├── angry/ │ ├── disgust/ │ ├── fear/ │ ├── happy/ │ ├── sad/ │ ├── surprise/ │ └── neutral/ ├── val/ └── test/这种“类别文件夹”的组织方式是ImageFolder的标准输入格式每个子文件夹名就是类别名。如果拿到的是原始CSV或没有按此组织训练时DataLoader会直接报找不到样本这个坑在第五章详细说。2.3 部署手册与README的使用顺序README.md和手册.docx是容易被忽略的部分它们不是凑数文档里面写了Windows下面的安装步骤、依赖版本、以及每个脚本的运行顺序。我建议拿到手先花十分钟打开手册把“数据预处理→训练→测试”三步的命令顺序标出来再决定从哪个脚本开始跑。这套包是交过真实作业的评审分到了95文档部分也是答辩可用的版本不是随便贴的官方readme。环境上这是典型的PyTorch分类项目常见组合是Python 3.6以上、PyTorch 1.x、OpenCV 4.x、NumPy、Matplotlib。机器有CUDA就用GPU训练没有就直接CPU跑。三个网络在48x48输入下CPU训练也能接受只是慢。跑视频演示前需要确认opencv-python已经安装否则import cv2那一步就断了。pip install torch torchvision opencv-python numpy matplotlib如果官方仓库里有requirements.txt直接按requirements装更省事。装完跑一个import测试确认torch能正常调用再进入数据处理环节。2.4 整条数据链路怎么串起来训练前想清楚整条数据链路原始图片进入data_process.py完成灰度化和尺寸归一再由data_separation.py切出训练集、验证集、测试集然后用ImageFolder读取并交给模型训练。推理链路多一个环节用haarcascade_frontalface_default.xml检测人脸框把裁剪后的人脸图送入同一个模型输出再经过image_emotion_mapping.py反向映射成可读的表情名。这条链路就是整个项目的骨架。后面调参、排错、写论文实验部分全部围绕它展开。链路没理顺之前不建议碰训练超参。3. 数据预处理与标签映射决定训练能不能起飞的细节表情识别项目里最容易翻车、也最容易被忽略的就是数据预处理。模型结构大家抄来抄去差不了多少真正卡住进度的往往是数据没喂对。FER2013原始数据是CSV你不做处理直接给ImageFolder会得到一个空数据集。data_process.py实际做的事情大致有三件把像素字符串还原成48x48矩阵、转成图片文件写入类别文件夹、按Usage字段做初次划分。3.1 FER2013 CSV转图片data_process.py核心逻辑把CSV转成文件夹图片是常规操作。解析CSV时先跳过表头逐行读取表情标签和像素字符串把像素值reshape成48x48再写入对应类别的子目录import csv import os import numpy as np from PIL import Image def csv_to_images(csv_path, output_dir): with open(csv_path, r) as f: reader csv.reader(f) next(reader) # 表头: emotion,pixels,Usage for row in reader: label int(row[0]) pixels np.array(row[1].split(), dtypenp.float32).reshape(48, 48) usage row[2] # Training / PrivateTest / PublicTest sub_dir os.path.join(output_dir, usage, str(label)) os.makedirs(sub_dir, exist_okTrue) count len(os.listdir(sub_dir)) Image.fromarray(pixels.astype(np.uint8)).save( os.path.join(sub_dir, f{count}.jpg))参数说明第二列像素值默认是空格分隔的字符串也可能遇到逗号分隔需要看文件前几行再决定split参数reshape(48, 48)对应FER2013原始分辨率改成其他尺寸会直接报维度错误图片保存用jpg即可类别文件夹的索引label直接作为子目录名。如果原始数据没有Usage字段就要靠data_separation.py自己按比例切分。常见做法是8:1:1切训练、验证、测试或者沿用FER2013自带的Usage三份划分。对毕业设计而言沿用官方划分在论文里更好解释因为不同论文用的都是同一套测试集对比起来有参考价值。3.2 data_view.py先看样本分布再决定要不要做均衡data_view.py做的事情是统计每个类别的样本数量、画几组样例图。这一步很多人跳过实际上情绪数据集天然不平衡happy的样本往往远多于disgust直接拿原始分布训练模型会倾向于把多数类当作默认答案。可视化能让你提前意识到两个问题一是有没有类别数量悬殊到影响收敛二是图片质量有没有明显脏数据比如全黑图、错位图、标签错误。如果发现不平衡明显常用的补救手段是给loss加class weight让少数类的错分代价更高# 用WeightedRandomSampler或直接对CrossEntropyLoss传weight import torch counts [3985, 436, 4097, 7215, 4830, 3171, 4965] # 示意7类样本量 weights 1.0 / torch.tensor(counts, dtypetorch.float32) weights weights / weights.sum() criterion torch.nn.CrossEntropyLoss(weightweights)参数说明这里的counts数字只是示意实际以data_view.py输出为准。weight越小代表该类样本越多、惩罚越轻weight越大代表该类样本少、错分代价越高。注意加了class weight之后训练集准确率可能下降但测试集对少数类的召回通常会变好论文实验部分正好可以把这个对比写进去。3.3 image_emotion_mapping.py数字标签和表情名的双向映射image_emotion_mapping.py处理的是FER2013的标签映射。FER2013标准映射表如下标签表情常见错误0angry容易和surprise混1disgust样本最少最难学2fear容易预测成sad3happy样本最多最难错4sad容易和neutral边界重叠5surprise特征明显但样本有限6neutral其他类的公共“兜底”训练脚本里用数字标签做loss计算推理脚本输出时要反向映射回字符串。很多人在训练时准确率看着还行一到自定义图片测试就只输出一串数字最后发现问题出在这里推理脚本里没有做反向映射。3.4 haarcascade人脸检测视频和单图推理的前置环节视频演示和摄像头demo用到了haarcascade_frontalface_default.xml这是OpenCV自带的人脸检测器基于Haar特征级联。它在正脸、光照均匀的场景下效果不错侧脸和遮挡场景会漏检。实际跑demo时我发现人脸框的准确程度直接影响表情识别结果——框大了把额头和背景裁进来框小了剩半张眉毛模型自然乱猜。import cv2 face_cascade cv2.CascadeClassifier(haarcascade_frontalface_default.xml) img cv2.imread(example_dsh.mp4_0001.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5, minSize(48, 48)) for (x, y, w, h) in faces: face gray[y:y h, x:x w] face_resized cv2.resize(face, (48, 48))参数说明scaleFactor1.1表示检测窗口每次放大10%越小检测越慢但更准minNeighbors5表示一个区域至少被5个窗口命中才算人脸越大误检越少、漏检越多minSize设为48是因为模型输入就是48x48比这更小的人脸区域即使检测出来缩放后也会丢失太多细节。这里提一下肤色或黑白色差较小的图片容易漏检遇到漏检时优先调minNeighbors而不是scaleFactor。如果minNeighbors从5降到2还不行大概率是图片本身问题换一张正脸照再试。4. 三套主干网络对比从baseline到预训练微调这是整个项目最重的部分。建议按CNN做baseline、VGG和ResNet做对比实验来组织论文里要的“模型对比”正好由这三条线支撑。评审老师最常问的问题就是“为什么选这三个网络、差异在哪”这个答得出来项目才算真正吃透了。4.1 网络选型理由与差异认知网络结构特点参数量级别在FER2013小图上的突出表现CNN手写卷积池化全连接约10的5次方baseline首选训练快适合验证链路VGG3x3卷积堆叠全连接约10的6到7次方表达更强但容易过拟合ResNet残差连接BatchNorm约10的6到7次方深网络收敛稳定训练过程更平滑关键认知FER2013全量也就三万多张48x48小图参数量大的VGG如果不做正则训练集冲到99%不难测试集可能只剩一半多。这不是模型表达力不够而是训练策略没跟上网络复杂度。所以VGG和ResNet的对比实验比的不只是谁准确率高还有谁在测试集上更稳。4.2 model_CNN.py手写CNN结构与参数model_CNN.py的结构是三组卷积池化加一个全连接分类头。因为输入是48x48灰度图第一层卷积的输入通道是1而不是3这一点容易被改模型时忽略。import torch.nn as nn class ExpressionCNN(nn.Module): def __init__(self, num_classes7): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(128, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(256, num_classes), ) def forward(self, x): return self.classifier(self.features(x))代码说明48x48输入经过三次MaxPool后变成6x6AdaptiveAvgPool2d(1)把空间尺寸压缩成1x1全连接层的输入维度固定为128不再依赖输入尺寸。BatchNorm2d在训练时加速收敛、缓解梯度饱和Dropout放在全连接层之前做正则防止FC层把训练集背下来。这种结构在FER2013上作为baseline完全够用训练速度也快。训练超参推荐值学习率0.001配合Adambatch_size在32到64之间epochs控制在30到50验证集准确率连续5个epoch不涨就早停。GPU显存小就把batch_size调成32结果不会有数量级差别。4.3 VGG堆叠卷积与预训练权重的正确用法VGG模型的本质是连续3x3卷积加ReLU、再接MaxPool结构上是CNN的加深版。问题在于ImageNet预训练权重默认接受三通道RGB输入而FER2013是灰度图。两种常规解法一是把灰度图复制成三通道二是改模型第一层卷积输入通道。我推荐复制成三通道这样能保留预训练权重只在数据加载阶段多做一步from torchvision import transforms transform transforms.Compose([ transforms.Grayscale(num_output_channels3), transforms.Resize((48, 48)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])参数说明Grayscale(num_output_channels3)把单通道灰度图复制成三通道Resize统一到48x48Normalize用的是ImageNet的均值和标准差。原因很简单预训练权重是在这套归一化参数下学出来的输入分布保持一致迁移效果才正常。如果是随机初始化的VGGMean和Std直接用0.5也行影响不大。用预训练VGG时建议全局学习率降到0.0001分类头因为是随机初始化可以单独给稍大一点的学习率。训练命令常见写法python model_VGG.py --pretrained --lr 0.0001 --batch-size 32 \ --epochs 30 --weight-decay 0.0005这里的weight_decay就是L2正则配合Dropout一起压制过拟合。VGG最容易翻车的点就是过拟合开局先把这个防护做上后面能少折腾很多。4.4 ResNet残差连接解决什么、怎么接预训练权重ResNet在表情识别里的价值不是准确率暴涨而是“深了也能收敛”。torchvision自带残差网络只需替换最后一层全连接输出from torchvision import models import torch.nn as nn def build_resnet(num_classes7, pretrainedTrue): model models.resnet18(pretrainedpretrained) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return model说明pretrainedTrue会自动下载ImageNet权重网络第一次运行需要联网。如果下载超时可以手动下载权重文件放到torchvision缓存目录或者先设pretrainedFalse跑通流程再回来处理权重。fc层替换后模型输出维度从1000变成7训练时同样建议把全图学习率调小。对表情识别这种细粒度分类任务ResNet的残差连接能让梯度更平滑地回传训练曲线比VGG稳。如果你想实验做得更完整还可以对比resnet18和resnet50论文里多一组深度对比数据。4.5 model_All_Compare.py三模型横向对比的注意事项model_All_Compare.py会把三个模型在同一套数据上分别跑一遍输出准确率、损失曲线或预测样例。跑对比之前注意三点固定随机种子、用同一份数据划分、同一套数据增强。否则对比结果没有说服力论文里也没法解释差异来源是模型还是数据。论文实验表格通常放三列模型、测试准确率、推理耗时。model_All_Compare.py可以同时导出这几项指标。我一般还会额外记录训练轮数和显存峰值答辩时评委如果有追问这些细节答得上来会比单纯背准确率有说服力得多。5. 避坑指南PyTorch表情识别训练与推理的常见问题写这个项目的过程里我前后踩了五类坑每一类都能卡住一两天按现象、原因、解决三个步骤说清楚。5.1 ImageFolder加载为空现象训练脚本一起跑DataLoader直接报错提示“Found 0 files in subfolders of: dataset/train”或者打印出来的数据集长度是0。原因PyTorch的ImageFolder要求训练集必须按“类别文件夹”组织train目录下只能是各个类别子目录子目录里直接放图片。如果图片被平铺在train目录下或者嵌套层级多了一层ImageFolder就会认为目录里没有有效样本。解决先运行data_process.py把数据转成“类别文件夹”结构再检查train目录下面的层级是不是“train/class_name/图片.jpg”。如果已经是这个结构还要确认图片后缀名没写错CSV转图时有的脚本用了PNG格式却保存成.jpg后缀会导致文件打不开。5.2 训练集准确率高、测试集掉一半现象VGG训练到第20个epoch时训练集接近99%测试集只有55%上下CNN反而没那么惨。原因典型的过拟合。FER2013只有三万多张样本VGG的参数量根本吃不满模型把训练集的噪声也背下来了换个环境就露馅。解决优先加载预训练权重而不是随机初始化Dropout提到0.5以上weight_decay设到0.0005以上epochs压到30以内最后以验证集最优epoch为准不看训练集。如果这些做完还是差很多再去质疑数据划分不要一上来就怀疑代码。5.3 单图预测永远输出同一个类别现象随便拿笑的脸、哭的脸进去模型输出永远是happy或neutral。原因最常见的有两个。一是类别不平衡模型学成了多数类优先二是推理预处理的分布和训练不一致训练时统一灰度、缩放、归一化推理时直接喂了原始彩色图模型输入分布对不上输出自然瞎猜。解决先跑data_view.py看每类样本量数量悬殊就给CrossEntropyLoss加class weight。再检查推理脚本里有没有cvtColor转灰度、resize到48x48、Normalize归一化。我在这类项目里遇到的多数情况其实是第二种推理侧少了一步预处理加上就正常了。5.4 显存不足CUDA out of memory现象batch_size设128直接爆显存换成VGG更严重甚至batch_size都要降到32。原因VGG的卷积特征图在反向传播时全部保留显存占用比ResNet还高48x48输入下也一样。模型结构大不是错是训练配置没跟上。解决把batch_size降到32如果还想保持有效批次大小用梯度累积或多卡。也可以打开AMP混合精度显存占用能降不少。对小数据集实验来说batch_size小一点不影响论文结论。5.5 换机器加载模型报错现象在本机训练好保存的model_resnet.pkl换一台电脑torch.load直接报错或提示找不到device。原因torch.save保留张量所在设备信息保存时用的CUDA设备加载机器没有对应设备或设备名不一致就会加载失败。解决加载时指定map_location强制映射到CPUimport torch model torch.load(model_resnet.pkl, map_locationcpu)如果是按state_dict方式保存的权重用load_state_dict加载。我的习惯是保存时额外存一份CPU版本省得换环境后临时处理。6. 端到端验证用自定义图片跑通检测加分类全链路最后一步不重复训练流程给一个我每次拿到新工程都会先跑的端到端验证脚本。这个脚本用来确认包里的模型是真实可用的不是随便放个pkl占位。6.1 自定义图片预测的完整脚本import cv2 import torch from torchvision import transforms from model_CNN import ExpressionCNN LABELS [angry, disgust, fear, happy, sad, surprise, neutral] def predict_image(model, image_path): face_cascade cv2.CascadeClassifier(haarcascade_frontalface_default.xml) img cv2.imread(image_path) if img is None: print(图片读取失败检查路径) return gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5, minSize(48, 48)) if len(faces) 0: print(未检测到人脸换一张正脸照) return x, y, w, h faces[0] face cv2.resize(gray[y:y h, x:x w], (48, 48)) transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5]), ]) tensor transform(face).unsqueeze(0) model.eval() with torch.no_grad(): probs torch.softmax(model(tensor), dim1) idx probs.argmax(dim1).item() print(f预测结果: {LABELS[idx]}, 置信度: {probs[0][idx].item():.3f})逻辑说明先用人脸检测器框出人脸把框内区域裁出来转灰度缩放再走训练的同一套归一化最后输出类别和置信度。置信度是softmax之后的概率值低于0.5说明模型拿不准。如果换成视频流example_dsh.mp4把cv2.imread换成cv2.VideoCapture逐帧读取就行。6.2 三模型对比的固定步骤model_All_Compare.py适合在整条链路跑通之后使用。先确认三个模型权重都在model目录下再用固定随机种子跑同一份数据划分。对比时记录三个指标测试集准确率、单张推理耗时、显存峰值这三列基本就是论文实验表格的原型。如果某个模型的结果和预期差距过大先检查加载权重时是否漏了load_state_dict。我第一次拿到这类项目时没把预处理当回事拿原始图片直接预测模型输出全是乱的当时差点判定整套代码有问题。后来对比训练脚本才发现推理侧少了灰度转换和归一化加上之后整个流程就通了准确率一下回到正常水平。从那以后我每次拿到新工程都强制先跑一遍“数据预处理→训练迭代→自定义图片预测”的端到端流程确认链路完整后再做模型对比和论文数据提取。整套包的模型文件、数据集和部署手册都在压缩包里按这个链路直接落地就行。希望这套验证流程也能帮到你。本文还有配套的精品资源点击获取