这题目一出我当时的直观反应就是又是一个把人脸识别和情感计算缝合起来的CNN改改进题。真正做进去之后才发现题目里每一个词都不是白给的——性别分类和情感分类虽然都发生在同一张脸上但它们在特征尺度、类间差异、数据分布上的要求几乎完全不同而改进卷积模型五个字更是把工作量的重心点得明明白白不是让你训练一个能用就行而是在通用模型的基础上做出可解释、可量化的结构性改动。这篇内容我会把自己从选题拆解、基线搭建、改进设计、训练调参到应用系统落地的完整过程捋一遍重点分享那些实验报告里不会写、但直接影响论文质量和最终成绩的细节。1. 立项拆解这个毕设题目到底在考什么1.1 一个题目两个任务性别分类与情感分类的任务本质差异先说一个容易在开题阶段被忽略的点题目里是人脸性别和情感分类而不是人脸多属性分类。这两个任务虽然共享一张输入图像但在特征层面的诉求几乎是对立的。性别分类本质上是二分类问题而且是一个相对稳定的属性判断。它依赖的是脸部的整体轮廓、颧骨宽度、下颌线条、眉骨高度这类全局低频信息即使图像分辨率不高、表情夸张性别往往还是能判断出来。换句话说网络需要学会看全貌。情感分类则完全相反。它是多分类问题生气、厌恶、恐惧、开心、悲伤、惊讶、中性这七类是最常见的设定依赖的是眼周肌肉收缩、嘴角上扬弧度、眉毛倾斜角度这类局部高频纹理信息。同一个人的同一张脸性别属性不变但情感标签会随着表情幅度剧烈变化。网络需要学会看细节。这两种粒度截然不同的特征需求决定了你不能简单地拿一个普通分类网络最后接两个全连接层就完事。这也是题目的第一个隐藏考点你有没有意识到单一生理属性识别和多类心理状态识别在特征表达上是冲突的。如果你在开题报告里能把这一层讲清楚导师基本就会认可你对问题本质的理解。1.2 为什么是改进卷积模型而不是直接上更大更新的模型开题时我其实纠结过一阵子现在Transformer架构在视觉领域这么火ViT、Swin Transformer论文一大堆为什么不直接在毕设里用ViT后来被两个现实问题拉了回来。首先是数据量。ViT这类Transformer需要海量数据做预训练公开人脸属性数据集和表情数据集规模也就几万到几十万级别直接训练ViT很容易过拟合效果甚至打不过ResNet。其次是算力和部署环境。毕设阶段通常只有一张普通显卡训练周期不可能拖到几周而且后续要做可演示的应用系统卷积模型在CPU上的部署生态、推理速度、量化工具链都更成熟。更重要的是题目的措辞——改进卷积模型。这意味着工作重点不是换一个更强的骨架而是在卷积框架内做结构性的优化与设计。你需要证明自己有能力诊断现有模型的缺陷然后针对任务特性做出改进并且通过消融实验验证每一处改进的贡献。这个逻辑闭环才是毕设的核心而不是谁的准确率高谁就赢。1.3 数据集选择与评价指标我最终选了两份公开数据集来做这个项目一份做人脸属性中的性别识别一份做表情识别。到现在论文里我仍然会刻意强调它们的差异人脸属性数据集约20万张名人面孔RGB图标注信息很丰富从中抽取性别标签。二分类类目天然均衡训练集/验证集/测试集按8:1:1划分。表情数据集约3.5万张灰度图已经是人脸中心裁剪过的形式共7类表情。这个数据集有个典型毛病类别严重不均衡中性样本量巨大厌恶类占比极小直接训练很容易出现全程预测中性也能有不错准确率的假象。评价指标不能只看准确率。情感分类在不均衡数据下必须加入宏平均F1Macro-F1否则你论文里写一个80%的准确率答辩时老师随便一问就露馅了——因为你把少数类全判错了。性别任务相对简单准确率和F1都要报两个任务的对比才公平。2. 改进思路的形成从基线模型到多任务改进网络2.1 先跑通基线ResNet-18的第一次实验任何改进都要有参照系。我第一步做的事情非常简单拿一个ResNet-18把最后的全连接分类层改成两个输出头——性别头输出2类情感头输出7类其他一概不动先看裸模型到底能到多少。ResNet-18作为基线有几个好处深度适中残差结构让梯度传播稳定预训练权重好找改造成本低。需要注意的是表情数据集是灰度图而ResNet预训练权重是按RGB三通道设计的。我当时的做法是把灰度图复制成三通道再输入这样可以直接用预训练权重不需要从头训。第一次基线跑完性别准确率93.2%F1约92.8%情感准确率只有63.8%F1只有60.1%。这个结果完全在预料之中——性别任务对网络来说太简单了骨架足够应付但情感任务63.8%的准确率意味着模型在绝大多数类别上基本是瞎猜级别的能力。我把错误样本逐一翻出来看发现了两个明显的失败模式大角度侧脸、低头这类姿态变化性别判断会挂表情幅度小、尤其是中性和悲伤这种平静状态情感判断基本靠猜。这为我后面的改进提供了明确的靶子。2.2 改进一引入双注意力机制让网络知道“看什么”和“看哪里”基线模型暴露出的问题归根到底是特征没有按照任务需求被差异化地强化。性别需要全局通道信息情感需要局部空间信息而ResNet默认的特征提取方式是把这两类信息混在一起逐层抽象最后一层特征图已经高度语义化局部纹理细节早就被丢了。我的第一个改进是在残差块后插入双注意力模块思路来自两个成熟工作的组合——通道注意力负责看什么空间注意力负责看哪里。通道注意力SE模块对特征图做全局平均池化得到每个通道的全局统计量再经过两个全连接层和Sigmoid激活生成一个通道维度的权重向量对原始特征逐通道加权。这个操作能让网络自动放大对性别判断更有用的信息通道。空间注意力同时做平均池化和最大池化得到两个二维特征图拼接后过一个7x7的卷积和一个Sigmoid得到空间位置上的权重图。这个操作告诉网络脸上的哪些区域更重要。两者串联使用时通道注意力先筛选出值得关注的语义信息空间注意力再在这些信息里定位关键区域。我在stage2到stage4的每个残差块后面各接了一组这样的模块参数量增加很少但效果明显性别准确率从93.2%涨到94.1%情感准确率从63.8%涨到66.2%。注意看收益主要落在情感任务上这说明情感确实更需要空间细节的聚焦。2.3 改进二多尺度特征融合让网络既看全貌又看细节注意力模块解决了重点看哪里的问题但还有一个结构性问题没解决ResNet的信息流是自底向上单向传递的浅层特征图分辨率高、纹理细节丰富但语义弱深层特征图语义强但分辨率低、细节丢失严重。经典的做法是只拿最后一层特征送给分类头这就等于把浅层的纹理信息白白浪费了。我当时的选择是引入特征金字塔式FPN的多尺度融合。具体做法是把stage2、stage3、stage4三个层级的特征图分别用1x1卷积统一通道数然后从高层到低层逐步上采样、逐元素相加让每一层都携带更高层的语义信息。融合后的多尺度特征分别保留了两类信息——下采样得到的全局轮廓供性别任务使用上采样还原的局部纹理供情感任务使用。这个设计的启发点来自目标检测里常用的FPN但在分类任务里用得相对少。我在论文里花的篇幅也不小重点就是说明多尺度不是只看最后一层而是把不同感受野的特征组织成一份完整的材料。加入多尺度融合后性别准确率94.5%情感准确率68.4%。情感任务的提升比上一次还要大验证了我对浅层纹理信息缺失的判断。2.4 改进三共享骨干加双任务头让两个任务互相“帮忙”前面两步改进仍然是在单任务框架里性别和情感各用一个独立的分类器。但回到题目本身再看一眼——题目说的是人脸性别和情感分类并没有要求两个任务必须分开做。我决定直接改成共享特征提取骨干 两个独立任务头的多任务结构骨干网络负责提取通用的人脸特征性别头是一个全局平均池化接2类全连接层情感头是全局平均池化接7类全连接层。多任务学习的核心优势在于共享特征的正则化效应。性别分类和情感分类虽然粒度不同但底子都是这张脸长什么样它们共享底层特征实际上等于互相提供额外的监督信号。我在实验中也发现一个很有意思的现象加入情感任务后性别准确率反而进一步提升到95.8%而单做性别时已经很难再往上涨了。这就是情感任务通过共享特征给了性别任务一个额外的学习约束让网络提取的特征更加通用。这个改进还有另一个实务层面的价值最终部署时只需运行一次骨干网络两个任务分支分别轻量计算即可得到两个预测结果推理成本几乎不增加。2.5 损失函数设计一个总loss平衡两种任务多任务模型一旦结构定下来训练时的核心问题就是两个任务分支的loss怎么合并。我用了最直接的方式——加权求和L_total λ_g * L_gender λ_e * L_emotion性别任务类目均衡直接用标准交叉熵情感任务类别不均衡我使用了加权交叉熵每个类别的权重与样本数量的倒数成正比厌恶类权重最高中性类权重最低。这种做法的效果是让模型不因为少数类样本少就忽视它。λ的取值是个调参活。刚开始我两个λ都设成1.0训练过程中发现两个loss经常交替振荡——一个任务在下降另一个任务就涨一点。后来我改用了一种更省心的做法不确定性加权即把λ当作可学习的参数让网络自己根据两个任务的置信度动态调整权重。这样最终收敛稳定一些情感F1还小幅涨了一个点。3. 训练全记录与消融实验每一处改进到底改出了多少效果3.1 预处理流水线人脸对齐是第一个隐藏的大坑很多人在数据处理阶段会栽一个跟头我差点也栽了。情感数据集给的就是中心裁剪好的人脸图不需要检测直接训练但人脸属性数据集给的是含背景的原图必须先把人脸检测出来、对齐、再裁剪。问题就出在裁剪框的松紧上。一开始我用默认参数做人脸检测裁出来的图框得很紧眉毛都快顶到图像边缘了。结果情感任务的表现莫名其妙下降了两个多点。原因很简单表情信息大量分布在眉毛、眼角、嘴周裁剪过紧会把关键肌肉区域截掉裁剪过松又会带进头发、背景这类噪声。最后我定下这样的处理流程人脸检测得到人脸框和两眼关键点。根据两眼连线与水平方向的夹角做旋转校正。以两眼距离为基准按1.6倍宽度、1.8倍高度向外扩展裁剪区域统一缩放到224x224。统一归一化均值[0.485, 0.456, 0.406]方差[0.229, 0.224, 0.225]这几个数字就是ImageNet预训练权重的统计量直接沿用。数据增强方面我保持克制——水平翻转、随机裁剪、最大±10度的随机旋转、轻微亮度扰动。为什么旋转必须限制在±10度以内因为人的情感语义在真实世界里不是旋转不变的一个头倒过来90度的脸看上去就不是开心了。过强的几何增强反而会损伤情感识别的语义一致性。3.2 训练超参数记录这套配置我在论文的复现部分完整写过这里直接贴出来超参数取值说明优化器AdamW权重衰减更规范不会和L2正则冲突初始学习率1e-4用预训练权重学习率不宜过高权重衰减5e-5过大容易欠拟合过小则正则不足Batch Size128单卡够用的上限Epochs60大概在40个epoch后开始收敛平稳学习率策略余弦退火避免训练后期学习率过高导致在局部最优附近震荡梯度裁剪全局范数裁剪最大值1.0防止个别batch出现异常梯度炸掉训练混合精度开启显存占用减少约40%训练速度提升明显情感任务在30个epoch之后开始爬坡缓慢性别任务早就稳定了。我当时用了一个小技巧保存每10个epoch的中间权重最后统一在验证集上筛选最优模型而不是只看最后一个epoch的结果。3.3 消融实验四个阶段的结果对比改进工作到底有没有价值消融实验说了算。我把四组实验完整列了出来方法性别Acc性别F1情感Acc情感F1基线ResNet-1893.292.863.860.1双注意力模块94.193.766.263.0多尺度特征融合94.594.368.465.7多任务双头结构95.895.570.368.9逐行看下来每步改进在两项指标上都有正收益而且收益分布很有规律注意力模块和多尺度融合对情感任务更重要多任务头对性别任务尤其有效。这个规律本身就能写进论文的分析部分——情感任务确实更吃细节性别任务受益于共享监督提供的正则化。3.4 错误样本分析改进后到底改进了什么准确率数字之外我建议每个做这个方向的人都要翻一遍测试集里的错误样本。就拿我最后版本的结果来说性别任务仍然会错在这些场景长发男性被从发型上误判、戴帽子加超大墨镜的面孔完全丢失了脸型轮廓、极端侧脸导致两只眼睛不可见。情感任务则主要集中在中性被误判为悲伤、厌恶被漏掉——这两类在视觉上本来就非常模糊连人都不一定能准确分辨。我还用Grad-CAM做了特征可视化。基线模型在做情感判断时注意力比较分散整张脸都在看加入注意力模块后的模型热力图明显集中在眼睛和嘴角两个区域。这个可视化材料答辩时非常有用它提供了一种解释你的改进不是玄学是网络真的改变了关注策略。4. 应用实现把模型变成能演示、能交互的系统4.1 系统架构与交互流程毕设不只是训练一个模型还得交付一个能演示的应用。我用的是PyTorch模型 轻量级Web服务 简单前端的组合整体流程是摄像头或图片上传 → 人脸检测 → 关键点对齐 → 双头模型推理 → 结果展示选Web方案而不是桌面程序主要是答辩场景考虑答辩教室不保证装了Python环境和显卡驱动Web界面只需要开一个服务、浏览器访问即可跨平台兼容性最好。前端就用了最朴素的原生HTML加JavaScript后端的服务框架选Flask这类轻量级方案整个包体积很小。人脸检测我直接用了OpenCV的DNN模块自带的人脸检测器它有一百多万参数、速度很快CPU上单张人脸毫秒级检测而且自带在训练数据上学习到的通用人脸分布对姿态的容忍度比传统Haar级联要好很多。4.2 推理加速与部署CPU上也能实时跑部署时我做了三个层面的优化第一模型导出为ONNX格式。PyTorch模型在CPU上直接推理会有效率损耗导出为计算图之后ONNX Runtime的CPU推理性能明显更好。导出时我把batch固定为1输入尺寸固定为224x224并且把操作符版本对齐到目标平台支持的版本。第二半精度推理。一开始我尝试INT8量化发现情感任务的F1掉了将近4个点这类精细的纹理分类任务对量化还是太敏感。退一步用半精度就稳定了精度损失控制在0.2个点以内速度和显存都有改善。第三逐帧批处理。视频流场景下每帧的人脸数量不多单帧推理时需要把检测到的所有人脸凑成一个batch一起推理这样比逐个人脸单独推理要快不少。实测效果CPU上一张人脸从检测到输出两个分类结果大约30到50毫秒足够做实时的在线演示。4.3 演示场景的边界控制应用能跑起来是一回事演示效果好是另一回事。我在演示环节吃了不少亏总结几个实用规则光线要均匀逆光或顶光会让检测和分类同时变差。人脸占据画面比例要合适太远太小模型几乎没法判断。多人的场景逐个人脸框出来标注但要注意当人脸面积太小时标注结果的置信度会很低。给分类结果加置信度阈值低于阈值时显示无法判断好过硬给一个错误答案。这在答辩演示时是一个很加分的工程细节。我当时设置的阈值是性别0.6、情感0.35——情感准确率本来就比性别低阈值不能设太高否则屏幕上全是无法判断。5. 复盘与答辩建议那些没人写在论文里的经验5.1 怕被老师追问的数据泄露问题这是我在实验过程中自己踩出来的坑分享出来给所有后来者提个醒。人脸数据集有一个天然陷阱同一个人可能出现多张照片。如果这些照片同时出现在训练集和测试集里模型实际上是在认人而不是在学性别和情感的特征。我当时第一次划分数据集用的是随机划分结果验证集准确率虚高后来按人的身份去重划分才修正了这个问题。在论文里一定要写明你是按身份划分的并说明这个动作对泛化评估的必要性。导师们普遍对这一类细节很敏感。5.2 答辩现场容易被追问的几个问题我把当时被问到的、以及模拟答辩时被反复质疑的问题列在这里对应的回答思路也一并写上你用的注意力模块已经是成熟做法你的创新点在哪里回答关键是定位准确创新点不在于注意力模块本身的提出而在于针对双任务的差异化特征需求把这些模块组合进一个多任务共享框架里并验证了组合的合理性。你要用消融实验证明每个组件都贡献了收益而不是堆砌。为什么情感任务准确率明显低于性别任务可以从三个角度回答类别不平衡导致少数类样本难学情感类别本身存在主观标注噪声人对悲伤和中性的界定就不一致表情幅度小的图片包含的判别信息确实不足。这些理由要有数据支撑而不是空谈。如果加大数据量改进的思路还成立吗大概率仍然成立但收益会变小。数据量足够大时模型能从海量数据里自己学会关注重点区域结构性的先验设计带来的边际收益会递减。我论文里在结论部分提了一句但核心观点是在数据有限、算力有限的条件下结构性改进仍然是最可靠的性能提升手段。系统对特定人群是否有偏见这类模型确实可能对黑人面孔、儿童面孔等训练数据中占比不足的群体表现较差。当时我的应对是做一个简单的分群体测试按肤色明暗、年龄段粗略划分把结果如实写出来并说明这是数据偏差导致的后续优化方向。如实承认比试图掩盖要稳妥得多。5.3 还有哪些可以扩展的方向这个题目我当时时间有限完全做透其实还可以往几个方向继续深挖把人脸检测、对齐、分类三个模块串成一个端到端的可训练网络去掉手工对齐点带来的误差传播。在轻量化网络骨架上重复这套改进思路比如把骨干换成MobileNet类结构模型体积压缩到几兆级别部署到移动端。引入更丰富的属性监督把年龄、姿态、是否戴眼镜等作为辅助任务进一步增加共享特征的泛化能力。在公平性上下功夫用重采样或域自适应方法改善模型对弱势群体的表现。每一个方向都够再撑一篇毕业论文毕设拿来做技术预研非常合适。我听几个后来做这个方向的A同学反馈把改进思路迁移到视频序列的表情识别上也能出效果时序信息对情感判定的增益相当可观。最后说一点个人体会吧。这个项目做下来最难的倒不是某个模型或者某段代码而是持续面对改进到底有没有用这个问题时的自我质疑。每次跑一组消融心里都在打鼓万一加了模块反而掉点怎么办这种不确定性贯穿了整个项目周期。扛过去之后回头看最值钱的恰恰是这套系统化的对比实验习惯——先找基线再拆缺陷再设计改进最后逐项验证。这套方法论换个任务、换个领域依然成立这也是毕设除了论文之外真正能带走的东西。