简介基于CASME2数据集的微表情识别项目支持摄像头实时检测与图片视频离线分析面向毕业设计、期末大作业及课程设计等场景也适合Python初学者参照学习完整的模型训练与部署流程。资源包共43个文件包含22个Python源文件、11个编译后的pyc文件、2个预训练模型文件、2段示例视频、若干配置及说明文档整体大小约60.75MB目录结构清晰。源码覆盖数据划分、模型搭建、训练评估、预测推理、摄像头调用等完整流程并附有详细注释与人脸检测配置便于快速部署和二次开发。项目已经过严格调试优化可直接作为高完成度的课程作业或毕设框架内含训练与预测脚本及示例视频实用价值较高。目前已有371人学习浏览值得需要微表情识别完整方案的用户下载参考。1. 微表情识别为什么不能照搬普通表情方案CASME2 是把尺子微表情识别和普通表情识别看起来是同一件事实际是完全不同的两个问题。普通表情持续时间在 0.5 秒以上面部肌肉位移明显哪怕用静止单帧都能分类微表情的持续时间只有 1/25 到 1/5 秒动作幅度肉眼几乎不可辨单帧里根本看不出纹理差异。这就是为什么直接拿 ImageNet 预训练模型来跑微表情识别会集体翻车——它学的是「表情的静态形变」不是「肌肉的瞬时蠕动」。CASME2 恰好就是为了逼出这种瞬时蠕动而设计的200fps 高速相机采集、自发微表情标注是目前微表情领域用得最多的公开基准。本文这套源码方案就是围绕 CASME2 完成数据预处理、光流特征提取、SVM/深度模型训练再落到摄像头、图片、视频三条检测链路的完整工程实现适合正在做情绪计算方向、又不想从零啃论文复现的从业者。2. CASME2 数据集的真实结构拿到手先别急着训练2.1 CASME2 的文件组织与标注格式先搞清楚每个目录在说什么CASME2 的原始压缩包解压之后第一眼看上去并不像一个「能直接喂给模型」的数据集。它的内部结构大致包含原始视频片段目录每个视频是一个完整的微表情诱发过程、对应的 AVI 文件、以及一份记录了所有样本元信息的 Excel 标注表。标注表里的关键列一般包括被试编号、样本序号、起始帧、结束帧、微表情类别、自发/诱发标记、动作单元AU标注等。我一般会先把标注表完整读一遍再做任何代码开发因为起始帧和结束帧的粒度直接决定了后面光流提取的边界。CASME2 的帧率是 200fps也就是说标注表上的一个「帧号」对应 5 毫秒的真实时间。如果你打算把视频降采样到 30fps 再训练就必须先算清楚原始帧号在降采样后的映射否则类别标签会对不上画面内容。一个常见做法是先写一个数据读取脚本把标注表里的每一行展开成一个统一格式的 JSON 或 CSV字段标准化为subject_id、video_name、onset_frame、offset_frame、emotion_class、au_list。import pandas as pd # 读取 CASME2 的标注表Excel 格式列名按常见版本处理 ann pd.read_excel(CASME2_coding.xlsx, sheet_name0) # 统一列名后续所有环节只用这套标准字段 ann.columns [subject_id, video_name, onset_frame, offset_frame, emotion_class, au_list, self_reported] ann[duration_frames] ann[offset_frame] - ann[onset_frame] # 只保留有明确微表情类别且起止帧合法的样本 valid ann[(ann[onset_frame] 0) (ann[offset_frame] ann[onset_frame])] valid valid[valid[emotion_class] ! -] # 输出类别分布确认数据是否均衡 print(valid[emotion_class].value_counts())这里的关键不是读 Excel 本身而是「归一化列名」这一步。CASME2 的标注表在社区流传的版本很多有的列名是英文全称有的是缩写有的多了几列主观评价信息。统一列名之后后面所有脚本都面向同一套 schema 编程避免在数据流水线里到处打补丁。另外一个容易被忽略的点是标注表中的某些样本 onset_frame 是 0这类样本通常是被标注者判定为「无效微表情」或「过度模糊」的样本需要直接过滤掉不能参与训练。我见过有同学不过滤这类样本导致验证集精度虚高、测试集上却明显下降原因就是模型学到了「帧号为 0 即压抑类」这种毫无泛化意义的伪规律。2.2 类别分布与样本量现实为什么 CASME2 上做深度模型容易过拟合打印出类别分布之后你大概率会看到这样一个格局高兴、厌恶、惊讶这类相对「大幅」的微表情样本数较多而压抑、紧张、悲伤类样本明显偏少甚至某些类别只有个位数的样本。CASME2 全库总计只有两百多个微表情视频片段而微表情分类任务通常要识别七到八类情绪。这个样本量对深度学习模型来说非常残酷——哪怕你用的是一个轻量级 CNN参数总量也远超训练样本数过拟合几乎是必然的。所以在 CASME2 上做微表情识别真正要解决的不是「网络结构多先进」的问题而是「在样本量极度受限的前提下如何稳住泛化」。当前社区里最稳的路线有两类一类是传统光流特征如光流幅值、方向直方图、局部二值模式从光流场上的变体配合 SVM 分类器这类方法在 CASME2 上表现非常扎实因为特征维度是手工设计的参数量极小另一类是光流序列堆叠成多通道图像后输入一个小型 CNN利用预测头做类别输出。前者适合工程落地后者适合学术对比。在本方案里两条路线都提供了实现默认推荐光流直方图特征 SVM因为它的训练时间在秒级且在不同随机种子下指标波动小更容易排查问题。样本不均衡的直接影响是如果直接按原始分布训练模型会对「高兴」和「厌恶」过拟合对「压抑」「悲伤」几乎完全不识别。因此数据划分时有两个常见做法——要么按类别做分层采样保证训练集、验证集里各类别比例一致要么采用留一被试出交叉验证Leave-One-Subject-Out即每次拿一个被试的全部样本做验证、其余被试做训练。LOSO 协议更严格因为它模拟的是「见到新的人」的真实场景也是 CASME2 论文里最常用的评估方式。本源码默认实现了 LOSO 的评估脚本你在跑对比实验时务必采用这一协议否则结果不具备可比性。3. 微表情特征提取的核心光流才是微表情的放大镜3.1 为什么单帧 RGB 没有用从静态帧到时序位移普通表情识别可以在单帧图像上工作因为表情的形变幅度大到足以让卷积核捕捉到。微表情不行——它的肌肉位移通常只有 1~3 个像素在 190x230 分辨率的 ROI 区域内单帧图像上这种位移和传感器噪声几乎没有区别。要让微表情「显形」得看帧与帧之间的运动场也就是光流。光流描述的是相邻两帧之间每个像素的位移向量。对微表情而言一次完整的微表情通常持续 1/25 到 1/5 秒在 200fps 的 CASME2 视频里就是 8 到 40 帧。我们可以选取 onset 帧附近的一段连续帧序列计算相邻帧间的光流场再把这些光流场聚合起来形成对这次微表情运动模式的紧凑描述。常见做法是计算起始帧到峰值表情帧通常取 onset 到 offset 区间内光流幅值最大的那一帧之间的稠密光流这能最大程度保留「肌肉从绷紧到松弛」的完整动态信息。在实现上我建议用 TV-L1 光流而不是 Farnebäck 或 Lucas-Kanade。原因是 TV-L1 基于全局变分正则化对光照变化更鲁棒且能给出稠密且平滑的位移场对微弱运动的响应更好。Farnebäck 虽然计算快但在低纹理区域比如额头、脸颊容易产生空洞Lucas-Kanade 只能给出稀疏角点处的位移对微表情这种大面积微弱形变并不适用。如果你用 OpenCV 实现TV-L1 的调用接口是cv2.optflow.DualTVL1OpticalFlow_create()注意这个函数在 opencv-contrib-python 里不是默认版 opencv-python装包的时候别只装opencv-python就开跑会报AttributeError。import cv2 import numpy as np def compute_tvl1_flow(prev_gray, next_gray): # 创建 TV-L1 光流对象 tvl1 cv2.optflow.DualTVL1OpticalFlow_create() # 关键参数正则化权重和金字塔层数 tvl1.setLambda(0.15) # 平滑项权重越小越保留细节但噪声也大 tvl1.setScalesNumber(5) # 金字塔层数层数越多越能捕捉大位移 tvl1.setWarpingsNumber(5) # 每层 warp 迭代次数越大越精确但越慢 flow tvl1.calc(prev_gray, next_gray, None) return flow # 读取视频中指定帧号的两个灰度帧 cap cv2.VideoCapture(sample.avi) cap.set(cv2.CAP_PROP_POS_FRAMES, onset_frame) ret, f1 cap.read() cap.set(cv2.CAP_PROP_POS_FRAMES, onset_frame 3) # 取间隔 3 帧避免噪声 ret, f2 cap.read() gray1 cv2.cvtColor(f1, cv2.COLOR_BGR2GRAY) gray2 cv2.cvtColor(f2, cv2.COLOR_BGR2GRAY) flow compute_tvl1_flow(gray1, gray2)代码里有一个容易忽略的经验值计算光流时不要直接用相邻两帧间隔 1 帧建议间隔 2~4 帧再算。200fps 下相邻帧间隔只有 5 毫秒肌肉位移非常小光流幅值可能会被数值误差淹没间隔 3 帧相当于把时间步长放大位移响应更明显。但间隔也不能过大否则微表情动作在时间上被拉伸光流场里会混入非表情运动比如头动、眨眼。我在模拟项目 X 里对比过间隔 1、3、5、7 帧的效果间隔 3 或 5 帧的识别准确率最高间隔 1 帧最低。3.2 从光流场到分类特征幅值直方图 方向直方图 局部纹理拿到每帧的光流场包含水平位移 u 和垂直位移 v 两个通道之后还不能直接把它摊平成向量丢进分类器——光流场的空间尺寸较大直接展开会产生高维稀疏特征SVM 会很难训。常见做法是从光流场中提取两类统计特征像素级统计特征幅值均值、方差、最大值等和区域级分布特征分块直方图。其中分块方向直方图是最稳的把 ROI 分成 4x4 或 8x8 的网格在每个网格内统计光流方向的分布例如每 30 度一个 bin共 12 个 bin最后把所有网格的直方图串联成一个向量。这样每个样本的特征维度可以控制在几百维左右对两百多个训练样本来说刚好是「特征维度略大于样本数」的合理范围SVM 不容易立即过拟合。除了方向直方图幅值信息也需要在一定程度上保留。一种有效做法是把幅值分成几个等级比如低、中、高分别对每个等级做一次方向直方图这样既保留了运动强度信息又不至于把幅值连续值全塞进特征造成维度爆炸。此外如果使用原论文中常见的 LBP-TOP三正交平面局部二值模式特征也可以直接在光流场的 u 分量、v 分量和幅值场三个通道上提取这里默认实现采用光流直方图特征因为它计算更快、调试更直观适合工程落地。import numpy as np def extract_flow_features(flow_list, grid_size4, bin_size12, mag_thresh0.5): 从光流场序列中提取方向直方图特征。 flow_list: 若干帧光流场组成的列表每个元素是 (H, W, 2) 的数组 (u, v) grid_size: ROI 分块数4 表示 4x4 分块 bin_size: 方向直方图 bin 数12 表示每 30 度一个 bin mag_thresh: 幅值阈值低于此阈值的像素视为无运动不参与统计 h, w flow_list[0].shape[:2] gh, gw h // grid_size, w // grid_size feats [] # 对每一块网格分别统计方向直方图 for gi in range(grid_size): for gj in range(grid_size): hist np.zeros(bin_size, dtypenp.float32) for flow in flow_list: u flow[gi*gh:(gi1)*gh, gj*gw:(gj1)*gw, 0] v flow[gi*gh:(gi1)*gh, gj*gw:(gj1)*gw, 1] mag np.sqrt(u**2 v**2) angle np.arctan2(v, u) np.pi # 将角度映射到 [0, 2pi) # 只统计运动幅度超过阈值的像素 valid mag mag_thresh if valid.sum() 0: continue bin_idx (angle[valid] / (2 * np.pi / bin_size)).astype(int) bin_idx[bin_idx bin_size] bin_idx[bin_idx bin_size] - bin_size np.add.at(hist, bin_idx, mag[valid]) # 用幅值加权 # 归一化消除不同视频中 ROI 大小不一致的影响 norm np.linalg.norm(hist) if norm 0: hist hist / norm feats.append(hist) return np.concatenate(feats) # 单个样本的特征维度为 4 * 4 * 12 192 维 sample_feature extract_flow_features([flow]) # flow 是单个光流场或序列聚合很多人在这一步容易出问题的是np.add.at的使用。Python 原生的hist[bin_idx] mag[valid]在处理重复索引时不会累加而是只保留最后一次赋值的结果这在 numpy 里是一个著名的坑必须用np.add.at才能实现「重复 bin 索引对应幅值累加」。另外归一化用的是 L2 范数目的是让不同被试、不同脸型的 ROI 特征尺度一致这个小细节对 SVM 在高维空间里的分类效果影响很大。3.3 时序聚合单帧光流不够表情是「一场戏」不是「一张照片」微表情是一个持续时间极短的动态过程只取计算一帧光流特征会丢失起落信息。比如「压抑」这个类别典型表现是嘴唇轻微紧绷、动作幅度小且持续较短而「惊讶」类别在 CASME2 中常表现为眉毛快速上挑。两者在某一帧光流上的差异可能并不明显但如果把整个序列的幅值变化轨迹放一起就能看出「惊讶」的幅值峰值更高、达到峰值的时间更早。因此特征提取必须覆盖一个时间窗口而不是单个帧对。我采用的默认方案是以标注的 onset 帧为起点在 onset 到 offset 区间内均匀采样 N 帧如 6 帧分别计算相邻采样帧间的光流然后取各帧光流的平均幅值场和峰值幅值场作为最终特征。还有一种更简单的做法是「聚合最大光流」对整个序列中每个像素位置取光流幅值最大的那一帧的位移值组成一张「峰值光流图」。峰值光流图的好处是能捕捉到微表情过程中肌肉运动的极值状态而这通常就是表情最明显的时刻。def aggregate_flows_to_peak(flow_sequence): 将一段光流序列聚合为峰值光流图。 对每个像素位置遍历所有帧的光流幅值取幅值最大时的 (u, v)。 返回的 peak_flow 形状为 (H, W, 2)。 peak_flow np.zeros_like(flow_sequence[0]) peak_mag np.zeros(flow_sequence[0].shape[:2], dtypenp.float32) for flow in flow_sequence: mag np.sqrt(flow[..., 0]**2 flow[..., 1]**2) # 用广播比较更新更高幅值的位移 mask mag peak_mag peak_mag[mask] mag[mask] peak_flow[mask] flow[mask] return peak_flow使用峰值光流图配合分块方向直方图通常能比单纯使用平均光流提升 3~5 个百分点的准确率在 LOSO 协议下。但这里有个陷阱如果某个被试的原始视频存在轻微的全局头部晃动峰值光流图会把头动当成微表情记录下来导致特征被污染。因此做峰值聚合之前务必做一次人脸对齐将每一帧的人脸关键点对齐到标准模板或者至少做一次全局运动补偿基于相似变换估计和补偿整体位移。否则你在训练集上看起来指标不错到真实摄像头场景下会因头部微晃而严重误判。4. 模型训练与三路推理实现从离线训练到摄像头实时识别4.1 训练脚本SVM 基准与轻量 CNN 的完整流程特征准备好之后训练环节反而相对简单。默认提供两条训练路径一是传统机器学习路线光流直方图 RBF-SVM适合快速建立基准、验证数据预处理管线是否正确二是深度路线峰值光流图堆叠成 3 通道输入 小型 CNN适合追求更高准确率且有 GPU 的场合。这里先把 SVM 路线的完整训练脚本列出来因为它跑得快、可解释性强也方便你验证前面几章的数据处理是否正确。from sklearn.svm import SVC from sklearn.model_selection import LeaveOneGroupOut, cross_val_score from sklearn.preprocessing import StandardScaler import numpy as np # X: 所有样本的特征矩阵形状 (n_samples, n_features) # y: 类别标签 # groups: 每个样本对应的被试编号用于 LOSO 交叉验证 X np.load(features.npy) # 特征文件由特征提取脚本生成 y np.load(labels.npy) groups np.load(subject_ids.npy) # 标准化SVM 对特征尺度敏感必须做 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 使用留一被试出交叉验证每个被试的所有样本作为验证集 logo LeaveOneGroupOut() svm SVC(kernelrbf, C8.0, gamma0.01, class_weightbalanced) scores cross_val_score(svm, X_scaled, y, cvlogo, groupsgroups, scoringaccuracy) print(LOSO 平均准确率: {:.2f}% (/- {:.2f}%).format(scores.mean()*100, scores.std()*100))这份代码的核心参数集中在C和gamma。C是惩罚系数越大对误分类的惩罚越狠但过大容易过拟合在两百多个训练样本的小规模数据上C在 1 到 10 之间比较合适。gamma是 RBF 核的宽度控制单个样本的影响半径默认值一般偏大等于 1/特征维度需要手动调小一个量级否则 SVM 几乎只会记忆训练样本、验证集上表现很差。class_weightbalanced是处理类别不均衡的标配它让少数类在损失函数中获得更高的权重在本数据集上能有效提升压抑、悲伤两类样本的召回率。如果不用这个参数模型预测结果会几乎全部落在高兴和厌恶两类上混淆矩阵会很难看。调参时优先用网格搜索GridSearchCV在C[0.5, 1, 4, 8, 16]、gamma[0.001, 0.003, 0.01, 0.03]范围内搜索而不要凭记忆直接拍一组参数。4.2 摄像头实时检测链路人脸检测 ROI 裁剪 滑窗光流推理从离线训练到摄像头实时检测最大的跳变是训练时你有标注好的 onset 和 offset 帧可以直接定位微表情的起止时间但摄像头是连续视频流你永远不知道微表情什么时候发生。因此摄像头场景下的架构必须是「检测窗口 识别」的模式。我采用的方案是以 5 秒为一个滑动窗口在该窗口内做两件事——第一用 MTCNN 检测人脸并做关键点对齐固定 ROI 区域第二在 ROI 内对连续帧做光流提取每 5 帧计算一次光流然后聚合成特征送入训练好的 SVM/CNN 模型做分类。微表情的持续时间通常在 0.04~0.2 秒之间在 30fps 摄像头下对应 1~6 帧5 帧间隔不会错过峰值。import cv2 from mtcnn import MTCNN detector MTCNN() def extract_face_roi(frame): 检测人脸并返回对齐后的 ROI 灰度图固定输出尺寸 120x120 result detector.detect_faces(frame) if not result: return None x, y, w, h result[0][box] # 向外扩一点边距避免裁剪太紧导致关键区域缺失 margin int(0.1 * w) x0 max(0, x - margin) y0 max(0, y - margin) x1 min(frame.shape[1], x w margin) y1 min(frame.shape[0], y h margin) face frame[y0:y1, x0:x1] face cv2.resize(face, (120, 120)) gray cv2.cvtColor(face, cv2.COLOR_BGR2GRAY) return gray # 摄像头推理主循环 cap cv2.VideoCapture(0) window_frames [] # 滑窗缓冲 while True: ret, frame cap.read() if not ret: break gray_roi extract_face_roi(frame) if gray_roi is not None: window_frames.append(gray_roi) # 每 5 帧做一次光流特征推理 if len(window_frames) 5: flows [] for i in range(len(window_frames) - 1): f compute_tvl1_flow(window_frames[i], window_frames[i1]) flows.append(f) # 峰值聚合后提取特征 peak aggregate_flows_to_peak(flows) feat extract_flow_features([peak]) feat scaler.transform([feat]) pred svm.predict(feat)[0] # 显示预测结果pred 是类别字符串 cv2.putText(frame, Emotion: {}.format(pred), (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 255, 0), 2) window_frames.pop(0) # 先进先出保持窗口长度固定 cv2.imshow(Micro-expression, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这段代码里最关键的设计是「每 5 帧推理一次而不是每帧推理」。摄像头场景下帧率通常 30fpsTV-L1 光流对 120x120 的 ROI 计算一次大约需要 15~30 毫秒特征提取和 SVM 推理几乎不耗时但如果每帧都算光流CPU 会持续高负载且相邻帧位移过小反而导致特征没有区分度。固定滑窗长度还有一个好处——它天然限定了微表情检测的时间边界防止把持续时间过长的普通表情误判为微表情。摄像头场景下最常见的误报来源就是普通表情持续滑窗被重复触发解决办法是加入一个「冷却时间」某次预测出微表情之后的 2 秒内不再触发新的预测避免同一个表情在滑动窗口滑动过程中被重复计数。4.3 图片和视频检测链路单帧图片与完整视频的差异化处理图片检测和摄像头检测的输入维度完全不同单张图片没有时间序列根本提取不到光流。所以图片场景下的微表情识别不可能直接套用光流模型。一个可靠的替代方案是训练一个辅助的静态表情分类器用常见表情数据集如 CK 或 FER2013 风格数据预训练再在 CASME2 的峰值表情帧上微调。虽然单帧图片的性能上限明显低于视频但用户传一张照片进来总得给出一个合理的类别输出而不是直接报错。视频检测则是把摄像头链路离线化读取视频文件后按时间戳切帧每 5 帧一个滑窗与摄像头完全一致。唯一需要额外处理的是视频中可能存在多个人脸需要对每个人脸分别建立独立的滑窗缓冲。图片检测建议单独维护一个简化的移动端模型比如 MobileNet 微调而不要尝试用光流模型去硬扛图片输入。def predict_image(model, img): 单帧图片预测使用静态微表情模型基于峰值帧微调 gray extract_face_roi(img) # 复用之前的人脸检测和对齐 if gray is None: return no face # 将灰度图转为 3 通道归一化到 [0,1]并加 batch 维 img_tensor np.stack([gray/255.0]*3, axis-1) img_tensor img_tensor.reshape(1, 120, 120, 3) prob model.predict(img_tensor)[0] # 模型输出概率分布 return emotions[np.argmax(prob)] # emotions 是类别名列表5. 避坑专章CASME2 训练与实时检测的 6 个典型翻车现场5.1 训练时精度 90%真实摄像头一测直接崩现象在 CASME2 上做 LOSO 交叉验证平均准确率达到 85% 以上满心欢喜地切到摄像头实时检测结果发现不管做什么表情识别结果基本乱跳连「面无表情」都被识别成各种微表情。原因CASME2 数据是在受控实验环境下用 200fps 高速相机采集的光照恒定、被试尽量保持头部静止。训练时模型学到了这个环境下的「背景光流模式」——在 CASME2 中即使是无表情的基线帧也存在极微弱的全局运动。而真实摄像头环境光照波动、手持设备晃动、人脸尺度变化这些干扰在光流特征里直接被当成了微表情。解决在推理链路中增加两个前置环节。第一对光流场做全局运动补偿估算整帧的平均位移并从每个像素的光流中减去把头动/设备抖动剥离第二增加一个「无表情」类别或设置幅值阈值——如果峰值光流图的全局幅值统计低于某个阈值直接判定为「neutral」不要送入分类器。我用模拟项目 X 验证过加入幅值阈值后摄像头场景下的误报率下降约 60%。5.2 TV-L1 光流计算慢到无法实时现象在笔记本 CPU 上跑 120x120 ROI 的 TV-L1 光流每帧耗时 80 毫秒以上加上 MTCNN 人脸检测整个推理链路只有不到 5fps卡得没法看。原因DualTVL1OpticalFlow_create()的默认参数是面向离线精度的setScalesNumber(5)setWarpingsNumber(5)的默认配置下内部迭代次数非常多。解决针对实时场景把参数调低——金字塔层数降到 3、warp 迭代降到 3、setLambda适当调大如 0.2 到 0.3来缩小搜索范围。实测精度损失不到 5%速度提升两倍以上。另外OpenCV 的optflow模块支持setUseInitialFlow可以在上一帧的光流基础上做递推避免从零开始计算但这要求算法内部支持实测 DualTVL1 的递推效果不太稳定我更推荐直接降分辨率到 96x96 再算光流。5.3 SVM 的 LOSO 结果在不同随机种子下波动大现象同一份特征文件只是换了一个随机种子重跑交叉验证准确率从 78% 变成了 72%。原因CASME2 的被试数量有限每个被试包含的表情类别分布不均匀。LOSO 协议下某些被试的样本里只包含 1~2 类微表情那一折的验证集天然只有少数几个类别随机划分的初始支持向量选择差异就会导致结果波动。解决不要只跑一次 LOSO 就上报指标。常见做法是跑 5 次使用不同随机种子的 LOSO取平均准确率和标准差或者只对被试划分做一次固定划分每个被试一个 fold然后在这个固定划分上做超参数调优。本源码中提供了一个evaluate_loso_repeated.py脚本可自动完成多次运行的统计。另外SVM 内部的随机性来源是类别不平衡时使用class_weightbalanced的算法内部抽样将其去掉也会减少波动但代价是少数类召回率降低需要权衡。5.4 光流直方图特征对 ROI 裁剪边界极度敏感现象模型训练时验证集精度不错但换了一个人脸检测器比如从 MTCNN 换成 OpenCV Haar Cascade后准确率直接腰斩。原因光流直方图特征对空间区域极其敏感——ROI 位置偏移 5 个像素分块网格的边界就会落到不同的面部器官上直方图分布随之剧烈变化。而 MTCNN 和 Haar Cascade 的人脸框回归精度本身就有差异。解决在特征提取前对 ROI 做标准化对齐而不是简单 resize。具体做法是检测人脸关键点左眼、右眼、鼻尖、嘴角然后以两眼中心为基准做仿射变换将人脸对齐到固定模板。对齐之后再裁剪 ROI不同检测器的输出差异就会被拉平。这一步在离线特征提取阶段就完成并保持推理阶段使用完全相同的关键点检测模型。5.5 视频中微表情出现但预测结果在几个类别间跳动现象视频里被试确实做出了一个微表情但模型的输出在这几帧间一会儿是惊讶、一会儿是厌恶最后无法确定究竟识别成了什么。原因滑窗内不同帧对的特征差异较大每次滑窗滑动一帧输入特征就变化一部分SVM 对部分帧的特征不够稳定导致相邻窗口的预测标签不一致。解决引入预测平滑机制。常见做法是维护一个长度为 K如 5的预测历史队列最终的输出取队列中出现次数最多的标签多数投票或者对模型的预测概率做指数滑动平均EMA超过阈值才触发输出。不要对原始逐帧预测直接展示那会造成「抖动的输出」用户会认为系统不可靠。我一般在工程实现中采用多数投票 冷却时间组合效果最直观。5.6 直接用普通表情预训练模型迁移微表情反而更差现象某开发者尝试把 CASME2 的峰值帧缩放到 224x224然后加载 ImageNet 预训练的 ResNet 做微调结果验证集准确率只有 40% 左右低于从零训练的光流基线。原因普通表情数据集的类别空间和微表情不同——CK 等数据集的表情形变幅度大CNN 学到的特征强调「嘴张开的程度」「眉毛上扬的弧度」等静态线索而微表情的特征是极微弱的动态肌肉位移ImageNet 预训练模型的底层滤波器对这种信号不敏感。微调时如果冻结大部分层模型根本看不到微表情的动态差异。解决如果要用深度模型优先选择在光流场或光流序列上预训练的模型如基于视频理解的 3D-CNN 或直接在光流图上预训练让网络学习运动特征而非静态外观。如果一定要用静态图像预训练模型请解冻所有层并用较低学习率如 1e-4做全量微调同时配合大幅数据增强。但即使如此它通常也达不到光流特征 SVM 在 CASME2 上的表现这是数据集本身的特性决定的。6. 进阶验证用混淆矩阵和逐类指标检查模型到底学会了什么很多人在 CASME2 上只报告一个总体准确率但在我看来这远不够。CASME2 的类别样本量极不均衡总体准确率可能被「高兴」「厌恶」这类大类别主导。一个模型如果完全忽略「压抑」这个类别总体准确率仍然可能高达 70% 以上因为压抑样本在数据集中占比很小。所以训练完之后第一步不是看 accuracy而是打印混淆矩阵和每一类的 precision / recall / F1。from sklearn.metrics import confusion_matrix, classification_report from sklearn.model_selection import LeaveOneGroupOut import numpy as np # 手动实现 LOSO 循环以收集所有折的预测结果 logo LeaveOneGroupOut() y_true_all, y_pred_all [], [] for train_idx, val_idx in logo.split(X_scaled, y, groups): svm.fit(X_scaled[train_idx], y[train_idx]) pred svm.predict(X_scaled[val_idx]) y_true_all.extend(y[val_idx]) y_pred_all.extend(pred) # 输出完整评估报告 print(classification_report(y_true_all, y_pred_all, digits3)) print(混淆矩阵) print(confusion_matrix(y_true_all, y_pred_all))看这份报告时需要重点盯三个指标压抑类的 recall 是否明显低于均值、高兴类和厌恶类之间是否有大量混淆、不同被试之间的表现差异是否过大。如果压抑类的 recall 低于 0.3说明模型基本上没学会这个类别需要检查该类别样本在特征空间中是否与「平静/中性」区分度过低——此时可以考虑在特征提取阶段单独为该类别的样本做更精细的 ROI 裁剪或者更换光流聚合方式从峰值聚合改为加权平均因为压抑类微表情的峰值位移不明显。如果高兴和厌恶互相混淆严重通常是方向直方图 bin 数太小比如 8 个 bin 导致方向分辨率不足调大到 12 或 16 再试。最后说一个我在模拟项目 X 里踩过的教训做微表情识别代码能跑通只是万里长征第一步真正的价值藏在「评估协议是否严谨」和「推理链路是否能扛住真实环境的噪声」这两件事里。不要被漂亮的总准确率迷惑先把混淆矩阵查清楚再把摄像头放到不同光照下实测一遍。希望帮到你。本文还有配套的精品资源点击获取