简介面向毕业设计的多模态情感识别Python项目源代码融合脑电(EEG)、眼动追踪与皮肤电(GSR)三类生理信号完整覆盖信号预处理、特征提取、特征选择、机器学习分类以及情感模型构建链路适合高校学生或研究者参考实现和算法验证。压缩包共38个文件大小约8.99MB含14个Python脚本作为核心模块另有YAML配置、PyTorch权重、图表结果及说明文档等辅助内容模块化结构便于定位和二次开发。目前已有89人浏览学习具备一定参考热度。代码按Dataset、LoadFeatures、MultimodalModel、Trainer、Tester等模块组织提供best_model.pth权重与结果图可直接运行复现同时附带配置文件与注释便于理解多模态特征融合和情感状态映射的具体做法可作为毕业设计或科研入门的实用起点。1. 多模态情感识别的落地路径脑电、眼动、皮肤电怎么协同预测情绪多模态情感识别就是把脑电EEG、眼动和皮肤电GSR/EDA三类信号送进同一个模型预测人当下是高唤醒还是低唤醒、正向还是负向。它的价值很直接脑电单模态在实验室干净环境下准确率能到85%以上一旦换一批受试者或换了采集环境掉到60%以下也不算意外。原因在于情绪信号本身分散在自主神经系统和中枢神经系统的不同通道里单一信号只截取了其中一块。这个毕业设计方向适合两类人一类想做生物信号处理和机器学习结合另一类想要一个“数据获取方式丰富、实验设计完整、答辩有技术纵深”的课题。本文按一套Python源码的组织顺序讲清楚三路信号各自处理的细节、特征怎么对齐、模型怎么融合以及最影响结果的那些坑。2. 脑电、眼动和皮肤电怎么互补选型逻辑与三种融合路径2.1 EEG、眼动、GSR分别测什么时间尺度与信息缺口做融合之前得先清楚这三路信号各自的脾气。脑电的采样率通常在128Hz到512Hz捕捉的是毫秒级的中枢神经活动对情绪效价valence和唤醒度arousal都有区分力但EEG天生受眨眼、肌肉活动和工频干扰影响而且个体差异非常大。眼动的信息量集中在注视时长、扫视路径和瞳孔直径上瞳孔直径跟认知负荷和唤醒度强相关采样率从60Hz到1000Hz都有缺点是瞳孔对光照和屏幕亮度极其敏感。皮肤电反映交感神经激活情绪唤醒引起的汗腺活动导致皮肤电导变化时间尺度很慢刺激出现后1到5秒才有响应但它几乎不受被试主观伪装影响是“装不出来”的一路信号。信号代表生理系统时间尺度主要干扰项最擅长区分EEG中枢神经系统毫秒级眼电、肌电、50Hz工频效价与唤醒的组合眼动视觉注意与自主神经几十毫秒级光照、屏幕刷新率认知负荷与兴趣区域GSR交感神经系统秒级温度、呼吸、基线漂移唤醒度、压力三个模态的互补点不在平均而在缺口。脑电能在情绪发生的初始阶段给出高频信号眼动把注意资源分配量化出来皮肤电则慢半拍但稳定地记录生理唤起的积累过程。融合的价值在于当其中一个模态被噪声摧毁时另外两个还能保住预测的底线。这一点在真实场景比实验室场景重要得多。2.2 为什么不能把原始信号直接丢给分类器特征工程的必要性把原始信号直接喂给深度学习模型是这个方向最常见的错误。原因有两个。第一三路信号的采样率不同EEG是256Hz、眼动是250Hz、GSR只有10Hz原始时间序列根本无法直接拼成同一个样本。第二情绪信号的有效信息密度很低EEG原始波形里有大量与情绪无关的节律GSR原始曲线里混杂着基线漂移直接丢给模型只会让分类器去拟合噪声而不是情绪。常见的做法是先把每路信号变换成一组低维特征再把这些特征拼成样本。具体来说EEG通常按频段提取微分熵DE或功率谱密度PSD特征眼动提取注视时长、扫视速度、瞳孔变化率等统计量GSR则分解为SCL基线成分和SCR瞬态响应提取峰幅度和峰密度。这一步做扎实后面模型才有意义这一步偷懒模型再花哨也救不回来。2.3 特征级、决策级与混合融合先从哪个路径入手多模态融合有三个层次。特征级融合最简单把EEG、眼动、GSR的特征向量直接拼接交给一个分类器。决策级融合是每个模态单独训练一个分类器输出预测概率后再平均或投票。混合融合一般指用神经网络中间层的注意力机制决定每个模态的权重复杂度最高。我一般建议先做特征级融合作为基线。理由是这类课题的样本量通常不大一个数据集几十个被试每个被试几十个视频片段总样本也就几百到一千多。特征级拼接配合树模型或浅层MLP既不容易过拟合也能说明三路信号是否真的提供了互补信息。决策级融合适合对比展示注意力融合只有在拿到更大规模数据时才值得尝试。下表把三条路径的适用范围列出来。融合层级实现成本数据量要求可解释性适合场景特征级拼接低几百个样本即可中基线实验、毕设主体决策级投票低每个模态几百个样本高对比实验、消融分析注意力融合高建议千级以上低数据充足时的上限探索3. 三路信号预处理与特征提取按模态顺序过一遍可执行代码3.1 EEG预处理50Hz陷波、分段与微分熵特征计算EEG预处理的第一步是滤掉50Hz工频干扰。国内电网频率是50Hz采集设备如果屏蔽不够好这个频段会带上一股稳定的噪声。用iirnotch做窄带陷波Q值取30左右既能把50Hz削掉又不至于伤到紧挨着它的频段。之后做一个0.5到45Hz的带通滤波保留脑电的主要频带。下面的代码假设你已经把EEG读成了一个(channels, samples)的numpy矩阵。import numpy as np from scipy import signal def eeg_preprocess(raw, fs256): # raw: (通道数, 采样点数) 的二维矩阵 # 1) 50Hz 工频陷波Q30 控制陷波带宽 b, a signal.iirnotch(50, Q30, fsfs) raw signal.filtfilt(b, a, raw, axis-1) # 2) 0.5~45Hz 带通保留脑电有效频段 b2, a2 signal.butter(4, [0.5, 45], btypebandpass, fsfs) raw signal.filtfilt(b2, a2, raw, axis-1) return raw def extract_de(epoch, fs256): # epoch: 单个通道的一段时间序列 freq, psd signal.welch(epoch, fsfs, npersegfs) bands { delta: (1, 4), theta: (4, 8), alpha: (8, 13), beta: (13, 30), gamma: (30, 45) } de_feat [] for lo, hi in bands.values(): mask (freq lo) (freq hi) power np.mean(psd[mask]) 1e-12 # 防 log(0) de_feat.append(np.log2(power)) return np.array(de_feat)参数解释说两句。welch的nperseg设为fs意思是窗长取1秒频率分辨率大约1Hz足够把delta和theta频段分开。微分熵在这里用每个频段功率谱均值的对数来近似严格的定义是对概率密度做积分工程实现里通常直接用谱能量替代效果稳定且计算快。每个时间窗、每个通道都会得到一个5维向量如果EEG是32通道那么每个样本的特征就是160维。这是后面拼接时的主力维度。3.2 眼动数据清洗瞳孔插值、扫视检测与注视统计特征眼动数据最常见的质量问题是瞳孔丢失。被试眨眼时设备追踪不到瞳孔原始记录里会出现NaN或0值。另一个问题是坐标和瞳孔直径的单位不稳定。处理顺序是先插值补齐丢失段再用相邻帧差分计算速度阈值区分注视和扫视最后在一个时间窗内统计特征。下面的代码以pandas DataFrame作为输入字段包含x、y、pupil三个数值列。import pandas as pd import numpy as np def clean_eye(df, fs250, vel_thresh30): # 1) 瞳孔丢失列转数值做线性插值 df[pupil] pd.to_numeric(df[pupil], errorscoerce) df[pupil] df[pupil].interpolate(methodlinear).bfill() df df.dropna(subset[x, y]).reset_index(dropTrue) # 2) 计算相邻帧速度识别扫视 dx df[x].diff().fillna(0) dy df[y].diff().fillna(0) dt 1.0 / fs vel np.hypot(dx, dy) / dt # 单位度/秒 df[is_saccade] vel vel_thresh # 常见阈值 30°/s return df, vel def eye_features(df, event_df): # 按情绪片段切分后统计特征 for _, row in event_df.iterrows(): mask (df[time] row[start]) (df[time] row[end]) seg df[mask] feat { pupil_mean: seg[pupil].mean(), pupil_std: seg[pupil].std(), saccade_rate: seg[is_saccade].mean(), fixation_count: (~seg[is_saccade]).sum() / max(len(seg), 1) } # 汇总所有片段得到眼动特征矩阵眼动特征里最容易被忽略的是单位问题。x、y如果是屏幕像素坐标计算出的速度值是像素/秒直接套用30°/s阈值完全没有意义。常见做法是先根据屏幕物理尺寸和观看距离换算成视角再做速度阈值判断否则扫视检测会错得离谱。瞳孔也类似不同被试的瞳孔直径基线差异很大后面做被试内归一化才能跨样本比较。3.3 GSR基线漂移消除SCL与SCR分解、峰值特征提取GSR信号分为两个成分皮肤电水平SCL是缓慢变化的基线皮肤电反应SCR是叠加在基线上的快速小尖峰。情绪事件通常触发的是SCR尖峰SCL只反映整体唤醒趋势。分解的常见做法是用一个足够宽的移动平均窗口估计SCL再用原始信号减掉SCL得到SCR。import pandas as pd from scipy import signal def decompose_gsr(gsr_series, fs10, base_win9): # gsr_series: pandas Series采样率默认 10Hz win int(fs * base_win) # 9秒窗口估计SCL scl gsr_series.rolling(win, centerTrue, min_periods1).mean() scr gsr_series - scl return scl, scr def scr_peak_features(scr, fs10, min_amp0.05): # SCR峰值检测幅度0.05uS峰间距至少1秒 peaks, props signal.find_peaks( scr.to_numpy(), heightmin_amp, distanceint(fs * 1.0) ) n_peaks len(peaks) mean_amp np.mean(props[peak_heights]) if n_peaks else 0.0 return {scr_count: n_peaks, scr_mean_amp: mean_amp}base_win选9秒的移动平均是因为SCL的变化节奏很慢窗口太窄会把SCR尖峰也平滑进基线里导致分解失效。find_peaks的distance设为1秒间隔避免同一个SCR毛刺被重复识别成多个峰。提取出的每段SCR峰数量和平均幅度就是GSR贡献给融合模型的主要特征。4. 特征拼接与模型融合从LightGBM基线到决策级融合的升级路线4.1 时间窗口对齐与特征归一化三件必须做的事三路特征提取完之后距离训练模型还差三步。第一步是对齐时间轴。每个情绪片段要有一个统一的时间锚点EEG取刺激开始前0.5秒到开始后6秒的切片眼动取同一时间窗内的注视数据GSR则取刺激开始后1到5秒窗口内的SCR峰。GSR的1到5秒延迟窗口不是随意定的皮肤电本身的生理响应就有这个延迟如果把标签直接对齐到刺激起始模型学到的是一段还没有反应的空白信号。第二步是被试内归一化。瞳孔直径和GSR幅度在不同被试之间的基线差异极大直接拼接会让模型优先学会区分“这个人是谁”而不是“这个人什么情绪”。常见做法是对每个被试分别做z-score标准化。第三步是切分数据时绝对不能随机切分到同一被试的不同片段必须按被试分组切分否则验证集分数会虚高。这三件事的顺序不能乱先对齐、再归一化、最后切分。4.2 特征级融合基线先跑出一个可靠的分数基线模型不用绕远路用LightGBM或者随机森林就能说明问题。特征拼接用numpy.hstack把三部分特征矩阵横向合并然后划分训练测试集。样本量小的情况下树模型对特征缩放的容忍度高也不需要做太多调参。import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier # eeg_feat: (样本数, 160)eye_feat: (样本数, 30)gsr_feat: (样本数, 10) X np.hstack([eeg_feat, eye_feat, gsr_feat]) y np.array(labels) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) clf RandomForestClassifier( n_estimators200, max_depth8, random_state42 ) clf.fit(X_train, y_train) print(feature-level fusion acc:, clf.score(X_test, y_test))max_depth限制在8附近是因为特征维度大约200维、样本量几百个树太深会直接把训练集记住。stratifyy做分层抽样保证训练集和测试集里高唤醒、低唤醒的比例一致。这一步跑出来的准确率可以作为整个项目的下限。如果这个分数低于单模态的最好成绩问题大概率出在特征对齐而不是模型选择。4.3 决策级融合与注意力机制什么时候值得升级特征级融合稳定之后可以补一个决策级融合的对比实验。三个模态各训练一个分类器用VotingClassifier做软投票即取三个模型输出概率的平均值。这样做的意义在于验证多模态的价值是否来自真正的互补如果软投票分数和单模态最高分差不多说明三路特征高度冗余融合没有带来新信息。from sklearn.ensemble import VotingClassifier eeg_clf RandomForestClassifier(n_estimators200, max_depth8) eye_clf RandomForestClassifier(n_estimators200, max_depth8) gsr_clf RandomForestClassifier(n_estimators200, max_depth8) vote VotingClassifier( estimators[(eeg, eeg_clf), (eye, eye_clf), (gsr, gsr_clf)], votingsoft ) vote.fit(X_train, y_train) print(decision-level fusion acc:, vote.score(X_test, y_test))注意力融合通常意味着把三个模态的特征分别经过一个小网络再用注意力权重加权求和。这个方案的理论上限更高但在样本量不足时很容易过拟合。如果毕设时间充裕可以在特征级和决策级都稳定之后再尝试否则不建议作为主体路线。常见的经验值融合只带来3到8个百分点的提升是正常的如果提升了15个百分点先怀疑数据处理泄漏。5. 多模态情感识别最容易翻车的6个坑从标签错位到数据泄漏5.1 标签错位采样率不一致导致片段对不上现象训练集准确率还行验证集准确率直接掉10个百分点以上而且模型对某些样本的预测结果看起来完全随机。原因EEG、眼动和GSR的采样率差异很大切片时如果直接用“第几个采样点”切分而不是用时间戳对齐三个模态对应的情绪片段根本不在同一个时间段。GSR还有1到5秒的生理延迟标签对齐到刺激起始时刻等于让模型学一段空信号。解决所有模态统一用时间戳定位片段边界。GSR特征只从刺激开始后1秒到5秒的窗口内提取EEG特征从刺激开始前0.5秒到开始后6秒的窗口提取眼动特征取同一时间窗。5.2 50Hz工频干扰让频段特征失真现象EEG的alpha和theta频段功率整体偏高多模态融合模型的准确率反而不如只用GSR的单模态模型。原因陷波器Q值太低或者先做了分段提特征、后做滤波导致50Hz及其谐波能量泄漏进相邻频段污染了微分熵特征。解决滤波必须在分段之前完成。iirnotch的Q值调到20到30再用0.5到45Hz带通兜底。做了这些仍然发现某个频段异常高就画一下原始信号的功率谱密度确认50Hz尖峰被压下去了再往下走。5.3 GSR基线漂移被当成情绪响应现象被试在情绪片段里的SCR峰数量异常多尤其在后半段实验里GSR特征几乎失去区分度。原因长时间采集时GSR基线会缓慢上移如果直接用原始信号做峰值检测把SCL的上升沿也当成了SCR尖峰。情绪响应是秒级的快速变化基线漂移是分钟级的慢变化两者混在一起就会误检。解决先用9秒以上的移动平均分离SCL再用原始信号减去SCL得到纯SCR成分。分离后做峰值检测并且峰值幅度阈值不要低于0.05微西门子太低的阈值会把噪声算进去。5.4 被试泄漏按session随机切分也会虚高现象某次实验中随机切分训练集和测试集能拿到0.92的准确率换成按被试分组的验证后只有0.65。原因同一个被试的多个情绪片段在时间上高度相关模型其实学到了“这个人整体的生理基线”而不是“这个片段的具体情绪”。随机切分会把同一被试的数据同时分到训练集和测试集等于考试时背了答案。解决用LeaveOneGroupOut或GroupKFold按被试分组做验证保证训练集里出现的被试在测试集里完全不出现。这个验证策略应该从一开始就定下来不要等随机切分的结果好看了再回头看。5.5 瞳孔直径无法跨被试直接比较现象把瞳孔特征加入融合模型后准确率比只用EEG还低。原因瞳孔直径受到屏幕亮度、观看距离、被试个体差异的影响原始瞳孔值里含有大量被试信息。模型学到的可能是“亮度不同的屏幕”而不是“情绪不同的片段”。解决每个被试内部先对瞳孔特征做z-score归一化或者用刺激开始前的瞳孔基线做差值。归一化之后再和其他模态拼接才能让瞳孔特征真正贡献唤醒度的信息。5.6 频率分辨率不足导致频带边界失真现象EEG微分熵特征在delta和theta频段上的分布出现异常的分裂。原因welch窗长设得太短频率分辨率不足导致1到4Hz的delta频段只落进两三个频率bin估计出来的功率很不稳定。解决nperseg至少设为fs保证1Hz的频率分辨率。如果采样率是256Hznperseg256delta频段能落到4个bin以上特征才稳定。6. 想保住毕业答辩的完整度留一被试交叉验证与混淆矩阵分析6.1 留一被试交叉验证的等价实现对于多模态情感识别这类被试差异很大的任务答辩评委最关心的问题是“换一批人还能不能work”。留一被试交叉验证LOSO就是回答这个问题的手段每次拿一个被试的全部数据当测试集其余被试当训练集循环n次后把预测结果汇总。from sklearn.model_selection import LeaveOneGroupOut from sklearn.metrics import accuracy_score logo LeaveOneGroupOut() all_pred [] all_true [] for train_idx, test_idx in logo.split(X, y, groupssubject_ids): clf RandomForestClassifier(n_estimators200, max_depth8) clf.fit(X[train_idx], y[train_idx]) all_pred.extend(clf.predict(X[test_idx])) all_true.extend(y[test_idx]) print(LOSO accuracy:, accuracy_score(all_true, all_pred))这个分数是你在答辩时能公开报出去的数字。如果LOSO结果明显低于随机切分结果答辩前一定要准备好解释模型确实学到了个体基线表征而情绪泛化能力有限。这不丢人三模态融合研究在真实数据上普遍面临这个问题评委更看重你是否意识到这一点。6.2 用混淆矩阵证明融合不是摆设准确率之外答辩时要能拿出混淆矩阵证明模型不是只学会了预测多数类。情感分类通常是二分类高唤醒/低唤醒看三件事多数类准确率、少数类召回率、以及两类的错误倾向。from sklearn.metrics import confusion_matrix cm confusion_matrix(all_true, all_pred, labels[0, 1]) print(混淆矩阵(0低唤醒, 1高唤醒):) print(cm)习惯性做法是最后做一个三模态消融实验只用EEG、只用眼动、只用GSR、三者融合四条准确率放一张表。如果融合没有超过最优单模态说明信息冗余或对齐有问题如果融合超过最优单模态就说明多模态路线成立。答辩问答环节里十有八九会被问到“你如何证明融合有效”消融表就是答案。我最初做这个方向时在一份眼动数据上栽过很惨的跟头坐标单位从像素到视角少乘了一个系数扫视检测阈值直接用默认值融合准确率比单模态还低。后来把特征对齐和验证方式先理清楚分数才回到正常水平。那之后我养成了一个习惯任何一次实验先把LOSO跑出来再谈准确率高低。希望帮到你。本文还有配套的精品资源点击获取