摘要本数据集选用 CREMA-D 和 RAVDESS 两个公开多模态情感识别数据集作为实验数据来源。两个数据集均包含语音和视频信息能够同时提供语音声学特征与面部视觉特征适合用于多模态情感识别模型的训练、验证和性能评估。数据集简介数据集概述CREMA-D 数据集包含 91 名演员录制的 7,442 个音视频片段演员年龄范围为 2074 岁涵盖不同性别和族裔。数据集包含愤怒、厌恶、恐惧、快乐、中性和悲伤 6 类基本情绪并设置低、中、高及未指定等不同情绪强度具有较丰富的情感表达形式。RAVDESS 数据集由 24 名专业演员录制共包含 7,356 条数据其中视频语音文件 2,880 个。数据集涵盖中性、平静、快乐、悲伤、愤怒、恐惧、厌恶和惊讶 8 类情绪并设置正常和强烈两种情绪强度。其音视频数据同步性较好、类别标注清晰可为多模态情感识别算法研究提供可靠的数据基础。1. CREMA-DCREMA-D 数据库Cao 等2014包含 7,442 个视频片段由 91 名演员参与录制其中男性 48 名、女性 43 名年龄范围为 2074 岁。演员具有不同的族裔背景包括非裔美国人、亚裔、白人、西班牙裔以及未注明族裔。演员使用英语朗读 12 个语音平衡句子并分别表达六种基本情绪愤怒Anger、厌恶Disgust、恐惧Fear、快乐Happy、中性Neutral和悲伤Sad。每种情绪按照四种情绪强度进行表达低Low、中Medium、高High和未指定Unspecified。文件名标注CREMA-D 数据集中的 7,442 个文件均具有唯一的文件名。文件名由 5 个部分组成例如1001_DFA_ANG_XX_01.mp4这些标识符分别描述样本的不同属性。演员编号Actor ID演员编号范围为 10011091分别对应 91 名演员。语句StatementIEO “现在是十一点钟。”TIE “事情就是这样发生的。”IOM “我正在去开会的路上。”IWW “我想知道这是怎么回事。”TAI “飞机快坐满了。”MTI “也许明天会很冷。”IWL “我想要一个新的闹钟。”ITH “我想我预约了医生。”DFA “别忘了带一件夹克。”ITS “我想我以前见过这个。”TSI “表面很滑。”WSI “我们几分钟后就会停下来。”情绪EmotionANG 愤怒DIS 厌恶FEA 恐惧HAP 快乐NEU 中性SAD 悲伤情绪强度Emotional IntensityLO 低强度MD 中等强度HI 高强度XX 未指定性别Gender2. RAVDESSRAVDESS 数据库Livingstone Russo2018包含 7,356 条录制数据其中用于**视频语音Video-Speech**的文件共有 2,880 个。该数据集由 24 名专业演员参与录制其中男性 12 名、女性 12 名。演员使用北美英语朗读或演唱两条中性语句并表现八种不同的情绪愤怒Angry、平静Calm、厌恶Disgust、恐惧Fearful、快乐Happy、中性Neutral、悲伤Sad和惊讶Surprise。情绪强度分为两个等级正常Normal和强烈Strong。每个文件均提供分辨率为 1280×720 的高清视频同时配有同步的 48 kHz、16 位音频从而形成内容丰富且较为均衡的多模态情感数据集可用于多模态情感识别等相关研究。文件名标注RAVDESS 的 2,880 个视频语音文件均具有唯一文件名。文件名由 7 个部分组成例如01-01-01-01-01-01-01.mp4这些编号分别表示样本的不同属性。模态Modality01 完整音视频Full Audio-Visual02 仅视频Video-only03 仅音频Audio-only发声通道Vocal Channel01 语音Speech02 歌唱Song情绪Emotion01 中性Neutral02 平静Calm03 快乐Happy04 悲伤Sad05 愤怒Angry06 恐惧Fearful07 厌恶Disgust08 惊讶Surprised情绪强度Emotional Intensity01 正常Normal02 强烈Strong注意中性情绪不存在“强烈”强度等级。语句Statement01 “孩子们正在门边说话。”02 “狗正坐在门边。”重复次数Repetition01 第 1 次重复02 第 2 次重复演员Actor演员编号范围为 0124。其中奇数编号演员为男性偶数编号演员为女性。01 男性02 女性数据集来源本文实验所采用的数据主要来源于两个公开的多模态情感识别数据集CREMA-D 和 RAVDESS。论文引用Livingstone, S. R. 和 Russo, F. A.2018. 瑞尔森情感语音与歌唱音视频数据库RAVDESS一个基于北美英语面部表情和声音情感表达的动态多模态数据集. 《PLoS ONE》13(5)e0196391。数据集信息免责声明与引用数据仅用于科研与教学用途。若用于商业场景请自行核验数据许可。 如需引用请在论文或报告中注明数据集名称与版本号。作者信息作者Bob (张家梁)项目编号Datasets-6文件大小13.9G原创声明本数据集为整理作品