简介这份资源是面向计算机视觉学习者与智能驾驶方向研究者的YOLO驾驶员疲劳检测数据集可用于训练和验证闭眼、打哈欠等疲劳行为的实时识别模型适合具备一定目标检测基础、希望落地疲劳预警项目的读者。压缩包共8744个文件约256.88MB其中jpg图像2915张、txt标注2915份、xml标注2914份TXT以简洁的边界框坐标与类别信息为主XML则提供更完整的结构化标注两种格式可分别适配不同训练框架的读取需求。目前已有2931人学习下载。数据集覆盖不同疲劳程度与驾驶行为的面部图像读者可据此完成从数据解析、模型训练到疲劳预警验证的完整流程并借助YOLO单阶段检测的并行预测特性同时识别闭眼与打哈欠等多目标行为为驾驶辅助系统的安全监控提供可复用的数据基础。1. 拆开一份驾驶员疲劳检测数据集2667 张图背后到底藏着什么如果你正在找一份能直接跑 YOLO 训练、标签齐全、场景聚焦的驾驶员疲劳检测数据集那这份 2667 张图像、TXT 与 XML 双格式标注的资源值得花十分钟看完。它解决的不是“有没有数据”的问题而是“数据能不能直接进训练管线”的问题——闭眼、打哈欠、正常驾驶三类行为都有覆盖图像以驾驶员面部特写为主标注文件与图像一一对应省掉了从视频抽帧到人工标框的大段脏活。适合谁做车载 DMS 算法验证的工程师、跑疲劳检测课程设计的学生、想拿真实场景数据调 YOLOv5/v8 的开发者。下面按“数据长什么样 → 怎么转格式 → 怎么训 → 坑在哪”的顺序拆一遍。2. 数据集结构与标签格式TXT 和 XML 到底怎么选2.1 图像命名与目录组织从项目正文给出的文件名来看图像采用纯数字命名如2667.jpg、829.jpg、962.jpg、2666.jpg、963.jpg、2665.jpg、2080.jpg、837.jpg、961.jpg、2079.jpg。这种命名方式有两个明显特征一是编号不连续说明原始数据可能来自多个视频片段抽帧后合并二是编号跨度大从 800 多到 2600 多意味着总样本量在两千级别与 2667 张的总数吻合。常见做法是把图像统一放在images/目录下标注文件放在labels/或annotations/目录下保持文件名主干一致。比如dataset/ ├── images/ │ ├── 2667.jpg │ ├── 829.jpg │ └── ... ├── labels_txt/ │ ├── 2667.txt │ ├── 829.txt │ └── ... └── labels_xml/ ├── 2667.xml ├── 829.xml └── ...提示如果拿到手的压缩包里图像和标注混在一起先按扩展名分离再重命名不然后面转 YOLO 格式时路径匹配会浪费大量时间。2.2 TXT 与 XML 两种标注的差异TXT 格式通常是 YOLO 系列直接可用的归一化坐标每行一个目标格式为class_id x_center y_center width height数值范围 0~1。XML 格式则更接近 PASCAL VOC 风格包含图像尺寸、目标类别名、边界框的绝对像素坐标结构更冗长但信息更全。对比项TXT 格式XML 格式坐标类型归一化相对坐标绝对像素坐标类别表示数字 ID字符串名称图像尺寸不记录需外部获取记录在size节点直接可用性YOLO 可直接读需转换脚本适用场景训练 YOLOv5/v8数据审核、跨框架迁移选哪个如果只跑 YOLOTXT 最省事但如果需要核对标注质量、或者要把数据迁移到 Detectron2、MMDetection 这类框架XML 的冗余信息反而成了优势。我一般会保留两份训练用 TXT审核用 XML。2.3 类别定义与疲劳行为映射驾驶员疲劳检测的核心类别通常包括闭眼、打哈欠、正常。有些数据集还会细分左眼闭、右眼闭、张嘴幅度等但从这份资源的描述来看主要围绕闭眼和打哈欠两个疲劳指标。在 TXT 中类别 ID 一般从 0 开始映射0: closed_eye 1: yawn 2: normal具体映射关系要以数据集自带的classes.txt或data.yaml为准。如果拿到手没有类别说明文件打开几个 TXT 看每行第一个数字的分布再对照 XML 里的name标签反推这是最稳妥的土办法。3. 从 XML 转 YOLO 格式转换脚本与四个边界坑3.1 转换逻辑拆解XML 转 YOLO TXT 的核心是把绝对坐标转成归一化相对坐标。公式不复杂x_center (xmin xmax) / 2 / image_width y_center (ymin ymax) / 2 / image_height width (xmax - xmin) / image_width height (ymax - ymin) / image_height但实际写脚本时坑往往不在公式本身而在图像尺寸读取、类别映射、文件编码和坐标越界这四件事上。3.2 可复用的转换脚本import os import xml.etree.ElementTree as ET from PIL import Image # 类别映射根据数据集实际类别修改 CLASS_MAP { closed_eye: 0, yawn: 1, normal: 2 } def xml_to_yolo(xml_path, img_dir, out_dir): tree ET.parse(xml_path) root tree.getroot() filename root.find(filename).text img_path os.path.join(img_dir, filename) # 优先从 XML 读取尺寸读不到再打开图像 size root.find(size) if size is not None: w int(size.find(width).text) h int(size.find(height).text) else: with Image.open(img_path) as im: w, h im.size lines [] for obj in root.findall(object): name obj.find(name).text.strip() if name not in CLASS_MAP: continue # 跳过未定义类别避免训练时标签错乱 cls_id CLASS_MAP[name] bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 坐标裁剪防止标注越界导致归一化后超出 0~1 xmin max(0, min(xmin, w)) xmax max(0, min(xmax, w)) ymin max(0, min(ymin, h)) ymax max(0, min(ymax, h)) x_center (xmin xmax) / 2.0 / w y_center (ymin ymax) / 2.0 / h bw (xmax - xmin) / w bh (ymax - ymin) / h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {bw:.6f} {bh:.6f}) out_path os.path.join(out_dir, os.path.splitext(filename)[0] .txt) with open(out_path, w, encodingutf-8) as f: f.write(\n.join(lines)) if __name__ __main__: xml_dir labels_xml img_dir images out_dir labels_txt os.makedirs(out_dir, exist_okTrue) for f in os.listdir(xml_dir): if f.endswith(.xml): xml_to_yolo(os.path.join(xml_dir, f), img_dir, out_dir)逻辑说明脚本先解析 XML 拿到图像宽高优先用 XML 里的size读不到才打开图像这样在图像路径不对时也能完成转换。类别映射用字典控制遇到未定义类别直接跳过而不是报错保证批量转换不中断。坐标裁剪是必须的手工标注难免有框超出图像边界的情况不裁剪会导致归一化值大于 1YOLO 训练时虽然不报错但回归目标会偏。参数说明CLASS_MAP必须和数据集实际类别一致改这里就行out_dir会自动创建坐标保留 6 位小数足够 YOLO 使用再多是浪费。3.3 转换后的校验步骤转完不要直接开训先做三件事统计每个类别的框数量看是否严重不均衡。闭眼和打哈欠样本如果远少于正常样本训练时容易偏向多数类。随机抽 20 张图用可视化脚本把 TXT 框画回图像上肉眼确认框的位置和类别没错。检查是否有空 TXT 文件。空文件意味着该图没有目标YOLO 会当作背景图处理但如果大量为空说明转换逻辑可能漏了。# 统计各类别框数量 awk {print $1} labels_txt/*.txt | sort | uniq -c这条命令输出每个类别 ID 的出现次数能快速判断类别分布。4. 用 YOLO 训练疲劳检测模型配置、参数与验证4.1 数据配置文件怎么写YOLOv5/v8 需要一个 YAML 描述数据路径和类别。假设目录结构按第 2 章组织path: ./dataset train: images/train val: images/val nc: 3 names: 0: closed_eye 1: yawn 2: normal如果数据集没有预先划分训练集和验证集需要自己切分。常见做法是按 8:2 随机划分但疲劳检测场景下要注意同一个人连续帧的图像不能同时出现在训练和验证集否则验证指标会虚高。简单处理方式是按文件名编号段划分比如前 80% 编号做训练后 20% 做验证。4.2 训练命令与关键参数python train.py \ --data data/fatigue.yaml \ --weights yolov5s.pt \ --img 640 \ --batch 16 \ --epochs 100 \ --device 0 \ --project runs/fatigue \ --name exp1参数说明--img 640是输入分辨率疲劳检测主要看面部细节640 通常够用如果闭眼和正常差异不明显可以提到 768 或 896--batch 16在 8GB 显存下比较稳显存不够降到 8--weights用预训练权重比从头训收敛快很多小数据集尤其明显--epochs 100是起点看验证集 mAP 曲线如果 50 轮后还在涨就继续加。4.3 训练过程中的观察指标重点看三个mAP0.5、各类别的precision/recall、以及混淆矩阵。疲劳检测里闭眼和打哈欠的 recall 比 precision 更重要——漏检一个疲劳状态比误报一次正常状态代价大得多。如果发现闭眼类别 recall 偏低优先检查标注框是否只框了眼睛区域还是把整张脸都框进去了。框太大时模型学到的特征不聚焦闭眼和正常容易混。注意如果训练 loss 正常下降但 mAP 一直上不去先别调模型回头查标签。我见过太多情况是 TXT 里类别 ID 和 YAML 里的 names 顺序对不上模型学的是错位的类别。5. 避坑与排查数据标注和训练里最容易翻车的五件事5.1 现象训练 loss 震荡不收敛mAP 在 0.1 附近徘徊原因TXT 标签的坐标没有归一化或者归一化时除错了宽高。有些转换脚本把宽高写反导致框全部变形。解决打开几个 TXT 文件确认每行后四个数值都在 0~1 之间。如果出现大于 1 的值说明归一化没做或做错了。重新跑转换脚本并在脚本里加断言assert 0 x_center 1。5.2 现象模型把闭眼和打哈欠混为一类原因两类在面部特征上有重叠——打哈欠时眼睛也可能半闭。如果标注时没有严格区分或者图像分辨率太低看不清嘴部状态模型很难分开。解决先检查标注质量把模棱两可的样本挑出来重新标或直接删掉。训练时可以把--img提高到 768让嘴部和眼部细节更清晰。另外如果打哈欠样本太少考虑做数据增强时对打哈欠类别单独过采样。5.3 现象验证集 mAP 很高但实际跑视频时频繁误报原因训练集和验证集来自同一批视频的相邻帧图像高度相似验证集没有真正起到“未见过的数据”的作用。解决按视频来源或时间段划分数据集确保验证集的图像和训练集在时间上不连续。如果原始数据没有视频来源信息按文件名编号做间隔采样比如每 10 张取 1 张做验证。5.4 现象XML 转 TXT 后部分图像没有对应标签文件原因XML 里的filename和实际图像文件名不一致比如大小写差异、扩展名不同、或者有空格。解决在转换脚本里加一层文件名匹配逻辑先列出图像目录的实际文件名再用 XML 里的 filename 去匹配匹配不上就打印出来人工核对。不要直接拼接路径那是翻车的重灾区。5.5 现象训练到一半显存溢出原因--batch设太大或者--img提高后没有相应降 batch。疲劳检测数据集图像以面部为主分辨率提高对显存影响比通用检测更明显。解决用--batch 8起步配合--accumulate做梯度累积等效 batch 不变但显存占用降低。或者直接用 YOLOv8n/s 这类轻量模型疲劳检测的目标类别少小模型往往够用。6. 进阶技巧用置信度阈值和 NMS 调优把误报压下去训练完拿到best.pt之后别急着部署。疲劳检测场景下后处理参数对最终效果的影响不比模型本身小。YOLO 默认的置信度阈值是 0.25NMS IoU 是 0.45但这两个值在疲劳检测里需要重新调。先说置信度阈值。调低到 0.15 能提高闭眼和打哈欠的召回但正常驾驶的误报会增多调到 0.4 误报少了但漏检风险上升。我的习惯是先在验证集上跑一组阈值扫描看 F1 曲线峰值在哪。import torch from models.common import DetectMultiBackend from utils.general import non_max_suppression model DetectMultiBackend(best.pt, devicecuda) model.eval() # 对单张图做不同置信度阈值的推理对比 for conf_thres in [0.15, 0.25, 0.35, 0.45]: pred model(img) det non_max_suppression(pred, conf_thresconf_thres, iou_thres0.45) # 统计各类别检出数量和标注对比算 recall print(fconf{conf_thres}, detections{len(det[0])})这段代码的核心是固定 NMS IoU只变置信度阈值观察检出数量的变化。如果某个阈值下闭眼类别的检出数突然掉很多说明模型对闭眼的置信度普遍偏低需要回头检查闭眼样本的标注一致性。再说 NMS IoU。疲劳检测里闭眼和打哈欠有时会在同一张脸上同时出现如果 IoU 阈值设太低比如 0.3两个框会被误合并成一个。设到 0.5~0.6 比较稳。但也不能太高否则同一目标会出现重复框。还有一个容易被忽略的点类别感知 NMS。YOLO 默认做的是类别内 NMS闭眼和打哈欠各自独立抑制。如果发现闭眼框和打哈欠框大量重叠说明标注时两个类别的边界没划清这时候调 NMS 没用得回去改标注。最后说一个验证习惯。每次调完阈值不要只看 mAP要单独统计闭眼和打哈欠的漏检率。我一般会跑一段模拟驾驶视频逐帧推理把漏检的帧号记下来回头单独看这些帧的图像特点——是光照太暗、角度太偏、还是驾驶员戴了眼镜。这些信息比调参本身更有价值。从那以后我每次拿到新的疲劳检测数据集都强制走一遍“转格式 → 可视化抽检 → 类别分布统计 → 小批量过拟合测试”的流程确认数据管线没问题再开正式训练。希望帮到你。本文还有配套的精品资源点击获取