简介资源为基于Python卷积神经网络的人脸识别驾驶员疲劳检测与预警系统完整项目面向毕业设计、课程设计及项目开发等场景适合具备一定Python和深度学习基础的读者学习参考。系统从人脸朝向、位置、瞳孔朝向、眼睛开合度、眨眼频率、瞳孔收缩率等数据入手融合打哈欠、眨眼、点头三类检测实时计算驾驶员注意力集中程度并针对疲劳状态及时发出安全提示。压缩包共二十个文件以Python源码为主包含十余个py脚本、训练好的hdf5模型、OpenCV人脸检测xml配置、可直接启动的exe程序、运行说明文本及README文档等整体约七十八MB。目前已有七百二十三人学习参考。资料内提供经过严格测试的完整源码、预训练模型与配套说明可快速复现算法流程也可在此基础上扩展功能或调整模型结构兼顾课程设计与实际项目开发需求。1. 疲劳驾驶检测这个需求为什么绕不开卷积神经网络基于Python卷积神经网络人脸识别驾驶员疲劳检测与预警系统名字看上去像毕业设计题目实际解决的从来都是真问题高速上驾驶员打盹从闭眼到事故往往只有3秒。自己从零做一套逃不掉三件事——把人脸从画面里找出来判断眼睛和嘴当前是什么状态在出事之前把警报推给司机。这篇文章适合正在做毕设、课设的学生也适合想快速给车队装一套疲劳预警Demo的工程师。我会按一套能真正跑通的方案讲卷积神经网络做眼部与嘴部状态分类关键点几何特征当辅助判据连续帧计数做预警触发最后把最容易翻车的边界条件一个个列出来。2. 方案选型与整体设计为什么疲劳检测要交给CNN2.1 三条技术路线先别急着选CNN疲劳检测不外乎三类信号来源生理信号、车辆行为信号、视觉信号。生理信号测脑电、眼电精度高但电极贴在身上卡车司机不会戴着它跑长途车辆行为信号看方向盘转角、车道偏移装起来容易可等车道开始偏移困意早就酿成事故了。视觉信号用摄像头对着驾驶员非接触、成本低、安装不受座椅限制是目前量产疲劳预警系统最主流的方向。视觉方案内部又分三代。第一代是传统机器学习HOG特征加SVM分类器把“眼睛区域”的纹理手工编码光照一变就崩第二代是几何特征方案最典型的是dlib的68个人脸关键点算眼睛纵横比代码短、速度快但关键点受姿态和逆光影响大侧脸时经常飞点第三代就是标题里的卷积神经网络方案让网络自己在眼部图像上学习“睁开”和“闭合”的形态差异肤色、亮度、是否戴眼镜这些干扰都交给数据去处理。这里要澄清一个概念标题写的是“人脸识别”但本系统真正做的不是身份识别。门禁机那种1:1或1:N的“认人”在这里用不上我们要做的是“认状态”——认眼前这张脸的五官状态。所以更准确的说法是人脸检测加面部状态识别。做毕设时概念辨析写清楚答辩老师很容易给分。2.2 系统模块拆解与数据流我一般把系统拆成五个模块每个模块在文档里对应独立一章模块职责关键输出视频采集读取摄像头或视频文件单帧BGR图像人脸检测定位人脸框和关键点人脸框坐标、眼睛/嘴部位置预处理裁剪、灰度化、增强、归一化48×48的归一化眼部图CNN推理分类当前状态睁眼/闭眼/张嘴的概率预警决策连续帧判定与报警报警信号、累加计数数据流是串行的摄像头拿到一帧→人脸检测器给出人脸框→按比例裁剪出眼睛和嘴部区域→缩放成模型输入尺寸→卷积神经网络输出概率→决策模块看连续N帧是否满足疲劳条件→触发语音或界面报警。这里的关键是每层只往下游丢真正有用的信息不要把人脸大图直接丢给分类网络那样又慢又容易学偏。2.3 环境准备先把Python和cv2伺候好常见做法是用Anaconda建一个独立环境Python版本选3.9或3.10都行。依赖就三个大头opencv-python、pytorch、mediapipe。很多人卡在第一步“python下载cv2”装不上多半是网络问题用国内pip镜像源能解决。装完之后立刻跑一段验证代码确认cv2和torch都能import成功再做后面所有事。建议在项目里保留一份requirements.txt把版本号写死。毕设验收机器上环境往往和自己电脑不一样版本锁定了演示那天才不会被“import error”打断。这个细节在文档里体现出来算得上工程素养。3. 人脸关键点提取与疲劳指标计算从EAR到CNN输入3.1 关键点检测怎么选dlib、MediaPipe还是RetinaFace疲劳判据最传统的算法是计算眼睛纵横比。基础是68个人脸关键点其中左眼6个点、右眼6个点。dlib提供HOG加线性分类器的关键点检测CPU上单帧只要几毫秒但它有一个致命短板人脸一旦偏转超过30度关键点就开始飘飘出去的点和真实眼角位置差出十几个像素后面的EAR计算直接变成噪声。MediaPipe Face Mesh能出468个点对姿态的容忍度好很多而且眼睛轮廓点更密集裁剪出来的眼部区域稳定。RetinaFace出的是人脸框加5个关键点速度和精度平衡做毕设演示很够用。我的选择是MediaPipe出眼睛轮廓点用轮廓的外接矩形去裁剪眼部区域人脸框留给RetinaFace或OpenCV的DNN模型都行。3.2 EAR与MAR的代码实现EAR是眼睛纵横比的缩写计算方式是两组垂直距离的平均值除以水平距离。下面是基于68点坐标的完整实现dlib和OpenCV的LBF模型输出的索引一致from scipy.spatial import distance as dist def eye_aspect_ratio(eye_landmarks): # eye_landmarks 是6个点的坐标按顺序对应眼睛轮廓 # 垂直方向两对点距离EAR的分母项 vertical_1 dist.euclidean(eye_landmarks[1], eye_landmarks[5]) vertical_2 dist.euclidean(eye_landmarks[2], eye_landmarks[4]) # 水平方向一对点距离EAR的分子项 horizontal dist.euclidean(eye_landmarks[0], eye_landmarks[3]) return (vertical_1 vertical_2) / (2.0 * horizontal)68点索引里左眼取第36到41个点右眼取第42到47个点顺序是顺时针的。睁眼正常时EAR在0.25到0.35之间闭眼时会掉到0.15以下。注意不同人眼裂大小不一样直接拿0.2这个通用阈值套所有人早晚误报。所以传统方案里要做一段“个人校准”司机上车先正常睁眼看两分钟记录本人EAR基线再定阈值。嘴巴的打哈欠判断逻辑相同叫MARdef mouth_aspect_ratio(mouth_landmarks): # 嘴部取68点中的第49到68个点外唇轮廓 vertical_1 dist.euclidean(mouth_landmarks[2], mouth_landmarks[6]) vertical_2 dist.euclidean(mouth_landmarks[3], mouth_landmarks[7]) horizontal dist.euclidean(mouth_landmarks[0], mouth_landmarks[4]) return (vertical_1 vertical_2) / (2.0 * horizontal)MAR在闭嘴时约0.1到0.2打哈欠张大嘴时能到0.5以上。但MAR有一个天生的坑说话、大笑时嘴巴也是张开的单纯靠数值阈值区分“打哈欠”和“说话”几乎不可能。所以MAR只能当辅助特征最终张嘴状态的判断还是要靠卷积神经网络看整个嘴部形态。3.3 从几何判据转向CNN眼部预处理的三板斧几何判据的问题在于它对关键点质量太敏感而关键点质量在真实驾驶场景里就没有稳定过。换个思路关键点只负责把眼睛区域“框”出来至于框里的内容是睁是闭交给卷积神经网络。这一步的预处理非常关键直接决定模型收敛速度和最终精度。我常用的流程是def preprocess_eye(crop_bgr, target_size48): # 输入的crop_bgr是从原图按关键点外接矩形裁出来的眼部图 gray cv2.cvtColor(crop_bgr, cv2.COLOR_BGR2GRAY) # CLAHE效果好于普通直方图均衡夜间逆光不会放大噪点 clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) gray clahe.apply(gray) gray cv2.resize(gray, (target_size, target_size)) # 归一化到0~1区间并增加通道维度 gray gray.astype(float32) / 255.0 gray np.expand_dims(gray, axis-1) # (48, 48, 1) return gray眼部区域裁剪不能直接用人脸框的固定坐标因为人脸上下移动时眼睛相对位置会变。正确做法是拿到MediaPipe输出的眼睛轮廓点后取外接矩形向外扩20%的padding把眼皮和眼周肌肉纹理一并包含进去。我试过只裁眼球区域模型精度会掉四到五个点因为网络看不到眼睑闭合的完整上下文。到这里疲劳检测的特征路径已经清晰关键点做定位CNN做状态分类。下一步就是训练这个CNN。4. 轻量CNN训练落地从数据集到车载级推理4.1 数据准备公开数据集和自己录制的组合拳训练数据是疲劳检测最花时间的环节比调网络结构更影响效果。常见做法是公开数据集加自采数据混着用。公开的YawDD是驾驶员打哈欠视频CEW是闭眼数据集MRL Eye Dataset是眼睛区域图。自采数据很简单用笔记本摄像头录自己两小时包含正常驾驶、聊天、打哈欠、揉眼睛、闭眼犯困用上一节的关键点方案自动裁剪出眼睛和嘴部图再手动清洗分桶。分类标签按三类来定眼睛睁、眼睛闭、嘴部张大打哈欠再加一个嘴部正常也行。我习惯模型输出三个类别eye_open、eye_closed、mouth_open。注意类别不平衡的问题闭眼数据天然少靠过采样和加扰动来补。水平翻转对眼部数据是安全的左右眼翻转闭眼还是闭眼亮度扰动对夜间场景帮助极大。train_transforms [ HorizontalFlip(p0.5), RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.2, p0.5), ShiftScaleRotate(shift_limit0.05, scale_limit0.1, rotate_limit10, p0.3) ]增强参数里的rotate_limit别超过15度否则会生成姿态诡异且标签失效的样本。shift_limit控制在0.05只模拟检测框抖动带来的像素偏移太大会裁出空气。4.2 网络结构手写一个吃单通道图的轻量CNN很多人一上来就套ResNet50训练慢、推理慢而且这个任务用不着那么深。眼睑闭合是一个局部形态差异感受野不需要覆盖整张脸。我用的网络是三个卷积块加两个全连接输入48×48的单通道灰度图import torch.nn as nn class FatigueNet(nn.Module): def __init__(self, num_classes3): super(FatigueNet, self).__init__() self.features nn.Sequential( nn.Conv2d(1, 16, kernel_size3, padding1), nn.BatchNorm2d(16), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2) ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(64 * 6 * 6, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x这个表结构参数不写死由输入尺寸推导。拿48×48的输入过三次MaxPool边长依次变24、12、6最后展平是64×6×6。BatchNorm是训练稳定的关键是模型收敛速度的重要支点。为什么不用现成的MobileNetV2做迁移学习如果数据集超过两万张图迁移学习性价比极高但如果只有三五千张图自定义小网络反而更稳过拟合风险低答辩时也方便解释每一层的设计理由。数据集实在少到千张以内再把MobileNetV2拿出来当backbone锁住前几层只训练分类头。4.3 训练配置与超参数选择训练循环用PyTorch标准写法。优化器用Adam学习率0.001损失函数CrossEntropyLoss。batch_size在32到64之间输入图是48×48单通道显存开销很小集成显卡都能跑import torch.optim as optim from torch.utils.data import DataLoader model FatigueNet(num_classes3) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) scheduler optim.lr_scheduler.StepLR(optimizer, step_size15, gamma0.1) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers2) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers2) best_val_acc 0.0 for epoch in range(1, 51): model.train() for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() val_acc correct / total scheduler.step() if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), fatigue_best.pt) print(fepoch {epoch}: val_acc{val_acc:.4f})这个代码里有两个值得注意的地方学习率阶梯下降在第15轮和第30轮衰减到原来的十分之一保存权重只看验证集精度不看训练集损失。验证集要从原数据集里留出20%并且保证同一个人的视频帧只出现在训练集或只出现在验证集否则会有“数据泄漏”指标虚高上车就翻车。训练到什么程度算好眼部睁开与闭合这样的大类差异验证集准确率95%左右是合理的及格线98%以上就需要怀疑是不是泄漏了。训练loss和验证loss差距大先去查增强强度是否太狠再去查验证集里是否混入了同源帧。4.4 推理接入OpenCV视频流训练好的权重要接到视频流里跑这步是毕设演示的核心也是从“模型”到“系统”的跨越cap cv2.VideoCapture(0) model.eval() frame_counter 0 closed_counter 0 while True: ret, frame cap.read() if not ret: break faces detect_faces(frame) # 人脸检测返回框坐标 if len(faces) 0: x, y, w, h faces[0] eye_crop extract_eye_region(frame, x, y, w, h) eye_input preprocess_eye(eye_crop) with torch.no_grad(): prob torch.softmax(model(eye_input), dim1) closed_prob prob[0, 1].item() if closed_prob 0.7: closed_counter 1 else: closed_counter max(0, closed_counter - 2) if closed_counter 15: cv2.putText(frame, DROWSINESS WARNING, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 255), 2) closed_counter 0 # 报警后重置避免重复连报这段代码把两个工程细节揉进去了判定不是单帧闭眼就报警而是连续闭眼帧数累加到阈值才报警程序特别处理了计数器的衰减——睁了一帧不立刻清零而是减2给“眨眼误报”留缓冲。这种“快累慢消”的计数方式比单纯连续帧计数鲁棒得多也是调整灵敏度最直接的旋钮。5. 避坑疲劳检测系统最容易翻车的五个环节5.1 检测框抖动让状态序列变成“毛刺”现象跑视频流的时候闭眼概率忽高忽低同一段犯困视频闭眼检测像心电图一样跳。原因人脸检测器每一帧输出的关键点位置有随机噪声裁剪出的眼部区域跟着抖动同一只眼睛在这一帧裁到眼皮下一帧就裁到睫毛模型判断自然不稳定。解决对关键点坐标做指数平滑或者对闭眼概率本身做平滑。我一般对概率做EMA代码就一行smoothed 0.8 * smoothed 0.2 * new_prob。注意权重不能压得太低否则真闭眼会被平滑掉报警延迟大到失去意义。5.2 夜间和侧光一上来就翻车现象白天测试区很漂亮一到晚上开灯或者隧道里准确率直接崩到六成。原因训练数据大多是正常光照的眼部图暗部纹理被压缩卷积核学到的边缘特征全部失效。解决分两路数据侧用CLAHE做自适应增强配合亮度扰动让模型见过“半张脸亮半张脸暗”的样本硬件侧最靠谱的是用红外摄像头主动补光后司机戴不戴墨镜都能看清眼睛。量产疲劳预警产品全部用红外就是这个原因。毕设阶段买一个几十块的USB红外摄像头比调三个月算法有效得多。5.3 说话被当成打哈欠现象司机和副驾聊天系统频繁误报“疲劳”平均十分钟一次。原因张嘴分类和哈欠张口在静态单帧上几乎没有区别网络看到的就是嘴部张开。解决引入时间持续性判据。真实哈欠从张嘴到合嘴持续约3到5秒说话时的张嘴通常不超过1秒。把“张嘴持续超过2秒”作为哈欠预判再结合闭眼趋势哈欠往往伴随眼睑下垂两个条件同时满足才计一次。这个逻辑加在决策模块里不重训模型也能大幅降误报。5.4 训练集95%准确上车却反应迟钝现象验证集指标漂亮放到真实驾驶视频里闭眼都到三秒了还不报警。原因训练集里全是正脸、平视、居中的人脸真实场景中司机会低头、转头、歪着脖子头部姿态一变裁剪出的眼部图像和训练分布完全不同。解决给训练数据加姿态扰动随机小角度旋转和偏移我已经在增强里写了更直接的办法是采集目标用户的“本人数据”做增量微调录二十分钟真实驾驶自动裁剪后用已有模型打伪标签再人工修正把闭环补上。5.5 延迟与帧率的单选题现象为了解决抖动把模型输入放大到128×128或者上了ResNetCPU推理一帧要100毫秒报警总是晚半拍。原因把精力花在了模型复杂度上忽略了系统调度。解决第一检测和分类分开跑人脸检测每3帧做一次眼部裁剪复用上一次的人脸框足够用第二模型导出成ONNX开启int8量化单帧推理能压到10毫秒以内第三报警判定只看关键帧不用每帧都跑CNN运动平滑后采样频率可以降到5到10帧每秒对“闭眼”这种慢变化信号完全够。6. 上线前验证用一段真实驾驶视频把阈值调稳6.1 离线的回归测试方法先找一个下午用手机支架录一段10到15分钟的真实驾驶视频覆盖白天、逆光、停车聊天、正常驾驶。然后人工给视频打标签第几秒到第几秒是闭眼犯困第几秒到第几秒是在打哈欠。打标签不用逐帧以1秒粒度就够。接着写一个脚本跑同样的推理流程输出每次报警的时间戳和手工标签对齐统计指标计算方式合格参考漏报率漏报的疲劳事件数/标注疲劳事件总数低于20%误报次数正常驾驶时触发报警的次数10分钟不超过1次平均报警延迟闭眼开始到报警触发的时间差小于1秒这个回归测试脚本留在项目目录里毕设论文的“系统测试”章节能写出真实数据比“经测试系统运行良好”这种空话有说服力得多。代码层面它就是一个循环跑视频文件、记录报警时间戳的Python脚本不需要UI越简单越不容易出bug。6.2 阈值调整的最后一步调参时记住一个顺序先定“最晚报警时间”再倒推连续帧阈值。高速场景下闭眼超过0.8秒就必须报警如果系统每秒处理10帧那就是连续8帧闭眼触发城市低速场景可以放宽到1.5秒。误报多就提高闭眼概率阈值和连续帧数但每提高一个点都要拿回归测试重新跑一遍别拍脑袋改一个参数就上线。我的个人习惯是把所有阈值集中在一个配置字典里回测脚本直接读字典。这样调参时不用改代码毕设答辩被问到“阈值为什么这么设”我能直接报出回归测试里对应的一组对比数据。我曾经为了追求零误报把连续帧阈值调到30帧结果模拟测试时司机都已经开始点头了报警还没响。疲劳检测的核心目标是“在事故发生前把人叫醒”不是“安静不打扰”这个优先级千万别弄反。希望帮到你。本文还有配套的精品资源点击获取