毕设分享 机器视觉网络课堂专注检测系统
1 前言今天学长向大家介绍一个机器视觉的毕设项目基于机器视觉网络课堂专注检测系统项目运行效果毕业设计 机器视觉网络课堂专注检测系统项目分享见主页任意置顶文章2 相关技术2.1CNN简介卷积神经网络(CNN)是由多层卷积结构组成的一种神经网络。卷积结构可以减少网络的内存占用、参数和模型的过拟合。卷积神经网络是一种典型的深度学习算法。广泛应用于视觉处理和人工智能领域特别是在图像识别和人脸识别领域。与完全连接的神经网络相比CNN输入是通过交换参数和局部感知来提取图像特征的图像。卷积神经网络是由输入层、卷积层、池化层、全连接层和输出层五层结构组成。其具体模型如下图所示。(1)输入层(Input layer)输入层就是神经网络的输入端口就是把输入传入的入口。通常传入的图像的RGB三个通道的数据。数据的输入一般是多维的矩阵向量其中矩阵中的数值代表的是图像对应位置的像素点的值。(2)卷积层(Convolution layer)卷积层在CNN中主要具有学习功能它主要提取输入的数据的特征值。(3)池化层(Pooling layer)池化层通过对卷积层的特征值进行压缩来获得自己的特征值减小特征值的矩阵的维度减小网络计算量加速收敛速度可以有效避免过拟合问题。(4)全连接层(Full connected layer)全连接层主要实现是把经过卷积层和池化层处理的数据进行集合在一起形成一个或者多个的全连接层该层在CNN的功能主要是实现高阶推理计算。(5)输出层(Output layer)输出层在全连接层之后是整个神经网络的输出端口即把处理分析后的数据进行输出。2.2 人脸识别算法利用dlib实现人脸68个关键点检测并标注关键代码importcv2# 加载人脸识别模型face_rec_model_pathdlib_face_recognition_resnet_model_v1.datfacerecdlib.face_recognition_model_v1(face_rec_model_path)# 加载特征点识别模型predictor_pathshape_predictor_5_face_landmarks.datpredictordlib.shape_predictor(predictor_path)# 读取图片img_pathstep1/image/face.jpgimgcv2.imread(img_path)# 转换为灰阶图片graycv2.cvtColor(img,cv2.COLOR_BGR2GRAY)# 正向人脸检测器将图像detectordlib.get_frontal_face_detector()# 使用人脸识别模型来检测图像中的人脸facesdetector(gray,1)# 使用特征点识别模型来检测人脸中的特征fori,faceinenumerate(faces):# 获取人脸特征点shapepredictor(img,face)2.3专注检测原理总体流程主要通过电脑摄像头去实时的抓拍学生当前的状态和行为不间断的采集学生上课时的面部表情和眼睛注视的方向利用CNN提取相应的特征数据并进行分析处理若对应输出的判断值大于设置的阈值时则认为学生在走神没有认真学习。并且对拍摄时间进行计时在界面上实时输出该学生在课堂上的有效学习时间和学生在课堂上专注时间的比例并进行存入表格中。眼睛检测算法基于dlib人脸识别68特征点检测、分别获取左右眼面部标志的索引通过opencv对视频流进行灰度化处理检测出人眼的位置信息。人脸特征点检测用到了dlibdlib有两个关键函数dlib.get_frontal_face_detector()和dlib.shape_predictor(predictor_path)。前者是内置的人脸检测算法使用HOG pyramid检测人脸区域的界限bounds。后者是用来检测一个区域内的特征点并输出这些特征点的坐标它需要一个预先训练好的模型通过文件路径的方法传入才能正常工作。使用开源模型shape_predictor_68_face_landmarks.dat可以得到68个特征点位置的坐标连起来后可以有如图所示的效果红色是HOG pyramid检测的结果绿色是shape_predictor的结果仅把同一个器官的特征点连线。通过计算眼睛的宽高比来确定专注状态基本原理计算 眼睛长宽比 Eye Aspect RatioEAR.当人眼睁开时EAR在某个值上下波动当人眼闭合时EAR迅速下降理论上会接近于零当时人脸检测模型还没有这么精确。所以我们认为当EAR低于某个阈值时眼睛处于闭合状态。为检测眨眼次数需要设置同一次眨眼的连续帧数。眨眼速度比较快一般1~3帧就完成了眨眼动作。两个阈值都要根据实际情况设置。关键代码# -*- coding: utf-8 -*-# import the necessary packagesfromscipy.spatialimportdistanceasdistfromimutils.videoimportFileVideoStreamfromimutils.videoimportVideoStreamfromimutilsimportface_utilsimportnumpyasnp# 数据处理的库 numpyimportargparseimportimutilsimporttimeimportdlibimportcv2defeye_aspect_ratio(eye):# 垂直眼标志XY坐标Adist.euclidean(eye[1],eye[5])# 计算两个集合之间的欧式距离Bdist.euclidean(eye[2],eye[4])# 计算水平之间的欧几里得距离# 水平眼标志XY坐标Cdist.euclidean(eye[0],eye[3])# 眼睛长宽比的计算ear(AB)/(2.0*C)# 返回眼睛的长宽比returnear# 定义两个常数# 眼睛长宽比# 闪烁阈值EYE_AR_THRESH0.2EYE_AR_CONSEC_FRAMES3# 初始化帧计数器和眨眼总数COUNTER0TOTAL0# 初始化DLIB的人脸检测器HOG然后创建面部标志物预测print([INFO] loading facial landmark predictor...)# 第一步使用dlib.get_frontal_face_detector() 获得脸部位置检测器detectordlib.get_frontal_face_detector()# 第二步使用dlib.shape_predictor获得脸部特征位置检测器predictordlib.shape_predictor(D:/myworkspace/JupyterNotebook/fatigue_detecting/model/shape_predictor_68_face_landmarks.dat)# 第三步分别获取左右眼面部标志的索引(lStart,lEnd)face_utils.FACIAL_LANDMARKS_IDXS[left_eye](rStart,rEnd)face_utils.FACIAL_LANDMARKS_IDXS[right_eye]# 第四步打开cv2 本地摄像头capcv2.VideoCapture(0)# 从视频流循环帧whileTrue:# 第五步进行循环读取图片并对图片做维度扩大并进灰度化ret,framecap.read()frameimutils.resize(frame,width720)graycv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)# 第六步使用detector(gray, 0) 进行脸部位置检测rectsdetector(gray,0)# 第七步循环脸部位置信息使用predictor(gray, rect)获得脸部特征位置的信息forrectinrects:shapepredictor(gray,rect)# 第八步将脸部特征信息转换为数组array的格式shapeface_utils.shape_to_np(shape)# 第九步提取左眼和右眼坐标leftEyeshape[lStart:lEnd]rightEyeshape[rStart:rEnd]# 第十步构造函数计算左右眼的EAR值使用平均值作为最终的EARleftEAReye_aspect_ratio(leftEye)rightEAReye_aspect_ratio(rightEye)ear(leftEARrightEAR)/2.0# 第十一步使用cv2.convexHull获得凸包位置使用drawContours画出轮廓位置进行画图操作leftEyeHullcv2.convexHull(leftEye)rightEyeHullcv2.convexHull(rightEye)cv2.drawContours(frame,[leftEyeHull],-1,(0,255,0),1)cv2.drawContours(frame,[rightEyeHull],-1,(0,255,0),1)# 第十二步进行画图操作用矩形框标注人脸leftrect.left()toprect.top()rightrect.right()bottomrect.bottom()cv2.rectangle(frame,(left,top),(right,bottom),(0,255,0),3) 分别计算左眼和右眼的评分求平均作为最终的评分如果小于阈值则加1如果连续3次都小于阈值则表示进行了一次眨眼活动 # 第十三步循环满足条件的眨眼次数1ifearEYE_AR_THRESH:# 眼睛长宽比0.2COUNTER1else:# 如果连续3次都小于阈值则表示进行了一次眨眼活动ifCOUNTEREYE_AR_CONSEC_FRAMES:# 阈值3TOTAL1# 重置眼帧计数器COUNTER0# 第十四步进行画图操作68个特征点标识for(x,y)inshape:cv2.circle(frame,(x,y),1,(0,0,255),-1)# 第十五步进行画图操作同时使用cv2.putText将眨眼次数进行显示cv2.putText(frame,Faces: {}.format(len(rects)),(10,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)cv2.putText(frame,Blinks: {}.format(TOTAL),(150,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)cv2.putText(frame,COUNTER: {}.format(COUNTER),(300,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)cv2.putText(frame,EAR: {:.2f}.format(ear),(450,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)print(眼睛实时长宽比:{:.2f} .format(ear))ifTOTAL50:cv2.putText(frame,SLEEP!!!,(200,200),cv2.FONT_HERSHEY_SIMPLEX,0.8,(0,0,255),2)cv2.putText(frame,Press q: Quit,(20,500),cv2.FONT_HERSHEY_SIMPLEX,0.7,(84,255,159),2)# 窗口显示 show with opencvcv2.imshow(Frame,frame)# if the q key was pressed, break from the loopifcv2.waitKey(1)0xFFord(q):break# 释放摄像头 release cameracap.release()# do a bit of cleanupcv2.destroyAllWindows()2.4 OpenCVOpenCV是计算机视觉中一个经典的数据库。支持多语言、跨平台、功能强大。其提供了一个Python接口用户可以在保证可读性和操作效率的前提下用Python调用C/C实现所需的功能。OpenCV是一个基于BSD许可证的跨平台计算机视觉库可以在Linux、windows和Mac OS操作系统上运行。它由一系列C函数和少量C类组成。同时它还提供了与Python、ruby、MATLAB等语言的接口实现了图像处理和计算机视觉中的许多通用算法。本项目中OpenCV主要是在图片的采集的图片的预处理方面使用通过操作界面中的按钮选项选择是否打开摄像头使用OpenCV来调用电脑摄像头来检测录像过程中的聚焦和人脸镜头的矫正等状态然后在摄像头的录像的视频流中抓取对应的人脸照片然后调用内部的函数对照片的尺寸和光线等进行矫正处理后传给神经网络进行特征值提取。3 实现效果项目运行效果毕业设计 机器视觉网络课堂专注检测系统项目分享见主页任意置顶文章

相关新闻

基于CNN联合学习的心脏MRI心室分割与疾病分类实战

基于CNN联合学习的心脏MRI心室分割与疾病分类实战

简介:本资源是一套面向医学图像分析初学者与深度学习实践者的完整项目代码包,聚焦心室区域精准分割与心脏病类型联合分类两大任务,采用CNN架构实现端到端联合学习,适用于高校课程设计、科研入门及AI医疗方向实践。压缩包共29个文件…

2026/11/2 16:50:24 阅读更多 →
上线不是终点:从数据一致性到可回滚,系统收尾阶段的工程清单

上线不是终点:从数据一致性到可回滚,系统收尾阶段的工程清单

一个项目最危险的时间点,不是上线前夜,而是上线之后的第一周。P31 是一个长期迭代的业务系统代号,这次复盘没有聚焦“从 0 到 1 写出功能”的过程,而是聚焦另一段更容易被忽略的路:从“能跑通”到“敢持续迭代”的漫漫…

2026/11/19 16:02:03 阅读更多 →
大疆司空2平台对接实践:WebHook/MQTT/RTMP链路详解

大疆司空2平台对接实践:WebHook/MQTT/RTMP链路详解

简介:本资源是面向无人机系统集成工程师与云平台开发者的实战型对接方案,聚焦大疆司空2平台与第三方系统的深度集成,解决遥测数据双向同步、任务指令下发、视频流实时转发等核心协同难题,适用于农业巡检、应急测绘、智慧城市等需多…

2026/11/7 10:07:15 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻