简介这是一套基于深度学习和PyQt5的行人识别检测计数系统由大四毕业设计项目整理而成经导师指导并获99分高分评审。系统以CenterNet为检测核心覆盖数据划分、模型训练、实时检测、计数统计与GUI交互等完整流程适合计算机相关专业学生用于毕业设计、课程设计或期末大作业也适合希望动手实战深度学习的入门与进阶学习者。资源包共34个文件整体约683MB包含19个Python源码脚本涵盖数据预处理、模型训练、预测及界面逻辑同时提供训练好的H5模型权重、配置文件、字体文件、示例图片、标注数据及README说明文档便于快速启动和二次开发。已有110人学习下载。对需要实际项目练手或毕设参考的读者而言这份完整源码与模型能够显著降低搭建环境门槛快速理解基于深度学习的行人检测计数实现细节。1. 行人识别检测计数项目的真实工程量从模型到桌面应用一次跑通每年毕业季都有大量学生选择“深度学习PyQt5”这套组合做行人识别检测计数系统因为它兼顾了算法含量与界面完成度是少数能同时展示模型能力和工程能力的选题。但真正动手后你会发现最难的不是训练模型而是把模型、视频流、计数逻辑和桌面界面拼成一个稳定运行的完整系统——很多人卡在环境配置、模型加载崩溃、界面卡死这些与算法无关的环节上。这篇笔记按我实际做过的一套行人识别检测计数系统的方案展开从技术选型、推理链路、界面集成到常见翻车点逐一拆解适合准备做同类毕设、或者想把检测模型接到桌面应用里的开发者。2. 技术选型与系统架构先定模型再定界面避免毕设后程返工2.1 检测模型选型单阶段检测器是毕设场景的稳妥起点行人识别检测计数的核心算法选型决定整个项目的上限。当前主流方案集中在两类两阶段检测器以候选区域生成加分类回归为特征精度高但推理速度偏慢单阶段检测器直接把目标框回归和分类合一速度优势明显在 GPU 上跑实时视频流毫无压力。做桌面应用建议优先考虑单阶段检测器因为你的界面需要实时刷新检测结果摄像头画面每秒 20 帧以上才有演示效果两阶段模型在 CPU 或入门级 GPU 上很容易把帧率拖到个位数。具体实现时基于 YOLO 系列结构的检测器是常见选择。第一批模型的公开权重可以直接用于行人类别的推理也可以用行人数据集微调。第二批模型结构更灵活导出和部署路径更平滑适合需要折腾界面与算法的场景。这里不用纠结具体某个版本号关键是把握一个原则有官方预训练权重、能导出为通用推理格式、Python 调用接口稳定。满足这三条的检测模型都能作为你的主干网络。2.2 计数策略选型检测加跟踪才是“数人头”的正确组合很多人误以为计数就是数当前帧里有几个目标框做完才发现这不叫计数叫统计。真正意义上的行人计数有两种主流形态一种是统计视频中一段时间内经过某个区域的总人数另一种是统计画面中实时存在的人数。前者需要跨帧追踪行人并为每个行人分配唯一 ID后者只需要逐帧检测框数量。做毕设建议两种都实现代码量增加不多但答辩时能展示的能力立刻不一样。跨帧追踪的常见做法是检测加轻量跟踪。每帧先用检测模型输出行人框再把当前帧的框与上一帧的已知目标做 IOU 匹配匹配成功则沿用旧 ID失败则分配新 ID。这个方案没有额外训练成本纯 Python 实现也就一两百行逻辑但足以让计数具备“谁是新进入的人”的判断能力。更复杂的深度跟踪算法在这里是加分项而非必选项我一般建议先跑通简单方案时间富余再升级。2.3 系统整体架构模型推理、业务逻辑、界面展示三层分离把代码组织成三层结构是你后期不返工的关键。第一层是模型推理层负责加载权重、预处理图像、执行检测、输出目标框和置信度第二层是业务逻辑层负责跟踪、计数、统计结果、生成图表数据第三层是界面层负责显示视频帧、绘制检测框、展示计数结果、接收用户交互指令。这三层如果全部搅在一个 Python 文件里前期跑通快后期改一个计数的阈值都可能牵连界面崩溃。比较好的分组方式是detector模块管模型推理tracker模块管目标跟踪与计数main_window模块管 PyQt5 界面utils模块放公共函数。模块之间的通信通过接口函数完成界面层完全不知道模型内部是 YOLO 还是别的结构这样你后面换检测模型时只需要重写detector模块。这个分离方式几乎适用所有检测类毕设项目不局限在行人场景。3. 模型推理与计数核心从权重文件到“数人头”的代码链路3.1 环境配置把 GPU 推理环境一次装对深度学习环境配置是新手第一个拦路虎也是最容易消耗时间的环节。我习惯用 conda 建独立环境避免把系统 Python 弄乱。下面是一套能覆盖多数检测模型推理需求的安装命令序列conda create -n ped_detect python3.9 -y conda activate ped_detect pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install pyqt5 opencv-python numpy pillow matplotlib参数说明Python 版本不用追新3.9 对 PyQt5 和各类深度学习库的兼容性比较稳定torch和torchvision的版本要配对建议直接查官方对应表不配对会出现torchvision导入即报错的经典问题--index-url指定 CUDA 11.8 的预编译版本如果你的显卡驱动较新也可以换成cu121对应的链接。装完先跑一句python -c import torch; print(torch.cuda.is_available())输出True再继续否则后面每一步都可能踩雷。PyQt5 的安装没有想象中复杂最常见的失败原因是 pip 源里没有对应平台的 wheel 包。如果你用 Python 3.11 及以上版本装 PyQt5 报错可以试试加--user参数或者直接改用 Python 3.9 环境。这类问题纯属“版本环境不对齐”不是代码问题遇到别硬扛换个环境可能就顺了。3.2 模型加载与推理写一个干净的检测器接口模型推理层是整个系统的心脏。下面是我常用的检测器类结构它封装了模型加载、图像预处理、推理、结果解析四件事import cv2 import numpy as np import torch class PedestrianDetector: def __init__(self, weights_path, devicecuda, conf_thres0.4, iou_thres0.45): self.device device if torch.cuda.is_available() else cpu self.model self._load_model(weights_path) self.conf_thres conf_thres self.iou_thres iou_thres def _load_model(self, weights_path): model torch.jit.load(weights_path, map_locationself.device) model.eval() return model def preprocess(self, frame): img cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) img cv2.resize(img, (640, 640)) img img.astype(np.float32) / 255.0 img np.transpose(img, (2, 0, 1)) img torch.from_numpy(img).unsqueeze(0).to(self.device) return img def detect(self, frame): tensor self.preprocess(frame) with torch.no_grad(): preds self.model(tensor) boxes, scores self._parse_preds(preds) return boxes, scores逻辑说明权重文件用 TorchScript 格式导出好处是不依赖原始模型定义代码界面工程跑起来后你不需要把训练用的整个项目带在身边preprocess里把 OpenCV 读取的 BGR 图像转成 RGB 并归一化到 0 到 1 区间这一步漏掉会导致检测结果完全乱掉_parse_preds负责把网络输出张量拆成目标框坐标x1, y1, x2, y2和置信度分数并按类别过滤只剩行人。这里有一个值得注意的参数conf_thres置信度阈值。行人检测场景建议设置在 0.4 到 0.5 之间太低会把路人误检成行人太高会漏掉被遮挡的人。实际调优时你可以做一个带滑动条的小工具实时观察不同阈值下检测框的变化比盲猜参数要高效得多。3.3 跟踪与计数用 IOU 匹配给每个行人一个身份检测模型只能给出“这一帧哪里有行人”计数系统需要回答“视频里一共有多少个不同的人经过”。两者之间的桥梁是跟踪。下面是一个基于 IOU 匹配的简化跟踪器它能给每个检测到的行人分配稳定 ID并统计进入画面的总人数class TrackState: def __init__(self, box, track_id): self.box box self.track_id track_id self.miss_count 0 self.is_counted False class SimpleTracker: def __init__(self, max_miss15, iou_threshold0.3): self.tracks {} self.next_id 0 self.max_miss max_miss self.iou_threshold iou_threshold self.total_count 0 def iou(self, box1, box2): x1, y1 max(box1[0], box2[0]), max(box1[1], box2[1]) x2, y2 min(box1[2], box2[2]), min(box1[3], box2[3]) inter max(0, x2 - x1) * max(0, y2 - y1) area1 (box1[2] - box1[0]) * (box1[3] - box1[1]) area2 (box2[2] - box2[0]) * (box2[3] - box2[1]) return inter / (area1 area2 - inter 1e-6) def update(self, detections): matched_track_ids set() for det in detections: best_id None best_score self.iou_threshold for track_id, track in self.tracks.items(): score self.iou(track.box, det) if score best_score: best_id track_id best_score score if best_id is not None: self.tracks[best_id].box det self.tracks[best_id].miss_count 0 matched_track_ids.add(best_id) else: new_id self.next_id self.next_id 1 self.tracks[new_id] TrackState(det, new_id) self.total_count 1 matched_track_ids.add(new_id) for track_id in list(self.tracks.keys()): if track_id not in matched_track_ids: self.tracks[track_id].miss_count 1 if self.tracks[track_id].miss_count self.max_miss: del self.tracks[track_id] return self.total_count逻辑说明iou方法计算两个目标框的交并比值越大说明当前帧检测框与历史轨迹越可能是同一个人update方法遍历当前帧的全部检测框为每个框寻找匹配度最高的旧轨迹匹配不上就创建新 IDmiss_count记录轨迹连续多少帧没有匹配上超过max_miss就删除这样可以清掉已经离开画面的人。判定“新进入一个人”的唯一条件是创建新 IDtotal_count随之加一这比数检测框数量靠谱得多。跟踪器的两个参数需要按实际场景调整。iou_threshold控制匹配的严格程度行人密集场景建议调低到 0.25稀疏场景可以提高到 0.4max_miss控制在丢失目标多少帧后判定该目标已离开一般设置在 12 到 20 帧之间太小会造成同一人多计一次太大画面下方会积压大量无效轨迹。这套参数我调了整整一个晚上才找到适合教堂门口密集人流的值属于深度学习项目里典型的“参数玄学”只能靠实验积累感觉。3.4 区域计数在指定区域内统计实时人数经过式计数解决“一共来了多少人”还有一个常见需求是区域计数。比如监控某个门口统计当前在区域内活动的人数。实现思路是在画面上画一个多边形区域检测框中心点落在区域内且轨迹未离开的就计为区域内行人。这个逻辑叠加在跟踪器之上def point_in_polygon(point, polygon): x, y point n len(polygon) inside False for i in range(n): x1, y1 polygon[i] x2, y2 polygon[(i 1) % n] if (y1 y) ! (y2 y): x_cross (x2 - x1) * (y - y1) / (y2 - y1) x1 if x x_cross: inside not inside return inside算法逻辑采用射线法从目标点向水平方向发出一条射线射线与多边形边界的交点数量为奇数则点在多边形内偶数则在外部。代码里(y1 y) ! (y2 y)判断点是否在某条边的 y 坐标范围内x_cross计算交点横坐标。这个函数说不上优雅但它是计算几何里最可靠的点包含判断比直接比较坐标大小要通用得多。4. PyQt5 界面集成相机、视频与模型的实时协作4.1 界面布局与功能分区别把你的代码挤在一个文件里PyQt5 界面是这个项目的一张脸答辩时老师第一眼看到的就是这个窗口。布局设计建议遵循左视频右面板的结构左侧大区域显示视频画面和检测框叠加右侧用垂直布局放置功能按钮、下拉框、计数标签。视频区域不小于 640 乘 480否则检测框文字挤在一起看不清楚。import sys from PyQt5.QtWidgets import QMainWindow, QLabel, QPushButton, QVBoxLayout, QHBoxLayout, QWidget, QComboBox from PyQt5.QtGui import QImage, QPixmap from PyQt5.QtCore import QTimer界面里组件不宜过多核心就五样视频显示标签、检测开关按钮、视频文件选择按钮、摄像头切换下拉框、实时计数标签。其他功能比如导出统计图、调整置信度阈值放到菜单栏里做二级入口避免主界面密密麻麻。这里常犯的毛病是一股脑把功能堆到主窗口导致代码上千行但每一段都没法测试后期调试变成灾难。4.2 多线程处理让界面不卡死的核心设计PyQt5 初学者最容易踩的坑是把模型推理直接写在界面线程里结果视频一启动窗口就无响应。深度学习推理一次要几十毫秒加上视频解码和绘图主线程被阻塞完全卡死。正确做法是把视频读取和模型推理放进工作线程通过信号把处理完的图像帧传回主线程绘制。import cv2 from PyQt5.QtCore import QThread, pyqtSignal class VideoThread(QThread): frame_ready pyqtSignal(object) count_updated pyqtSignal(int) def __init__(self, detector, tracker, source_path0): super().__init__() self.detector detector self.tracker tracker self.source_path source_path self.is_running True def run(self): cap cv2.VideoCapture(self.source_path) while self.is_running: ret, frame cap.read() if not ret: break boxes, scores self.detector.detect(frame) total self.tracker.update(boxes) for box, score in zip(boxes, scores): x1, y1, x2, y2 [int(v) for v in box] cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(frame, fP{score:.2f}, (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) self.frame_ready.emit(frame) self.count_updated.emit(self.tracker.total_count) cap.release() def stop(self): self.is_running False self.wait()信号与槽是 PyQt5 线程通信的核心机制frame_ready信号携带处理完成的图像帧对象主线程收到后直接刷新显示count_updated信号携带最新的计数值主线程收到后更新界面标签。这里有个细节cv2.rectangle和cv2.putText画图要在工作线程里完成因为图像传入主线程后再叠加文字耗时操作又会卡界面。启动线程时注意不要反复创建新实例。切换视频源的正确做法是停止旧线程、释放解码器、再创建新线程启动否则 OpenCV 的捕获句柄会泄漏跑几段视频后内存占用直线飙升。4.3 图像格式转换OpenCV 到 Qt 显示的关键桥梁OpenCV 的图像格式是 BGR 排列的 NumPy 数组PyQt5 的QLabel显示需要QImage对象。这个转换是固定写法但不少人在这里翻车def cv2_to_qimage(self, frame): h, w, ch frame.shape bytes_per_line ch * w qimage QImage(frame.data, w, h, bytes_per_line, QImage.Format_RGB888) return qimage.copy() def display_frame(self, frame): qimage cv2_to_qimage(frame) pixmap QPixmap.fromImage(qimage) self.video_label.setPixmap(pixmap.scaled( self.video_label.width(), self.video_label.height(), Qt.KeepAspectRatio))逻辑说明QImage构造时传frame.data指向的是原始数组的内存地址如果直接返回qimage而不调用copy()原始数组一旦被垃圾回收图像内容就变成随机噪声这是经典幽灵 Bugscaled按标签控件的尺寸等比缩放避免图像被拉伸变形。颜色通道顺序务必确认是 RGB 格式如果显示出来人和背景颜色颠倒检查是否漏了cv2.cvtColor这步。4.4 置信度阈值控件用滑动条实时观察检测效果固定阈值调试很痛苦因为你改完参数要重启整个界面才能看到效果。我习惯在界面加一个置信度阈值滑动条实时把值传给检测器class ThresholdSlider(QWidget): def __init__(self, on_change): super().__init__() layout QVBoxLayout() self.slider QSlider(Qt.Horizontal) self.slider.setRange(20, 80) # 对应 0.20 到 0.80 self.slider.setValue(40) self.slider.valueChanged.connect(on_change) layout.addWidget(self.slider) self.setLayout(layout)槽函数里把滑块数值除以 100 更新到检测器的conf_thres成员变量即可。这个控件在答辩时可以现场演示不同阈值下检测框数量的变化属于“花了半小时实现、答辩加两分”的典型功能强烈建议保留。注意滑块范围的上下限低于 0.2 行人检测结果基本是满屏乱框高于 0.8 漏检严重这个范围足够展示参数变化趋势了。5. 避坑指南环境搭建到运行维护的五个高频问题排查5.1 PyQt5 安装失败pip 报错找不到合适的版本现象执行pip install pyqt5时提示ERROR: No matching distribution found for pyqt5或者编译过程报错中断。常见于 Python 版本过新、系统缺少依赖库的情况。原因PyQt5 的预编译 wheel 包没有覆盖所有 Python 版本某些新版本 Python 没有对应的 Qt 构建产物。解决优先把 Python 环境切换到 3.8 到 3.10 区间如果因为其他依赖不能换版本改用pip install pyqt5 --only-binary :all:强制只拉二进制包或者换到 conda 环境用conda install pyqt5让 conda 自己解析兼容版本。曾经见过有人在 Windows 上折腾了一下午装不好 PyQt5换了个 3.9 的 conda 环境三分钟解决这类问题多数不是技术难度问题是环境清洁度问题。5.2 模型推理检测不出行人黑屏但有置信度输出现象程序不报错视频正常播放但检测框一个也不出或者只在角落出现少量低置信度框。原因之一是图像预处理与训练时不匹配最常见的两个坑忘了把 BGR 转 RGB以及输入尺寸与模型期望不一致。原因之二是权重文件本身是 COCO 全类别训练的输出张量里类的索引不是 0你解析时可能取了错误的类别位。解决先打印输出张量的 shape 和内容确认类别维度再检查预处理流程是否逐步对齐最后用小图测试单帧推理逐步定位问题出在哪个环节。这种问题按“现象二分法”排查比随机改代码高效得多。5.3 界面卡死无响应视频一启动窗口就白屏冻结现象点击“开始检测”后整个窗口变成无响应状态Windows 会弹出“进程未响应”提示。原因视频解码、模型推理都在 UI 主线程执行主线程被占用后无法处理窗口重绘事件。解决把视频读取和推理逻辑移到 QThread 工作线程主线程只负责接收信号更新 UI 界面。检测一下你的代码里run方法内部有没有直接调用self.video_label.setPixmap之类操作有就是线程错误使用。另外要确认线程对象在程序退出时被正确stop()否则 Python 进程可能无法正常退出表现为窗口关闭但进程还在后台占着摄像头。5.4 摄像头无法打开返回 False 且程序不退出现象本地视频文件检测一切正常切到摄像头后cap.read()一直返回False或者干脆VideoCapture构造返回空对象。原因摄像头被其他程序占用、索引号不对、OpenCV 版本与摄像头驱动不兼容。解决先用cv2.VideoCapture(0)单独测试摄像头是否能用逐次数 1、2、3 排除索引问题确认系统相机权限已开放如果用的是笔记本自带摄像头尝试cv2.CAP_DSHOW作为后端参数传入构造函数有时默认后端在 Windows 下访问不了某些摄像头。注意释放顺序旧线程的cap.release()未执行前新线程无法打开同一个设备切视频源时先完整停止旧线程再启动新线程。5.5 标记工具安装不上导致数据集白标注现象准备用自己的数据集微调模型或做验证时标注工具安装阶段就卡住尤其是安装过程要求装 PyQt5 但系统环境与软件包冲突。原因标注工具依赖的图形界面库版本与当前环境不兼容。解决为标注单独建一个 conda 环境安装不要和模型推理环境混在一起如果安装始终失败直接用网上公开的行人检测数据集验证模型效果就行毕设并不强制要求必须自己标注数据。数据集质量对检测效果的边际影响远小于环境是否装得通对进度的边际影响别在标注环节耗尽时间。6. 从“能跑”到“高分”精度验证、场景适配与打包交付6.1 用定量指标说明你的系统“是有效的”答辩时最有力的陈述不是“界面很好看”而是“我的模型在这个场景下的平均精度达到多少”。对检测系统通常关心平均精度均值mAP和召回率前者衡量检测框定位与分类的综合准确度后者回答“真实行人里有多少被找出来了”。验证方法很简单准备几十张带标注的测试图用你的检测器推理把预测框与标注框做 IOU 匹配统计超过阈值的预测框占比。不需要写复杂的评估框架自己实现几十行也能得到可信数据关键是测试图集要覆盖白天、逆光、遮挡、密集人流的真实场景。6.2 三种视频源的接入方式让现场演示不冷场项目演示环节最忌讳只放一段固定视频。我的经验是至少准备三个输入入口本地视频文件、实时摄像头、图片文件夹。本地视频用于稳定展示计数过程摄像头用于互动演示图片文件夹用于快速展示多场景效果。图片文件夹处理逻辑最简单遍历文件夹里每张图执行检测并绘制框计数逻辑退化为“当前帧检测框数量”但适合展示模型对不同场景的适应能力。6.3 打包交付的注意事项别让模型权重成为运行负担项目交付通常要求能在一台没有 Python 环境的机器上演示。常见做法是用 PyInstaller 打包成可执行文件但有几个问题必须提前处理。模型权重文件和 Python 代码要分离打包把权重放进资源目录随程序一起分发不要试图把几百兆的权重直接塞进单文件可执行包否则启动时解压慢到怀疑人生。配置文件如类别名称表、阈值参数单独放一个外部配置文件方便在机器上现场调参而不用重新打包。另外 PyInstaller 打包 PyQt5 项目要在打包命令中显式包含 Qt 平台插件常见翻车现象是打包后窗口能启动但图像显示区域黑屏大概率就是插件没打进包里。我一般禁掉控制台窗口输出把日志写到文件里排查问题这样交付的成品更干净。这套方案的完成度如果做到检测稳定、计数准确、界面流畅这三点在毕设体系里已经属于第一梯队。也希望你在实际跑这套系统的过程中能跳出一个“为了交差而做”的心态去试着调一调跟踪器的参数看看不同阈值下 IOU 匹配的行为变化——毕竟这些细节才是你在答辩中被追问时真正站得住的底气。希望这篇笔记能帮你少踩几个坑把精力花在真正值得钻研的地方。本文还有配套的精品资源点击获取