基于计算机视觉的目标检测与姿态分析实时防摔倒预警系统

简介本资源为基于计算机视觉的目标检测与姿态分析实时防摔倒预警系统课程设计资料包面向计算机、人工智能、物联网等专业在校学生与教师适用于课程设计、毕业设计、大作业及项目立项演示等场景。压缩包共1794个文件约230.34MB涵盖134个Python源码文件、344个C与408个hpp头文件、400个json配置、18个cu加速脚本及多个avi测试视频另附实验报告docx与说明文档完整呈现从模型推理到姿态判定的工程结构。项目代码经运行验证稳定可靠已有225人学习下载。读者可获取完整源码、实验报告、依赖配置与排错思路理解目标检测与人体姿态估计的融合逻辑并在此基础上进行二次开发扩展跌倒识别、行为分析等功能具备较高的学习借鉴与实战参考价值。1. 从一次深夜误报到防摔倒预警这套系统到底在做什么凌晨两点卫生间传来一声闷响老人倒地后无法自行起身直到早上才被家人发现——这类场景是很多做计算机视觉项目的人真正想解决的问题。标题里的「基于计算机视觉的目标检测与姿态分析实时防摔倒预警系统」拆开看就是三件事用目标检测把人框出来用姿态分析判断人体骨骼关键点的空间关系再用一套判定逻辑在摔倒发生的瞬间触发预警。它适合有 Python 基础、想做一个完整计算机视觉大作业或课程设计的人也适合想把检测和姿态两个模型串成实时流水线的开发者。整套方案的核心难点不在单个模型而在「检测框抖动、关键点漂移、判定阈值怎么定」这三件事上后面会逐层拆开讲。2. 目标检测与姿态分析的技术选型为什么是 YOLO 加关键点回归2.1 检测和姿态为什么不能用一个模型硬扛很多人第一反应是找一个端到端模型输入图像直接输出「摔倒/未摔倒」。这条路在小数据集上能跑通但一旦换场景就崩原因是它把「人在哪」和「人什么姿势」耦合在一起模型学到的往往是背景纹理而不是人体结构。常见做法是拆成两级第一级目标检测负责定位人体边界框第二级姿态分析在框内回归关键点最后用几何规则判定。这样拆的好处是每一级都能单独替换和调试检测模型换成更新版本时姿态模块不用动。YOLO 系列在课程设计里被大量使用不是因为它最准而是因为 Ultralytics 这套工具链把训练、验证、导出、推理的接口统一了改几行配置就能跑。姿态分析这边主流是自顶向下的两阶段方案先检测人再对每个人做单人关键点回归。COCO 的 17 关键点格式是事实标准鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右髋、左右膝、左右踝这套定义直接决定了后面判定逻辑怎么写。2.2 环境配置从零把依赖装干净课程设计翻车最多的地方不是算法是环境。Python 版本、PyTorch 版本、CUDA 版本三者对不上报错能让人查一晚上。我一般会先固定 Python 3.8 到 3.10 之间太新的版本有些轮子还没编好。# 创建独立环境避免污染系统 Python conda create -n fall_detect python3.10 -y conda activate fall_detect # 安装 PyTorchCUDA 11.8 对应 cu118没有 GPU 就用 cpu 版本 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 安装 Ultralytics 和 OpenCV pip install ultralytics opencv-python numpy这段命令的逻辑是先隔离环境再装深度学习框架最后装视觉工具库。参数上--index-url指向 PyTorch 官方轮子源比默认源快很多如果机器没有 NVIDIA 显卡把cu118换成cpu推理速度会慢但能跑通。装完后用python -c import torch; print(torch.cuda.is_available())验证返回 True 说明 GPU 可用。这一步没过后面训练全是白搭。2.3 用预训练模型跑通最小推理链路在训练自己的数据之前先用官方预训练权重跑一张图确认整条链路是通的。这一步能排除掉 80% 的环境问题。from ultralytics import YOLO import cv2 # 加载官方姿态估计预训练模型首次运行会自动下载权重 model YOLO(yolov8n-pose.pt) # 对单张图片推理conf 是置信度阈值iou 是 NMS 的 IoU 阈值 results model.predict(test.jpg, conf0.5, iou0.45, saveTrue) # 遍历结果打印每个人体的关键点坐标 for r in results: if r.keypoints is not None: # xy 形状为 (人数, 17, 2)2 是 x,y 坐标 print(r.keypoints.xy.shape)逻辑说明YOLO(yolov8n-pose.pt)加载的是 nano 版本的姿态模型体积小、速度快适合实时场景。conf0.5表示只保留置信度高于 0.5 的检测框调低会召回更多但误检增加iou0.45控制非极大值抑制的合并程度人多重叠时调高一点能减少漏检。r.keypoints.xy返回的是像素坐标后续判定逻辑全部基于这个张量。跑通这一步说明检测和姿态两个环节已经串起来了。3. 摔倒判定逻辑从关键点坐标到预警信号3.1 用宽高比和躯干角度做第一层判定拿到 17 个关键点后最直观的判据是人体边界框的宽高比。站立时框是竖长的摔倒后变成横宽或接近正方形。但光看宽高比会误判比如人蹲下、弯腰捡东西框也会变宽。所以需要叠加躯干角度用左右肩中点和左右髋中点连成一条线计算这条线与水平方向的夹角站立时接近 90 度摔倒时接近 0 度。import numpy as np def compute_torso_angle(kpts): # kpts 形状 (17, 2)索引 5/6 是左右肩11/12 是左右髋 shoulder (kpts[5] kpts[6]) / 2 hip (kpts[11] kpts[12]) / 2 dx shoulder[0] - hip[0] dy shoulder[1] - hip[1] # arctan2 返回弧度转成角度 angle np.degrees(np.arctan2(abs(dy), abs(dx))) return angle def is_fallen(kpts, bbox, angle_thresh45, ratio_thresh1.2): x1, y1, x2, y2 bbox w x2 - x1 h y2 - y1 ratio w / h if h 0 else 0 angle compute_torso_angle(kpts) # 宽高比大于阈值 且 躯干角度小于阈值两个条件同时满足 return ratio ratio_thresh and angle angle_thresh逻辑说明compute_torso_angle用肩中点和髋中点算躯干倾角np.arctan2比arctan稳定能处理 dx 为 0 的情况。is_fallen里两个阈值是经验值angle_thresh45表示躯干与水平夹角小于 45 度算躺倒ratio_thresh1.2表示框的宽比高还大。参数怎么调如果误报多把angle_thresh调小到 30如果漏报多调到 60。这两个值没有万能解必须拿自己场景的视频跑一遍看分布。3.2 加时间窗口过滤避免单帧误判单帧判定最大的问题是抖动。某一帧关键点飘了就触发预警这种系统没人敢用。工程上的做法是加一个滑动窗口连续 N 帧里有 M 帧判定为摔倒才真正报警。from collections import deque class FallDetector: def __init__(self, window15, trigger10): # 保存最近 window 帧的判定结果 self.history deque(maxlenwindow) self.trigger trigger def update(self, fallen_now): self.history.append(1 if fallen_now else 0) # 窗口内摔倒帧数达到 trigger 才报警 return sum(self.history) self.trigger逻辑说明deque(maxlenwindow)自动丢弃旧数据不用手动维护。window15对应约 0.5 秒30fps 下trigger10表示 15 帧里有 10 帧判定摔倒才报警。这两个参数决定了系统的灵敏度窗口越大越稳但延迟越高触发比例越高越不容易误报但可能漏掉快速摔倒。我一般先用 window15、trigger10 跑再根据实际视频调整。这个类还应该加一个「报警后冷却」逻辑否则会连续触发实际部署时在update返回 True 后重置 history 即可。3.3 把检测、姿态、判定串成实时流水线单张图跑通后要接摄像头或视频流做实时处理。核心是把每一帧的推理结果喂给判定器同时把可视化画出来。import cv2 from ultralytics import YOLO model YOLO(yolov8n-pose.pt) detector FallDetector(window15, trigger10) cap cv2.VideoCapture(0) # 0 是默认摄像头也可传视频文件路径 while cap.isOpened(): ret, frame cap.read() if not ret: break results model.predict(frame, conf0.5, verboseFalse) for r in results: if r.keypoints is None: continue for i, kpts in enumerate(r.keypoints.xy.cpu().numpy()): bbox r.boxes.xyxy[i].cpu().numpy() fallen is_fallen(kpts, bbox) if detector.update(fallen): cv2.putText(frame, FALL ALERT, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1.5, (0, 0, 255), 3) cv2.imshow(Fall Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()逻辑说明verboseFalse关掉每帧的日志输出否则控制台会刷屏。r.keypoints.xy.cpu().numpy()把张量转到 CPU 再转 numpyGPU 上直接转会报错。cv2.waitKey(1)里的 1 是毫秒等待保证窗口能刷新。这段代码在普通笔记本上跑 nano 模型能到 20 到 30 帧如果卡顿把模型换成yolov8n-pose.pt已经是最小的了再卡就是分辨率问题把输入帧 resize 到 640 宽。4. 避坑与排查那些让课程设计卡三天的坑4.1 关键点索引对不上判定全乱现象判定逻辑写完了但站着也报警躺着反而不报。原因COCO 17 关键点的索引是固定的鼻子 0、左眼 1、右眼 2、左耳 3、右耳 4、左肩 5、右肩 6、左肘 7、右肘 8、左腕 9、右腕 10、左髋 11、右髋 12、左膝 13、右膝 14、左踝 15、右踝 16。很多人凭感觉写索引把肩和髋搞反。解决在代码里用常量定义索引别写魔法数字。L_SHOULDER, R_SHOULDER 5, 6 L_HIP, R_HIP 11, 124.2 摄像头读到的第一帧是黑的推理直接崩现象cap.read()返回 True 但 frame 是 None或者尺寸为 0后面推理报错。原因摄像头刚打开时还没完成初始化第一帧经常是空的。解决读之前先判断frame is not None and frame.size 0或者连续读几帧丢弃前几帧。这个坑在 Windows 上尤其常见Linux 下好一些。4.3 多人场景下关键点串人现象画面里两个人判定结果互相干扰A 的摔倒触发了 B 的报警。原因r.keypoints.xy返回的是列表每个元素对应一个人但有人直接用r.keypoints.xy[0]只取第一个人。解决遍历所有人每个人的关键点和自己的 bbox 配对判定别跨人取数据。上面流水线里的for i, kpts in enumerate(...)就是干这个的。4.4 阈值调完这个视频好用换个视频就废现象在自己拍的视频上调好的角度阈值换到另一个房间或另一个摄像头就误报。原因摄像头安装角度不同透视关系变了同样的摔倒姿势在图像上的角度不一样。解决不要用绝对角度改用相对变化——记录人站立时的基准角度摔倒时角度相对基准的变化量超过阈值才判定。或者干脆上时序模型用 LSTM 或 ST-GCN 吃关键点序列让模型自己学动态特征但这超出课程设计的常规工作量了。4.5 报警延迟太高人已经爬起来了才响现象摔倒后两三秒才触发预警。原因滑动窗口的 window 设太大或者推理本身太慢导致帧率低。解决先测实际帧率window按帧率折算成时间保证窗口覆盖时间在 0.5 到 1 秒之间。如果帧率只有 10window15 就是 1.5 秒太长了。这时候要么降分辨率提帧率要么把 window 调到 8 左右。5. 进阶技巧用姿态序列做时序判定把误报压下去单帧加滑动窗口的方案能应付课程设计但真实场景里「坐下」「弯腰」「蹲下捡东西」这三种动作和摔倒的中间帧非常像纯几何规则很难区分。我后来改用的做法是把连续 30 帧的 17 个关键点坐标拉成一个序列送进一个轻量 LSTM 做二分类。特征不用原始坐标用相对坐标——以髋中点为原点所有关键点减去髋中点再除以肩髋距离做归一化这样对远近和位置不敏感。import torch import torch.nn as nn class FallLSTM(nn.Module): def __init__(self, input_dim34, hidden64, layers2): super().__init__() # input_dim 17 关键点 * 2 坐标 self.lstm nn.LSTM(input_dim, hidden, layers, batch_firstTrue) self.fc nn.Linear(hidden, 2) # 二分类摔倒/正常 def forward(self, x): # x 形状 (batch, seq_len, 34) out, _ self.lstm(x) # 取最后一个时间步的输出 return self.fc(out[:, -1, :])逻辑说明batch_firstTrue让输入形状是(batch, seq, feature)符合直觉。hidden64和layers2是轻量配置再大就容易过拟合因为摔倒数据集通常不大。训练数据可以自己拍正常走路、坐下、弯腰、蹲下、摔倒各录几十段每段切 30 帧。验证的时候重点看混淆矩阵坐下和弯腰的误报率是核心指标能压到 5% 以下这套方案就值得往产品方向推。我自己的习惯是任何判定逻辑上线前先拿一段「什么都没发生」的视频跑十分钟看误报次数。如果十分钟内误报超过两次这套参数就不能用。这个习惯帮我省掉了无数次在演示现场翻车的尴尬。希望帮到你。本文还有配套的精品资源点击获取