简介这套基于Python、OpenCV与Keras的实时手势识别系统源码面向对计算机视觉感兴趣的初学者和AI应用开发者尤其适合作为图像分类项目实践样板。项目整体识别准确率约96%支持自行录制并扩充手势数据集完整打通图像采集、背景处理、模型训练与实时预测链路从数据准备到模型应用均提供了可执行脚本降低了复现门槛。资源包共4991个文件其中4984张jpg图片为各手势的训练/测试样本另有4个Python脚本用于手势录制、模型训练、结果预测与准确率评估等环节并附有pyc文件与md说明文档压缩包大小22.23MB目录简洁易检索。目前已有1288人学习下载。借助项目提供的脚本即使不用录制也可基于已有数据集直接生成模型训练后自动得到结构图、准确率与损失曲线、混淆矩阵及.h5模型文件同时支持按手势查看预测准确率项目以开源形式发布代码结构清晰便于学习与二次开发是理解CNN视觉识别流程的完整落地案例。1. 实时手势识别系统让摄像头读懂你的手这套名为 CNN_Gesture 的实时手势识别系统核心链路并不复杂摄像头读取画面OpenCV 做图像预处理Keras 定义的 CNN 模型对每一帧手势做分类最后把结果实时画回画面。真正动手实践的人都知道难的不是训练一个识别模型而是让模型在摄像头前面稳定跑起来——我把这套工程从数据采集到实时推理完整过了一遍发现它把训练和推理的预处理逻辑统一了这是很多开源手势项目容易忽略的关键点。它适合谁刚入门想跑通第一个视觉深度学习项目的开发者或者要给演示设备、离线交互程序塞一个手势控制入口但又不想引入重型框架的人。整套工程按目录拆开数据采集、训练、推理三条链路独立改起来不会牵一发动全身。2. 整体架构拆解从摄像头帧到分类结果的数据流2.1 工程目录哪些文件负责什么这套工程的目录结构很清晰每个脚本都有自己的职责。我按实际跑通后的状态给出一份目录说明gesture_system/ ├── data/ │ ├── train/ │ │ ├── 0/ # 类别0握拳 │ │ ├── 1/ # 类别1张开五指 │ │ └── ... # 按编号继续分 │ └── val/ # 独立验证集按同样方式分目录 ├── models/ │ ├── gesture_model.h5 # 训练好的Keras模型 │ └── gesture_model.tflite # 转出的TFLite版本供优化用 ├── src/ │ ├── data_collect.py # 采集手势ROI样本 │ ├── preprocess.py # 前景提取与二值化工具 │ ├── train.py # 定义并训练CNN │ ├── predict.py # 实时推理主程序 │ └── utils.py # 共用预处理函数 ├── requirements.txt └── README.mddata_collect.py 负责把摄像头里的手部区域截取成 64x64 灰度图按类别存进 train 目录train.py 读取这些目录训练模型并保存predict.py 加载训练好的模型在摄像头画面里实时画框和标签。preprocess.py 里的函数被采集和推理两处调用保证训练和推理阶段用同一套预处理逻辑。这个设计是整个工程最值得借鉴的地方——很多项目训练时用原始ROI推理时突然加了滤波器结果模型直接失效。2.2 数据流八个环节的完整链路从摄像头帧到最终分类结果数据流可以拆成八个步骤摄像头读取一帧图像缩放到 640x480降低后续处理开销。用 MOG2 背景减除器得到前景掩码把静态背景和手势区域区分开。对前景掩码做形态学闭运算填补手指间的细小断裂。查找所有轮廓取面积最大的作为手部候选区域。从原帧中裁剪该区域对应的 ROI而不是从掩码里裁剪。将 ROI 转灰度、缩放到 64x64、归一化到 01。CNN 输出 6 个类别的概率分布。取 argmax 得到类别标签绘制边框和文字并显示。第 5 步是从原帧裁剪而不是从掩码裁剪原因很实际掩码里没有纹理信息而经过形态学处理后手指边缘往往被腐蚀直接裁剪掩码得到的 ROI 会丢失很多手势细节。训练样本采集时如果也从原帧裁剪输入分布就和推理完全一致了。2.3 依赖环境一套能直接跑起来的版本组合这套工程依赖 OpenCV、TensorFlow/Keras、NumPy 和 Matplotlib。版本搭配直接影响模型能不能加载我实际验证过下面这组组合没有踩到兼容性坑opencv-python4.8.1.78 numpy1.24.3 tensorflow2.13.0 keras2.13.1 matplotlib3.7.2安装时用虚拟环境隔离命令如下conda create -n gesture python3.9 conda activate gesture pip install -r requirements.txt注意TensorFlow 2.13 搭配 Python 3.9 是最稳的组合。Python 3.11 以上跑 TF 2.13 很可能遇到 numpy API 不兼容的问题报错往往发生在模型加载阶段排查起来比较费时间。3. 核心模块实现CNN 模型、数据集与训练脚本3.1 数据集采集先解决背景问题数据采集是决定整个项目上限的一步模型再强训练样本有问题也白搭。采集脚本用 MOG2 提取前景再把轮廓框出来供人工确认保存import cv2 import numpy as np import os classes [fist, palm, ok, peace, point, five] save_dir data/train os.makedirs(save_dir, exist_okTrue) cap cv2.VideoCapture(0) bg_sub cv2.createBackgroundSubtractorMOG2(history500, varThreshold50) label 0 # 当前要采集的类别按数字键0~5切换 while True: ret, frame cap.read() if not ret: break frame cv2.resize(frame, (640, 480)) fg_mask bg_sub.apply(frame) # 得到前景掩码 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) fg_mask cv2.morphologyEx(fg_mask, cv2.MORPH_CLOSE, kernel) contours, _ cv2.findContours(fg_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if contours: c max(contours, keycv2.contourArea) x, y, w, h cv2.boundingRect(c) if w * h 5000: # 过滤小噪点 roi frame[y:y h, x:x w] roi cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) roi cv2.resize(roi, (64, 64)) cv2.imshow(roi, roi) key cv2.waitKey(1) 0xFF if ord(0) key ord(5): label key - ord(0) if key ord(s): path os.path.join(save_dir, str(label)) os.makedirs(path, exist_okTrue) img_path os.path.join(path, f{len(os.listdir(path))}.jpg) cv2.imwrite(img_path, roi) cv2.imshow(frame, frame) if cv2.waitKey(1) 0xFF 27: break cap.release() cv2.destroyAllWindows()这段代码做三件事提取手部前景、框出 ROI 预览、按键保存样本。模型输入尺寸固定为 64x64所以保存前就把 ROI 缩放到位。MOG2 的 varThreshold 参数控制背景差异敏感度值越大对光线变化越不敏感值越小越容易把阴影也当成前景我一般取 50 左右比较稳。采集时每类建议存 300500 张手要覆盖不同角度、不同距离、不同拍摄方向。重点提醒这个脚本保存的是灰度 ROI不是原图。如果偷懒直接存原图CNN 会把背景色块当成特征换一个环境就翻车。3.2 标签编码与数据增强数据集准备好后用 flow_from_directory 读取目录子目录名会自动映射成 one-hot 标签不需要手动写编码逻辑from tensorflow.keras.preprocessing.image import ImageDataGenerator train_datagen ImageDataGenerator( rescale1.0 / 255, rotation_range15, # 随机旋转15度 width_shift_range0.1, # 水平平移10% height_shift_range0.1, # 垂直平移10% brightness_range[0.8, 1.2], zoom_range0.1, validation_split0.2 # 从训练集里切20%做验证 ) val_datagen ImageDataGenerator(rescale1.0 / 255) train_gen train_datagen.flow_from_directory( data/train, target_size(64, 64), color_modegrayscale, batch_size32, class_modecategorical, subsettraining, shuffleTrue ) val_gen val_datagen.flow_from_directory( data/train, target_size(64, 64), color_modegrayscale, batch_size32, class_modecategorical, subsetvalidation, shuffleFalse )关键点是验证集必须单独用只做归一化的 ImageDataGenerator不能把旋转、平移这些增强也套到验证头上否则验证集里的图片被改得面目全非评估结果就是自欺欺人了。rescale 把像素从 0255 压到 01卷积层对这种输入尺度收敛更平稳。flow_from_directory 的 color_mode 设为 grayscale会直接把图片读成单通道模型输入就不用自己再转一遍。数据增强参数里brightness_range 模拟不同光照条件旋转和平移模拟手部姿态变化。手势识别场景里手型变化比物体分类大得多增强强度可以稍微激进一点但 rotation_range 别超过 20 度否则翻转角度比真实手型还夸张反而把类别特征学歪。3.3 网络定义与训练收敛判断模型结构是经典的小型 CNN三个卷积块加全连接层输入 64x64 单通道图输出 6 个类别from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout from tensorflow.keras.optimizers import Adam model Sequential([ Conv2D(32, (3, 3), activationrelu, input_shape(64, 64, 1)), MaxPooling2D(pool_size(2, 2)), Conv2D(64, (3, 3), activationrelu), MaxPooling2D(pool_size(2, 2)), Conv2D(128, (3, 3), activationrelu), MaxPooling2D(pool_size(2, 2)), Flatten(), Dense(128, activationrelu), Dropout(0.5), Dense(len(classes), activationsoftmax) ]) model.compile(optimizerAdam(learning_rate1e-3), losscategorical_crossentropy, metrics[accuracy]) model.summary()64x64 输入经过三轮 3x3 卷积和 2x2 池化后特征图降到 8x8x128参数量约 65 万CPU 跑一个 epoch 也就十几秒。Dropout 放在全连接层之前按 0.5 概率随机丢弃神经元是防止过拟合最有效的手段——手势数据集如果每类只有三四百张这个 Dropout 几乎必备。训练时用 EarlyStopping 和 ModelCheckpoint 兜底避免跑满 40 个 epoch 反而把验证集精度拉低from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint callbacks [ EarlyStopping(patience8, restore_best_weightsTrue), ModelCheckpoint(models/gesture_model.h5, save_best_onlyTrue, monitorval_accuracy) ] history model.fit( train_gen, steps_per_epochtrain_gen.samples // 32, validation_dataval_gen, validation_stepsval_gen.samples // 32, epochs40, callbackscallbacks )训练完不要只看准确率重点是看 val_loss 曲线是否还在下降。如果 val_acc 停在 80% 附近来回抖多半是样本太单一或者类别之间有混淆如果 val_acc 一直涨但现场一测就崩大概率是数据采集阶段出了问题回第 3.1 节检查预处理流程。4. 实时推理链路OpenCV 采集、预处理与逐帧预测4.1 手部区域提取背景减除与前处理推理端的第一步是复用训练端的预处理函数。我直接把第 3.1 节采集脚本里的前景提取逻辑抽出来放到独立函数里import cv2 import numpy as np from tensorflow.keras.models import load_model model load_model(models/gesture_model.h5) bg_sub cv2.createBackgroundSubtractorMOG2(history500, varThreshold50) classes [fist, palm, ok, peace, point, five] def get_hand_roi(frame): fg_mask bg_sub.apply(frame) kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) fg_mask cv2.morphologyEx(fg_mask, cv2.MORPH_CLOSE, kernel) contours, _ cv2.findContours(fg_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return None c max(contours, keycv2.contourArea) x, y, w, h cv2.boundingRect(c) if w * h 5000: return None return x, y, w, h这个函数做了四件事背景减除、形态学闭运算、轮廓查找、面积过滤。area 阈值 5000 对应 640x480 画面里一个约 70x70 像素的区域手太远或者画面里根本没有手时直接返回 None省下后续的模型推理开销。推理端之所以必须复用训练端的整套预处理是因为 CNN 对输入分布极其敏感。如果训练样本是二值化后的灰度图推理时却喂原始灰度图模型看到的特征分布完全不同精度会断崖式下跌。实际开发中最常见的一类问题就是两端预处理不一致这一点我在接下来的避坑章节会专门展开。4.2 预测与结果绘制的主循环主循环的逻辑非常直白读帧、提 ROI、间隔帧预测、绘制结果。代码如下cap cv2.VideoCapture(0) frame_idx 0 last_label waiting pred_every 3 # 每3帧做一次推理 while True: ret, frame cap.read() if not ret: break frame cv2.resize(frame, (640, 480)) frame_idx 1 rect get_hand_roi(frame) if rect is not None: x, y, w, h rect roi frame[y:y h, x:x w] roi cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) roi cv2.resize(roi, (64, 64)) if frame_idx % pred_every 0: input_x roi.reshape(1, 64, 64, 1).astype(np.float32) / 255.0 probs model.predict(input_x, verbose0)[0] last_label classes[int(np.argmax(probs))] cv2.rectangle(frame, (x, y), (x w, y h), (0, 255, 0), 2) cv2.putText(frame, last_label, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2) cv2.imshow(gesture, frame) if cv2.waitKey(1) 0xFF 27: break cap.release() cv2.destroyAllWindows()主循环里最关键的细节是输入张量的构造roi 是 uint8 的灰度图先 reshape 成 (1, 64, 64, 1)再转 float32最后除以 255。这一步和训练时的 rescale 完全一致漏掉任何一环模型预测结果都会漂移。我见过有人直接把 uint8 数据喂给模型结果概率输出集中在某几个类别还以为是网络结构写错了其实是数值范围不对。预测结果先存到 last_label每 3 帧才更新一次。这里的优化逻辑是手势变化的速度远低于 30fps 的帧率连续帧之间的类别大概率不变省下的推理时间可以让画面更流畅。4.3 实时性能优化帧率与稳定性的权衡模型本身很小64x64 单张推理在 CPU 上大约 1020 毫秒真正的瓶颈反而在摄像头帧读取和图像预处理上。想让帧率再往上提第一个手段是模型预热模型第一次 predict 会触发 TensorFlow 图初始化耗时能到几百毫秒导致前几帧卡顿。提前用零张量跑一次import time _ model.predict(np.zeros((1, 64, 64, 1), dtypenp.float32), verbose0) t0 time.time() # 主循环里每次预测后 # fps 1.0 / (time.time() - t0)第二个手段是模型量化转 TFLite。如果后续要把这套系统放到性能更弱的设备上跑H5 模型的体积和速度都不理想可以转成 TFLiteimport tensorflow as tf converter tf.lite.TFLiteConverter.from_keras_model(model) tflite_model converter.convert() with open(models/gesture_model.tflite, wb) as f: f.write(tflite_model)转出来的 TFLite 模型大约只有 H5 的三分之一体积换上 TensorFlow Lite 解释器后推理速度能提升一倍以上。这套工程的主程序还是用 H5 模型跑但把 TFLite 版本作为可选优化项留给二次开发算是比较务实的架构取舍。5. 避坑与排查采集、训练、推理三个环节的翻车现场5.1 数据采集阶段的坑现象训练时准确率轻松到 95%一到摄像头前实测就乱猜换了背景更是全盘崩掉。原因是采集样本时没有走背景减除链路直接存了带背景的原始ROICNN 把桌面颜色、衣袖纹理当成了手势特征模型学到的是场景而非手。解决方法是把第 3.1 节的前处理函数引入采集脚本保存每个样本前用弹窗肉眼确认 ROI 里只有手势如果条件允许换三四个不同背景采集逼模型学会手势本身。现象某几类样本数量明显多于其他类模型总把新输入判成样本多的类别典型的类别不平衡。原因是采集时按住保存键连拍连续帧几乎一模一样相当于同一个样本被重复计了几十次模型被少数类带偏。解决方法是保存时设计丢帧逻辑比如每 10 帧才允许保存一张并且每个类别控制到同一量级300 张就 300 张不要凑数。5.2 训练阶段的坑现象在训练的电脑上加载 H5 模型一切正常换一台电脑 load_model 直接报错提示 Unknown layer 或者无法识别 ops。原因是 TensorFlow 2.x 的 H5 格式在不同小版本间并不完全兼容训练环境和推理环境版本劈叉了。解决方法是严格锁版本requirements.txt 里那组版本号就是为这个准备的如果模型要跨机器部署优先保存为 SavedModel 或者转 TFLite这两个格式的兼容性比 H5 好得多。现象训练时 val_acc 稳定在 98%真实场景推起来经常误判尤其某个手势换着力方向就不认。原因是验证集划分用的是 validation_split 随机切分同一段视频的连续帧同时进了训练集和验证集数据泄漏让验证曲线成了漂亮的假象。解决方法是验证集按采集会话独立划分采集完一批素材后把每个类别最后 20% 的文件单独复制到 data/val 目录确保同一个连贯手势序列不会横跨两个集合。5.3 实时推理阶段的坑现象画面里手势没变类别标签却在两个手势之间来回横跳看起来像在抖。原因是 softmax 输出的两个类别概率都在 0.5 附近argmax 对微小扰动太敏感相邻几帧的噪声一影响就跳变。解决方法是给预测结果加一个滑动窗口投票保留最近 5 帧的预测类别取众数作为最终输出或者要求连续两帧判定同一类别才更新标签用时间连续性换稳定性。这个技巧对任何实时分类系统都通用尤其适合像手势这种类别间视觉差异不大的任务。6. 二次开发思路扩手势、换模型、做回归验证扩手势类别是这套工程最常见的改动需求。操作不复杂在 data/train 下新建一个类别目录用采集脚本按新的数字编号继续采集然后修改 classes 列表把模型输出层的类别数从 len(classes) 自动适配即可。值得提醒的是新增类别前先确认它与现有类别是否容易混淆比如 OK 和 pinched 这类只有细微差异的手势对 64x64 输入尺寸的小型 CNN 来说区分难度很大需要额外补充针对性样本。如果发现模型容量不够替换骨干网络是性价比最高的路线。常见做法是把前面的卷积堆叠替换成预训练的 MobileNetV2 或 EfficientNet-Lite保留全局池化和输出层做微调。导入 tf.keras.applications 里的模型再在顶层接 Dense 和 Dropout输入尺寸改为 96x96 或 128x128。这种迁移学习方案能用更少的轮次达到比自建 CNN 更好的精度代价是模型体积从几 MB 涨到十几 MB。改完任何环节必须做一次回归验证别直接开摄像头。手动看一眼只能说“好像准了”但无法量化改动是变好还是变坏。我在工程里固定放了一个验证脚本遍历 data/val 目录做批量预测输出混淆矩阵import os import numpy as np from tensorflow.keras.models import load_model from tensorflow.keras.preprocessing.image import load_img, img_to_array model load_model(models/gesture_model.h5) real, pred [], [] for cls_dir in range(6): folder fdata/val/{cls_dir} for fname in os.listdir(folder): img load_img(os.path.join(folder, fname), color_modegrayscale, target_size(64, 64)) arr img_to_array(img).reshape(1, 64, 64, 1).astype(np.float32) / 255.0 pred.append(int(np.argmax(model.predict(arr, verbose0)[0]))) real.append(cls_dir) # 打印混淆矩阵哪两类容易混一目了然 for i in range(6): row [f{sum(1 for r, p in zip(real, pred) if r i and p j):3d} for j in range(6)] print( .join(row))这个脚本不需要摄像头也不依赖 GUI 环境任何改动之后先跑它比开摄像头肉眼观察可靠得多。注意验证集的图片要和训练时保持同一套预处理读图时直接固定 target_size 和 color_mode避免自己写裁剪逻辑引入偏差。从那以后我每次改网络结构或者换设备环境都强制先走一遍这个回归脚本再打开摄像头做实测两个结果对上了才确认这个版本可以继续用。希望帮到你。本文还有配套的精品资源点击获取