简介本资源面向深度学习与计算机视觉方向的开发者、学生及研究人员提供一套基于Python与PyTorch的花卉图像分割识别完整项目核心采用YOLOv11算法实现目标检测与图像分割并集成PyQt界面支持摄像头实时识别。压缩包共726个文件约42.15MB包含285张jpg图像、279个txt标注、139个json配置、11张png、4个pt权重、3个yaml及3个py脚本覆盖数据集、训练配置与模型权重等完整环节。项目按01划分数据集、02模型训练、03PyQt界面识别三个脚本组织流程清晰便于复现从数据预处理到实时推理的全过程。已有208人学习适合希望掌握YOLOv11分割实战、理解深度学习项目落地流程的读者参考也可作为课程设计或科研原型的基础模板。1. 花卉图像分割识别从数据集到 PyQt 界面的完整落地路径花卉识别这件事听起来像是入门级 Demo但真要做到「分割 识别 摄像头实时 桌面界面」四件套齐全中间踩的坑比想象中多得多。我最初接触这个方向时以为拿个 YOLO 权重跑几张图就完事了结果发现花卉数据集的标注格式五花八门、分割掩码和检测框混在一起、摄像头推理帧率掉到个位数、PyQt 界面和推理线程互相阻塞——每一个问题都够折腾半天。这套方案的核心思路是用 YOLO11 的分割模型做实例分割把每一朵花从背景里抠出来同时给出类别和位置再通过 PyQt 搭一个能调摄像头、能选图片、能实时显示分割结果的桌面工具。它适合两类人一是想系统走一遍「数据集准备 → 训练 → 推理 → 界面集成」全流程的开发者二是需要快速搭一个花卉识别原型做验证的工程人员。下面我会按实际落地的顺序把每一步的关键参数和容易翻车的地方讲清楚。2. 数据集准备与 YOLO11 分割标注格式转换2.1 花卉分割数据集长什么样花卉图像分割任务和普通分类任务最大的区别在于分类只需要告诉模型「这是玫瑰」而分割要求模型逐像素回答「哪些像素属于这朵玫瑰」。YOLO11 的分割分支输出的是实例级掩码也就是说同一张图里如果有三朵不同的花模型会分别给出三个掩码区域每个区域带自己的类别标签和置信度。常见公开花卉数据集通常提供的是分类标签图片级或者检测框bounding box真正带像素级分割标注的相对少。我一般会先检查手头数据集有没有 polygon 标注或 mask 图。如果有 mask 图需要转成 YOLO 的 polygon 格式如果只有检测框那就得先用标注工具补一轮多边形标注或者退一步只做检测不做分割。YOLO11 分割标注的目录结构是这样的dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── data.yaml每张图片对应一个同名的.txt标注文件每行格式为class_id x1 y1 x2 y2 ... xn yn所有坐标都是归一化到 0~1 之间的浮点数多边形至少三个点。注意这里没有检测框的宽高YOLO11 分割格式直接用多边形顶点序列。2.2 从 mask 图转 polygon 标注的脚本如果你手头是二值 mask 图每个类别一张或者用颜色区分可以用 OpenCV 提取轮廓再转成 YOLO 格式。下面是我常用的转换脚本import cv2 import numpy as np import os from pathlib import Path def mask_to_yolo_polygon(mask_path, class_id, img_w, img_h, epsilon_ratio0.002): 将二值 mask 转为 YOLO 分割格式的多边形点串 mask_path: mask 图片路径 class_id: 类别索引 img_w, img_h: 原图宽高 epsilon_ratio: 轮廓逼近精度越小点越多越精细 mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) if mask is None: return None # 二值化确保是 0/255 _, binary cv2.threshold(mask, 127, 255, cv2.THRESH_BINARY) # 提取外轮廓 contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) lines [] for cnt in contours: area cv2.contourArea(cnt) if area 50: # 过滤太小的噪点区域 continue # 多边形逼近减少点数 epsilon epsilon_ratio * cv2.arcLength(cnt, True) approx cv2.approxPolyDP(cnt, epsilon, True) if len(approx) 3: continue # 归一化坐标 points [] for p in approx: x, y p[0] points.append(f{x / img_w:.6f}) points.append(f{y / img_h:.6f}) line f{class_id} .join(points) lines.append(line) return lines def batch_convert(mask_dir, output_dir, class_mapping, img_size_dict): 批量转换 mask 到 YOLO 标注 class_mapping: {rose: 0, tulip: 1, ...} img_size_dict: {image_name: (w, h), ...} os.makedirs(output_dir, exist_okTrue) for mask_file in Path(mask_dir).glob(*.png): stem mask_file.stem # 假设文件名格式为 图片名_类别名.png parts stem.rsplit(_, 1) if len(parts) ! 2: continue img_name, class_name parts if class_name not in class_mapping: continue if img_name not in img_size_dict: continue w, h img_size_dict[img_name] lines mask_to_yolo_polygon(str(mask_file), class_mapping[class_name], w, h) if lines: out_path os.path.join(output_dir, f{img_name}.txt) with open(out_path, a) as f: f.write(\n.join(lines) \n)这段脚本的逻辑分三步先用cv2.findContours提取 mask 的外轮廓再用approxPolyDP做多边形逼近来压缩点数最后把绝对坐标归一化。epsilon_ratio这个参数很关键——设太大会导致多边形过于粗糙掩码边缘变成折线设太小则点数爆炸标注文件体积飙升。我一般从 0.002 开始试根据实际轮廓复杂度微调。面积过滤阈值 50 是针对小分辨率图片的经验值如果你的图片是 4K 级别这个值要相应放大。2.3 data.yaml 的配置与数据集划分转换完标注后需要写data.yaml告诉 YOLO11 去哪里找数据和类别名path: /home/user/flower_dataset train: images/train val: images/val test: images/test names: 0: rose 1: tulip 2: sunflower 3: daisy 4: lily数据集划分比例我一般按 7:2:1 走但如果某个类别的样本数少于 200 张会适当提高验证集比例到 3 成避免验证指标波动太大。划分时要注意同一株花的不同角度照片不能同时出现在训练集和验证集里否则验证精度会虚高——这个坑我在早期项目里踩过当时验证 mAP 到了 0.95实际部署一塌糊涂。3. YOLO11 分割模型训练参数配置与显存优化3.1 环境安装与模型选择YOLO11 通过 ultralytics 包调用安装命令很直接pip install ultralytics如果你要用 GPU 训练还需要确保 CUDA 和 cuDNN 版本匹配。我一般用torch.cuda.is_available()先验证环境确认返回 True 再开始训练。模型选择上YOLO11 提供了 n/s/m/l/x 五个尺寸的分割版本后缀-seg。花卉识别这个场景类别数通常不超过 20图像内容也不算特别复杂我推荐从yolo11s-seg.pt起步。n 版本虽然快但分割掩码的边缘质量明显粗糙m 以上版本精度提升有限但显存占用翻倍。s 版本在 1080p 输入下大约占 6~8GB 显存单卡 12GB 就能跑得比较舒服。3.2 训练命令与关键参数解读下面是我在花卉数据集上常用的训练命令yolo segment train \ modelyolo11s-seg.pt \ data/home/user/flower_dataset/data.yaml \ epochs150 \ imgsz640 \ batch16 \ lr00.01 \ lrf0.01 \ momentum0.937 \ weight_decay0.0005 \ warmup_epochs3.0 \ patience30 \ device0 \ workers8 \ projectflower_runs \ nameexp_s_seg \ pretrainedTrue \ optimizerauto \ close_mosaic10 \ ampTrue逐个说关键参数。imgsz640是输入分辨率花卉分割对边缘精度要求高如果显存允许可以提到 1024但训练时间会翻倍。batch16在 12GB 显存下比较稳如果 OOM 就降到 8 并配合accumulate2做梯度累积。lr00.01是初始学习率配合lrf0.01做余弦退火到 0.0001。patience30表示 30 个 epoch 验证指标不提升就早停花卉数据集一般 80~120 个 epoch 就能收敛。close_mosaic10是在最后 10 个 epoch 关闭 Mosaic 增强让模型适应真实分布这个对分割任务尤其重要——Mosaic 拼接会破坏掩码的连续性。ampTrue开启混合精度训练能省大约 30% 显存但偶尔会导致 loss 出现 NaN。如果训练中途 loss 突然变 nan先把 amp 关掉排查。3.3 训练过程监控与指标解读训练启动后终端会实时打印每个 epoch 的 loss 和指标。分割任务重点看这几个指标含义正常范围box_loss检测框回归损失持续下降至 0.5~1.0seg_loss掩码分割损失持续下降至 0.8~1.5cls_loss分类损失持续下降至 0.3~0.8metrics/mAP50(B)检测框 mAP0.5花卉场景 0.85metrics/mAP50(M)掩码 mAP0.5花卉场景 0.80如果seg_loss下降但mAP50(M)不涨大概率是掩码标注质量有问题——要么多边形点数太少导致边缘粗糙要么标注时把背景也框进去了。我一般会抽 10 张验证图可视化预测掩码肉眼比对标注和预测的差异。训练完成后最佳权重保存在flower_runs/exp_s_seg/weights/best.pt这个文件后面推理和界面集成都用得到。4. 摄像头实时推理与 PyQt 界面集成4.1 推理脚本的核心逻辑拿到训练好的权重后先用脚本验证单张图片和摄像头推理是否正常from ultralytics import YOLO import cv2 import numpy as np # 加载训练好的分割模型 model YOLO(flower_runs/exp_s_seg/weights/best.pt) def predict_image(img_path, conf0.4, iou0.5): 单张图片推理返回带掩码可视化的结果图 results model.predict( sourceimg_path, confconf, # 置信度阈值 iouiou, # NMS IoU 阈值 imgsz640, retina_masksTrue, # 掩码还原到原图分辨率 verboseFalse ) # results[0].plot() 直接生成带掩码和标签的图 annotated results[0].plot() return annotated, results[0] def predict_camera(camera_id0, conf0.4): 摄像头实时推理 cap cv2.VideoCapture(camera_id) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720) while True: ret, frame cap.read() if not ret: break results model.predict( sourceframe, confconf, imgsz640, retina_masksTrue, verboseFalse ) annotated results[0].plot() cv2.imshow(Flower Segmentation, annotated) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()retina_masksTrue这个参数值得单独说默认情况下 YOLO 输出的掩码是 160x160 的低分辨率版本叠加到原图上边缘会有明显锯齿。开启后掩码会还原到原图尺寸视觉效果提升明显代价是推理时间增加约 10~15%。conf0.4是花卉场景的经验值设太低会把花苞误检成花朵设太高会漏掉被遮挡的花。4.2 PyQt 界面布局与信号槽设计PyQt 界面的核心难点不是画控件而是把推理线程和 UI 线程分开否则摄像头画面会卡死。我的做法是主线程负责界面渲染一个QThread子类负责循环读取摄像头帧并推理通过信号把结果图传给主线程显示。from PyQt5.QtWidgets import (QApplication, QMainWindow, QLabel, QPushButton, QVBoxLayout, QHBoxLayout, QWidget, QFileDialog) from PyQt5.QtCore import QThread, pyqtSignal, Qt from PyQt5.QtGui import QImage, QPixmap import cv2 import sys from ultralytics import YOLO class InferenceThread(QThread): frame_ready pyqtSignal(object) # 发送推理后的帧 def __init__(self, model, source0): super().__init__() self.model model self.source source self.running False def run(self): self.running True cap cv2.VideoCapture(self.source) while self.running: ret, frame cap.read() if not ret: break results self.model.predict( sourceframe, conf0.4, imgsz640, retina_masksTrue, verboseFalse ) annotated results[0].plot() self.frame_ready.emit(annotated) cap.release() def stop(self): self.running False self.wait() class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(花卉分割识别系统) self.model YOLO(flower_runs/exp_s_seg/weights/best.pt) self.thread None self.init_ui() def init_ui(self): central QWidget() self.setCentralWidget(central) layout QVBoxLayout(central) self.display_label QLabel(等待输入...) self.display_label.setAlignment(Qt.AlignCenter) self.display_label.setMinimumSize(960, 540) layout.addWidget(self.display_label) btn_layout QHBoxLayout() self.btn_camera QPushButton(开启摄像头) self.btn_image QPushButton(选择图片) self.btn_stop QPushButton(停止) btn_layout.addWidget(self.btn_camera) btn_layout.addWidget(self.btn_image) btn_layout.addWidget(self.btn_stop) layout.addLayout(btn_layout) self.btn_camera.clicked.connect(self.start_camera) self.btn_image.clicked.connect(self.load_image) self.btn_stop.clicked.connect(self.stop_inference) def start_camera(self): self.stop_inference() self.thread InferenceThread(self.model, source0) self.thread.frame_ready.connect(self.update_display) self.thread.start() def load_image(self): self.stop_inference() path, _ QFileDialog.getOpenFileName(self, 选择图片, , Images (*.png *.jpg *.jpeg)) if not path: return results self.model.predict(sourcepath, conf0.4, retina_masksTrue, verboseFalse) annotated results[0].plot() self.update_display(annotated) def update_display(self, frame): rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch rgb.shape qimg QImage(rgb.data, w, h, ch * w, QImage.Format_RGB888) self.display_label.setPixmap(QPixmap.fromImage(qimg).scaled( self.display_label.size(), Qt.KeepAspectRatio, Qt.SmoothTransformation)) def stop_inference(self): if self.thread and self.thread.isRunning(): self.thread.stop() self.thread None def closeEvent(self, event): self.stop_inference() event.accept() if __name__ __main__: app QApplication(sys.argv) win MainWindow() win.show() sys.exit(app.exec_())这段代码的关键设计点InferenceThread继承QThread在run方法里循环读帧推理通过frame_ready信号把结果发回主线程。主线程的update_display负责把 OpenCV 的 BGR 格式转成 QImage 再转 QPixmap 显示。stop_inference里先调stop()再调wait()确保线程完全退出再开新线程否则会出现多个线程同时抢摄像头的尴尬局面。4.3 界面与推理的线程安全注意事项PyQt 有个铁律所有 UI 操作必须在主线程执行。如果你在子线程里直接调self.display_label.setPixmap()程序可能不崩溃但界面会随机卡死这种玄学问题排查起来非常痛苦。用信号槽机制是标准解法信号发射后 Qt 会自动把槽函数调度到主线程执行。另一个坑是摄像头释放。如果用户快速点击「开启摄像头」和「停止」按钮cap.release()可能还没执行完新线程就启动了导致摄像头被占用。我的做法是在stop()里加一个标志位并在run循环里检查确保释放完成后再允许新线程启动。5. 避坑与常见问题排查5.1 训练 loss 不下降或变成 NaN现象训练几个 epoch 后 box_loss 和 seg_loss 都卡在 2.0 以上不降或者突然变成 nan。原因最常见的是学习率设太大比如 lr00.1或者数据集中有损坏图片导致梯度爆炸。另外如果标注文件里有坐标超出 0~1 范围的值也会让 loss 异常。解决先把 lr0 降到 0.001 试跑 10 个 epoch确认 loss 正常下降再逐步调大。同时写个脚本扫描所有标注文件检查坐标范围import os from pathlib import Path def validate_labels(label_dir): issues [] for txt in Path(label_dir).glob(*.txt): with open(txt) as f: for i, line in enumerate(f): parts line.strip().split() if len(parts) 7: # class_id 至少3个点 issues.append(f{txt.name}:{i} 点数不足) continue coords [float(x) for x in parts[1:]] if any(c 0 or c 1 for c in coords): issues.append(f{txt.name}:{i} 坐标越界) return issues5.2 摄像头推理帧率过低现象摄像头画面卡顿帧率只有 3~5 FPS。原因retina_masksTrue在高分辨率下很耗时加上imgsz640对每一帧都做完整推理如果 CPU 解码和 GPU 推理没有流水线并行整体延迟会叠加。解决三个方向。一是把imgsz降到 480 或 416帧率能提升 50% 以上二是关掉retina_masks用默认低分辨率掩码显示时再放大三是把摄像头读取放到独立线程推理线程只处理最新帧丢弃积压的旧帧。我一般会加一个帧队列只保留最新一帧import queue import threading frame_queue queue.Queue(maxsize1) def camera_reader(cap): while True: ret, frame cap.read() if not ret: break if frame_queue.full(): try: frame_queue.get_nowait() # 丢弃旧帧 except queue.Empty: pass frame_queue.put(frame)5.3 PyQt 界面点击按钮无响应现象程序启动后界面能显示但点击按钮没反应窗口标题栏显示「未响应」。原因推理代码直接写在主线程的槽函数里模型加载或推理耗时太长阻塞了 Qt 的事件循环。解决确认所有耗时操作都在QThread子类里执行。模型加载可以在主线程做一次启动时加载但推理必须放子线程。如果模型加载本身就慢可以加一个启动画面或者用QTimer.singleShot延迟加载。5.4 分割掩码边缘出现锯齿或空洞现象预测结果中花朵掩码边缘呈锯齿状或者花朵内部有零星空洞。原因训练时imgsz太小导致掩码分辨率不足或者标注多边形点数太少。另外如果花朵颜色和背景接近模型容易在内部产生误判。解决训练时把imgsz提到 1024显存允许的话推理时开retina_masksTrue。标注端用epsilon_ratio0.001保留更多轮廓细节。如果还有空洞可以在后处理时用形态学闭运算填补import cv2 import numpy as np def refine_mask(mask, kernel_size5): 对二值掩码做闭运算填补小空洞 kernel np.ones((kernel_size, kernel_size), np.uint8) closed cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) return closed5.5 换一台机器部署时模型加载失败现象在自己电脑上训练和推理都正常拷贝到另一台机器后报错「No module named ultralytics」或者 CUDA 版本不匹配。原因Python 环境没有一起迁移或者目标机器没有装对应版本的 PyTorch。解决用pip freeze requirements.txt导出依赖在目标机器上pip install -r requirements.txt。如果目标机器没有 GPU把device参数改成cpu同时把imgsz降到 320 保证速度。注意 ultralytics 的版本要和训练时一致不同版本对模型文件的解析可能有差异。6. 把分割结果用起来的几个进阶技巧训练和界面跑通之后真正让这套方案产生价值的是对分割结果的二次利用。我分享三个实际项目中验证过的技巧。第一个是用掩码做背景替换。分割模型输出的掩码可以直接当 alpha 通道用把花朵抠出来贴到任意背景上。核心代码就几行def replace_background(image, mask, bg_image): 用分割掩码把前景花朵贴到新背景上 mask_3ch cv2.merge([mask, mask, mask]).astype(np.float32) / 255.0 fg image.astype(np.float32) * mask_3ch bg bg_image.astype(np.float32) * (1 - mask_3ch) result (fg bg).astype(np.uint8) return result这里 mask 需要是单通道 0/255 的二值图从results[0].masks.data取出来后要 resize 到原图尺寸。做电商图或者花卉图鉴时这个技巧能省掉大量抠图人力。第二个是用分割面积做花朵尺寸估算。如果摄像头位置固定可以通过掩码像素数反推花朵的实际面积。标定方法是在同一位置放一个已知尺寸的参照物算出「像素/厘米」的比例系数之后每朵花的掩码面积除以这个系数就能得到近似实际面积。这个在花卉分级场景里很有用——花朵直径大于某个阈值就归为 A 级。第三个是用分割结果做计数和密度分析。对于盆栽或者花坛场景分割模型能同时输出每一朵花的实例掩码直接统计掩码数量就是花朵数量。如果结合摄像头定时抓拍还能画出花朵开放数量的时间曲线。我做过一个郁金香花期的监测 Demo每半小时抓一张图统计掩码数量变化能比较清楚地看出盛花期的起止时间。最后说一个我自己的习惯每次训练完新模型不要只看 mAP 指标就下结论。我会固定抽 20 张验证集图片用model.predict跑一遍把原图、标注掩码、预测掩码拼成三列对比图存下来。肉眼过一遍比看任何指标都直观。很多时候 mAP 涨了 2 个点但实际掩码边缘反而更粗糙了——这种问题只有看图才能发现。希望帮到你。本文还有配套的精品资源点击获取