1. 项目背景与核心价值去年帮农科院做草莓品质检测时发现传统人工分拣效率低且误差率高。一个熟练工每小时最多处理200颗草莓而基于深度学习的视觉系统能轻松突破2000颗/小时。这个毕设项目正是瞄准农业生产中的真实痛点——如何快速准确地识别草莓并判断其成熟度、缺陷等特征。Python作为深度学习领域的主流语言配合TensorFlow/PyTorch等框架让计算机视觉任务的门槛大幅降低。但真正要做好这个项目需要解决几个关键问题小样本数据如何处理、复杂背景下的目标分割、轻量化模型部署等。下面我就结合自己踩过的坑详细拆解这个项目的技术实现路径。2. 技术方案选型与对比2.1 目标检测 vs 图像分类最初考虑用简单的图像分类ResNet、MobileNet等但实际测试发现分类网络无法定位草莓位置多颗草莓重叠时准确率骤降难以区分草莓叶片的复合特征最终选用YOLOv5s作为baseline模型原因包括实时性在Jetson Nano上能达到32FPS精度mAP0.5达到0.89自建测试集易用性PyTorch生态的预训练模型丰富实测数据相同测试集下Faster R-CNN精度高5%但速度只有YOLOv5的1/3而SSD在遮挡场景下漏检率偏高2.2 数据采集与标注要点在山东草莓大棚实地拍摄时总结的经验拍摄角度保持手机与草莓水平距离30-50cm光照条件避免强光直射导致的过曝上午10点前最佳背景复杂度刻意包含土壤、叶片、支架等干扰物标注工具推荐LabelImg关键技巧# 标注文件示例YOLO格式 0 0.543 0.612 0.125 0.178 # class x_center y_center width height标注框务必包含草莓蒂部重叠目标采用遮挡标注法至少准备2000张原始图片实际使用1500训练500测试3. 模型训练关键细节3.1 数据增强策略针对草莓识别的特殊需求在albumentations中定制pipelinetransform A.Compose([ A.RandomSunFlare(num_flare_circles_lower1), # 模拟大棚反光 A.RandomShadow(shadow_roi(0,0,1,0.5)), # 叶片投影增强 A.ColorJitter(hue0.1), # 成熟度颜色变化 A.Rotate(limit15,p0.7) # 自然生长角度 ])避免使用过度模糊草莓纹理很重要成熟度模拟HSV空间的V通道±15%背景替换概率控制在0.3以下3.2 模型优化技巧在YOLOv5s基础上做的改进注意力机制在Backbone末端添加SE模块# models/yolov5s.yaml 修改部分 backbone: [...] - [-1, 1, SE, [32]], # 添加SE注意力层自适应anchor使用k-means重新聚类python utils/autoanchor.py --cfg ./models/yolov5s.yaml损失函数改进CIoU Focal Loss训练参数关键配置python train.py --img 640 --batch 16 --epochs 100 \ --data strawberry.yaml --weights yolov5s.pt \ --hyp hyp.finetune.yaml --adam学习率初始0.001cosine衰减早停机制patience15混合精度--amp4. 部署落地实践4.1 轻量化方案对比方案推理速度(ms)mAP0.5模型大小(MB)YOLOv5s280.8914.4YOLOv5s-pruned190.866.7TensorRT-FP16110.888.2最终选择TensorRT优化方案关键步骤# 转换ONNX需安装onnx-simplifier python export.py --weights runs/train/exp/weights/best.pt --include onnx # TensorRT优化 trtexec --onnxbest.onnx --fp16 --saveEnginebest.engine4.2 边缘设备部署在Jetson Nano上的实测性能# 启动检测使用USB摄像头 python detect.py --source 0 --weights best.engine --imgsz 640 \ --conf-thres 0.5 --device 0功耗控制设置MAXN频率模式温度监控tegrastats工具内存优化启用swapfile5. 典型问题与解决方案5.1 误检问题排查常见误检类型及对策红色塑料筐误检解决方案增加负样本训练叶片遮挡导致漏检修改NMS的iou_threshold从0.45→0.4反光表面识别错误数据增强中添加更多光斑样本5.2 模型量化精度损失当尝试INT8量化时出现的精度下降校准集问题需要包含各种光照条件下的样本建议使用训练集10%作为校准集量化敏感层处理排除第一个卷积层和最后的检测头# 在export.py中添加 --exclude-output-layers output0,output16. 项目扩展方向在实际部署后发现的改进空间成熟度分级添加HSV颜色空间分析分支建立颜色-糖度对应关系模型缺陷检测霉变检测在ROI区域做二分类畸形判断计算长宽比异常值多模态融合结合近红外传感器数据加入重量维度需硬件配合这个项目最让我意外的是原本以为简单的识别任务在实际农业场景中会遇到如此多的挑战。比如大棚内不断变化的光照条件草莓生长过程中微妙的颜色变化还有沾水表面的反光问题等。后来发现在模型最后加入一个简单的光照不变性模块参考Retinex理论能让模型鲁棒性提升20%以上。