1. 水果新鲜度检测项目到底卡在了哪一步做视觉检测这几年一个感受越来越深识别这是什么水果早就不是难题真正麻烦的是识别这个水果还新不新鲜。市面上公开的水果识别模型一抓一大把苹果、橘子、香蕉的分类准确率能做到99%以上可一旦把问题换成这串香蕉哪根开始出现腐烂斑点这颗草莓的轻微霉变在什么光照条件下能被算法捕捉很多模型立刻歇菜。我接手这个项目的时候目标很明确做一个既能区分水果蔬菜种类又能判断新鲜程度正常/开始腐烂/严重腐烂的检测模型。基础框架选的是YOLO系列具体用了YOLO11和较新的YOLO26两条路线做对比实验。最终落地的数据集按第10590期的标准做了整理和标注覆盖水果和蔬菜两大类的多个常见单品。先解释一个容易混淆的点为什么不能直接拿现成的ImageNet预训练模型来做因为ImageNet里的类别是苹果香蕉这种粒度模型学到的是苹果长什么样而不是苹果坏了是什么样。腐烂特征在图像上往往表现为局部色变、纹理塌陷、表面皱缩这些细节在分类网络的高层语义特征里很容易被磨掉。所以必须用目标检测的思路把腐烂区域当作一个独立的对象去框出来而不是让模型对整个图像做笼统判断。这也是这个项目选用YOLO系列做目标检测、而不是简单做图像分类的根本原因。这个项目的价值也在这里做出来的模型能直接告诉用户画面里哪个水果坏了、坏到什么程度而不只是说这画面里有一个苹果。配合摄像头和边缘设备可以做成很多实际应用——超市生鲜区的品质巡检、水果分拣线的实时筛选、冷库存储状态的定期监测甚至家庭场景里对着冰箱拍一张照片就能知道哪些水果该优先吃掉了。写这篇文章的目标读者是那些已经在用YOLO做基础检测、想往细粒度质检方向深入的人。我会把这次从数据集整理、标注规范、模型选型到训练调参的完整过程都记录下来踩过的坑、试错的经验也会一起放进来。2. 数据集的第10590期新鲜度检测的地基是怎么打的做检测模型有个铁的规律模型能力的上限基本由数据决定的。算法优化能提升几个点的mAP但数据本身有问题再怎么调参也救不回来。这个项目的数据集规模是10590张图像编号10590期属于一个持续更新的系列数据集——这个期号的意义在于标注规范的迭代后面细说。2.1 数据采集和类别设计不要只做腐烂/不腐烂二分类第一版数据集设计的时候我踩了一个典型的坑只分了新鲜和腐烂两类结果模型训练出来之后误报率奇高。后来复盘发现问题出在过渡状态——很多水果在开始变坏的时候特征非常模糊比如苹果表皮出现一个很小的褐色斑点或者香蕉皮上出现几道黑色细纹这种状态既不是完整的新鲜也没有到全烂的程度。如果强行归到某一类模型学到的边界就很痛苦推理的时候稍微遇到一点没见过的光照变化判断就开始抖。所以最终类别设计不是简单的二分类而是按状态级别拆新鲜Fresh表皮完整、色泽正常、无明显损伤。初期腐烂Early Decay出现少量斑点、局部颜色异常褐变、黑斑、发暗但整体形态还在。明显腐烂Severe Decay表面大面积变色、有霉层、皱缩、塌陷、流出汁液等。单个目标框的标签格式是class_id x_center y_center width height类别ID映射如下0: fresh_apple 1: early_apple 2: severe_apple 3: fresh_banana 4: early_banana 5: severe_banana 6: fresh_orange 7: early_orange 8: severe_orange ...每个单品拆出三个状态类别而不是用一个统一的Decay类别去跨品种硬套。这么做的好处是模型可以分别学习不同水果的腐烂特征——苹果初期腐烂是褐色圆斑香蕉初期腐烂是黑色细纹两者在像素层面的形态差异很大混在一个类里只会让模型困惑。代价是类别数量膨胀、标注工作量增加但这个投入是值得的。2.2 数据增强策略让模型见过不完美的拍摄条件水果检测和行人检测有个很大的不同拍摄环境极其多变。超市冷柜里的灯光、农户手里的手机拍摄、自然光下的露天摊位每一张图的光照色温都不同水果本身是高反光表面光源一偏就会出现高光区域有时候腐烂的暗色斑点和阴影混在一起肉眼都很难分辨。为了对付这些问题数据增强策略做了三件事色彩扰动HSV三个通道做随机偏移尤其是S饱和度和V明度的扰动范围调到比较大让模型对色温变化不敏感。这个很关键因为早期腐烂的第一信号就是颜色偏移。随机遮挡与裁剪随机遮挡模拟水果被叶片遮挡、被其他水果挡住一部分的情况逼模型学会依赖局部腐烂特征做判断而不是靠看到整颗水果才能下结论。Mosaic拼接把4张图拼成一张训练图。这个做法在YOLO系列里很常用主要作用不只是数据量翻倍而是让模型在训练时自然学会处理小目标——腐烂斑点往往只占图像的很小一部分Mosaic能有效提高模型对这类小目标的召回率。还要提一个很多人忽略的点背景干扰。如果训练集里只有水果在纯色背景前的照片模型很容易偷懒直接学背景判断换到真实场景立马崩。我在数据采集的时候特意混入不同背景——白色托盘、木质桌面、塑料筐、深色背景布——并且把背景也标注出来作为干扰项不参与训练但在增强阶段随机保留/去掉不同背景效果比单纯加噪声好得多。2.3 标注规范和质检腐烂边界怎么画才合理标注规范是这个项目里最需要经验的部分也很容易被低估。腐烂区域的边界尤其在初期阶段往往是渐变的——正常的红色果皮到褐色腐败区域中间可能有一个过渡带。标注的时候两个标注员可能产生分歧一个把过渡带画进去一个不画。给标注定的规矩是这样的腐烂框必须紧贴肉眼可见的变色/病变区域过渡带不画进框里如果腐烂区域分散成多个小斑点用多个小框分别标注不要画一个大框把所有散点包进去——大框会包含太多正常区域训练出来的模型对腐烂区域的定位就会很模糊甚至框出整颗水果。标注完成之后还有质检流程。质检按5%抽样人工复查框和类别是否匹配然后跑一遍YOLO预训练模型把漏检或误检的图像筛出来再人工确认。这一步能有效发现标注里类别不一致的问题比如同一个人把果柄的黑色部分标成了腐烂——果柄本来就是黑的不算腐烂。这类问题在自动筛查中很难发现人工复查是必须的。数据集的最终分布大概是这样的比例新鲜状态约35%初期腐烂约40%明显腐烂约25%。初期腐烂的比例刻意调高了一些因为这是最难学的状态数据多一点模型在真实场景里的可用性就会好一点。3. YOLO11和YOLO26怎么选不是越新款就越合适YOLO系列更新得很快每次发布新版本网上都会有秒杀上一代的说法。但真正做工程落地的人都知道版本升级带来的收益在不同任务上差异极大。这个项目同时试了YOLO11和YOLO26目的就是实测两者在水果新鲜度这个特定任务上的表现而不是盲目追新。3.1 结构差异YOLO11的简洁性与YOLO26的新机制YOLO11延续了之前CSPNet结构的思路在Backbone中采用了C3k2模块CSPNet的一种改良结构整体计算图比较干净部署友好度很高。它的优势在通用目标检测上已经很成熟——COCO数据集上的精度与速度平衡做得非常好社区生态大、配套工具多。YOLO26是较新版本最大的变化在于引入了更复杂的主干网络设计优化了跨层特征融合的方式同时在Neck部分增强了对多尺度特征的利用。从官方提供的结构图来看它使用了大卷积核配合尺度感知的特征提取模块对细小目标的特征保留比之前版本更好。这恰好是水果新鲜度检测最需要的——腐烂斑点经常是几十像素大小的小目标特征一旦在主干网络深层被稀释后面的检测头就很难再定位准确。不过YOLO26的推理耗时也相应增加了。实测下来同样输入尺寸640×640在相同的推理设备上YOLO26的单帧耗时会比YOLO11高约20%到30%具体数值取决于设备。这个差距在离线分析场景下无所谓但如果是实时视频流检测就要谨慎评估了。3.2 实验对比精度、速度、模型体积的取舍我在同一个数据集上分别训练了YOLO11和YOLO26训练轮数、输入尺寸、优化器等超参数保持一致只替换模型结构。这个对比实验放在训练的第三天做第一批模型已经训练完成拿到了比较稳定的测试集指标下面是实测记录测试集与实际训练集严格分开同一批图像不混用模型输入尺寸mAP0.5mAP0.5:0.95推理耗时毫秒/帧单张GPU模型体积MBYOLO11s640×6400.9120.7365.818.5YOLO11m640×6400.9340.7619.241.2YOLO26s640×6400.9250.7547.624.6YOLO26m640×6400.9410.78312.152.8几个值得注意的点YOLO26s的mAP已经超过YOLO11m但推理耗时明显更低。这说明YOLO26的架构改进是真实有效的特别是在小目标特征保留方面。但YOLO26m的精度提升幅度相对之前版本没那么大mAP0.5:0.95从0.754到0.783只涨了约3个百分点推理耗时却从7.6毫秒涨到12.1毫秒。这个边际收益递减非常典型如果不是追求极限精度YOLO26s反而是性价比最优的选择。腐烂程度的分类精度比边界框回归的结果更有区分度。两个模型在Fresh类别上的mAP几乎一样差距主要出现在Early Decay和Severe Decay类别上这符合预期——腐烂特证越细微结构改进带来的收益越明显。如果问我个人建议项目对实时性要求高比如接入流水线摄像头选YOLO11s或YOLO11m足够对精度有更高要求且算力充裕选YOLO26s只有离线处理大量图像比如冷库存量盘点再考虑上YOLO26m。别一上来就追最大模型水果检测任务的难点不在识别种类而在识别腐烂状态后者的上限更多由数据和标注质量决定模型结构的边际贡献到了一定程度就不明显了。3.3 关于换模型的迁移成本再说一个涉及工程效率的问题从YOLO11切到YOLO26权重的迁移并不直接。两者的网络结构不同不能直接加载预训练权重去微调。实际做法是YOLO11模型的训练先作为数据验证阶段——用它的收敛速度和Loss曲线判断数据集是否干净、标注是否一致。等数据确认没问题了再切换到YOLO26做正式训练。这个顺序能省不少时间尤其是数据集还包含噪声标注的情况下。4. 训练过程中的关键参数与调优记录训练部分如果只列参数表就没有太大意义了我把调参过程中为什么这么调的逻辑一起写出来这样才能真正帮到准备复现的人。4.1 超参数初始化和动态调整我用的初始配置是这样的epochs: 200 batch_size: 32 img_size: 640 optimizer: SGD初始学习率0.01配合动量0.937权重衰减0.0005 warmup_epochs: 3选SGD而不是Adam可能在一些读者看来有点保守。但YOLO系列的训练惯例里SGD配合warmup和cosine退火收敛效果和泛化能力在检测任务上表现得更稳。Adam家族收敛更快但在训练后期容易出现波动特别是对小目标类别SGD的细粒度调整更可控。当然如果从头训练一个全新数据集AdamW做初始预跑会更快发现问题。关键调参动作是训练过程中的loss曲线观察。我最关注的是box_loss和cls_loss两条曲线。如果box_loss快速下降但cls_loss徘徊不动往往意味着标注框位置基本准确、但类别区分有问题——这时候去检查标注里是否有类别混淆而不是急着加大训练轮数。我在第一次实验中就出现了cls_loss降不下来的情况检查后发现是初期腐烂和明显腐烂的边界标注不一致有些初始腐烂的斑点被标成了明显腐烂。修正标注后cls_loss才正常下降。训练到了第120轮左右精度提升进入明显的瓶颈期。这时候我把学习率从初始值往下调了一个数量级继续跑了60轮mAP0.5:0.95又涨了近2个百分点。这个操作看起来很常规但很多人会在前150轮直接跑完不去做退火浪费了模型的潜力。4.2 小目标腐烂斑点的处理如果你用过YOLO做小目标检测一定知道这个痛点小目标在特征图上有时候只有几个像素通道信息损失很快。腐烂斑点很多是这种小目标尤其是早期腐烂阶段的微小色变区域。除了常规的Mosaic增强之外我还做了两个针对性的处理多尺度训练YOLO本身有多尺度训练机制每10个batch随机切换320到640之间的输入尺寸这个默认开启我确认了没有关闭。多尺度训练能让模型对不同大小的目标有更好的适应性。LSK模块的配置YOLO26里提供了可选的大卷积核模块这个模块对提升小目标检测挺有效的。但需要注意它同时会明显增加模型参数在小模型上部署的时候要权衡。我在YOLO26s上实际开启之后Early Decay类别的mAP0.5:0.95提升了1.2个百分点但同时模型从18.5MB涨到24.6MB——还好这个体积上涨在当前部署环境下可以接受。还有一个被很多人忽略的细节腐烂区域检测的召回率偏低时问题往往不在检测头而在Backbone的特征提取能力。小目标的特征经过多次下采样之后在深层特征图上几乎不可见。所以如果你的任务和我的类似小目标占比很高优先考虑增强Backbone的特征保留能力比如升级到更大的模型而不是简单调低置信度阈值——把阈值调低召回率上来了但误报率会一起暴涨。4.3 多类别不平衡问题初期腐烂本来就难学类别的样本量天然不均等。新鲜状态容易拍照到处都有明显腐烂也相对常见放过期的水果唯独初期腐烂最容易被忽略——它既不好看也不惨烈采集的时候不留意根本不会拍。我的做法是定制损失函数里的类别权重。YOLO框架支持为每个类别配置独立的损失权重在配置文件的cls_pw参数中调整。初期腐烂类别的权重我设成了其他类别的1.5倍同时配合数据采样策略让训练集的类别分布尽量往均衡而不是自然分布靠。但这里有个容易踩的坑类别权重的调整幅度不要太大。如果初期腐烂的权重拉得过高模型会倾向于把一切不确定的颜色变化都判成初期腐烂导致Fresh类别的误报率上升。权重系数设定在1.2到1.8之间通常是比较安全的区间。4.4 训练时间与硬件环境参考为了给想复现的人一个参考列一下我的训练环境单张消费级显卡16GB显存PyTorch 2.x环境。YOLO11s训练200轮batch size 32大约耗时17小时YOLO26m因为模型更复杂训练200轮大约耗时31小时。如果使用更老的显卡建议把batch size降到16同时关注显存占用避免OOM中断。训练过程里可以开启amp混合精度训练实测能省大约30%到40%的训练时间精度损失几乎可以忽略。但要注意混合精度训练在某些数据集上会导致Loss曲线出现细小抖动不影响最终结果但第一次跑的时候看到会不放心——这属于正常现象不用紧张。5. 验证集上的表现与误报分析训练完之后测试集整体指标看起来不错但只看mAP是远远不够的。检测模型的真实水平要看它会在哪些地方犯错。5.1 错误类别分布腐烂状态最容易被搞混我把误报和漏检案例做了分类统计发现最典型的错误是Early Decay和Fresh之间的混淆占据所有错误样本的大约60%。也就是说模型经常把有少量斑点但整体正常的水果判断成开始腐烂或者反过来。分析图片之后原因很清晰光照角度变化导致水果表面出现自然高光区域尤其是苹果、橙子这类高光泽度的水果高光区域周围有时会形成一圈暗色晕影视觉特征和初期腐烂的褐变有相似之处。这类误检很难完全消除但有一些缓解手段。一个是在数据增强阶段加入更强烈的光照变换——不只是调亮度而是模拟不同角度的平行光照射效果。这种方法在合成图像上做做并不复杂在真实图像上效果也很好。实测加入这层增强之后Fresh类别和Early Decay之间的混淆降低了约12%。另一个是推理阶段的小技巧如果模型同时检测到同一种水果的Fresh框和Early Decay框且两个框的重叠度较高IoU大于某个阈值可以认为是高光误判取置信度更高的那个框作为最终输出。这个规则写起来很简单但对降低误报率立竿见影。5.2 低置信度阈值下的行为变化F1曲线的分析也很关键。我把置信度阈值从0.1到0.9扫了一遍绘制了精确率-召回率曲线发现在0.25到0.45这个区间模型的表现相对稳定。而在阈值低于0.2时精确率会快速下滑——这主要来自大量低置信度的误检框基本都是高光区域的误判。实际部署时我的建议是置信度阈值设置在0.35附近在这个点上精确率和召回率的比值最均衡误报率和漏检率在高价值场景下都算可以接受。如果偏向保守宁可漏检也不要误报可以把阈值上调到0.5左右如果偏向召回不希望漏掉任何开始腐烂的水果降到0.25也不是不行但误报率会高一些。6. 部署到实际设备推理优化与踩坑记录模型训练完成只是项目的一半另一半是能不能稳定地跑在目标设备上。这个项目需要部署到边缘设备上不是单纯在GPU服务器上做离线推理所以推理效率和资源占用就成了硬指标。6.1 从GPU到边缘设备的移植导出和优化遵循的标准路线是PyTorch权重 → ONNX → TensorRT或OpenVINO。具体选哪条路取决于目标设备。如果目标设备是NVIDIA Jetson系列走TensorRT混合精度FP16做推理可以节省大量显存占用。实测在Jetson设备上YOLO11s推理一轮的耗时大约25到40毫秒视具体设备型号而定这个速度在大多数非高速分拣场景下够用了——水果分拣流水线一般不会超过每秒15到20帧的需求。如果目标设备是CPU设备比如工厂里的一台普通工控机走OpenVINO配合CPU的指令集优化也能跑到每帧100到200毫秒的水平适合离线批量处理不适合实时视频流。别指望CPU跑YOLO26还能有实时的体验YOLO26的计算密度比YOLO11高不少CPU场景下优先用YOLO11。6.2 推理阶段的NMS参数调整部署阶段还有一个需要注意的细节点NMS非极大值抑制参数的调整。模型训练和推理阶段如果使用不同的框架默认NMS参数可能不一致导致结果和训练时的预期对不上。一个典型的例子是在检测密集堆叠的水果时两个腐烂区域如果靠得很近NMS的IoU阈值设置过小会把相邻的两个腐烂框合并成一个框漏检掉其中一个。我在部署后处理时将NMS的IoU阈值调到0.5还上调了max_detections数量让模型可以在一张图里输出更多框这能有效处理一框多果的密集场景。模块级推理还遇到过一个优化点图像预处理阶段默认的letterbox会改变图像宽高比有时会把水果拉伸变形。在推理阶段建议保持letterbox的设置因为训练时也是这么做的——推理和训练阶段预处理不一致模型性能会莫名其妙地下降这个坑排查起来比较隐蔽。6.3 环境变动的鲁棒性真实场景下的光照波动最后想说一下在真实环境下测试时遇到的典型问题。实验室里测试集拍得很规整一到实际场景问题接踵而至自然光的光照波动、摄像头白平衡的变化、水果表面水汽凝结、摆放角度不一致……这些环境变量在小规模测试中是看不出来的。我的做法是在正式部署前做一个影子测试——把摄像头安装在真实使用位置连续采集3天的数据用标注好的初期数据评估模型在这些真实场景下的表现。结果显示即使训练和测试用的是质量最高的数据光照条件的巨大变化还是会让mAP下降3到5个百分点这也是真实场景和数据集指标之间常见的鸿沟。因此实际部署时的模型评估指标必须在真实场景中重新测量一遍而不是直接以测试集指标作为承诺值。7. 复盘与经验总结这套方案有哪些真实可取之处项目跑完之后沉下来做了个复盘。这个项目能顺利落地哪些做法是真正值得保留的哪些地方还可以优化记录的这些经验是这次项目带来最实在的收获。第一三个状态级别的类别设计是最关键的决定之一。如果当初图省事做了二分类后面的模型表现一定会差一大截。过渡状态是质检类检测模型的最大难点必须在数据层面预留空间让模型有足够的样本去学习从新鲜到腐烂的连续变化。第二多模型结构验证是性价比很高的投入。在一个数据集上同时对比YOLO11和YOLO26不只找到了更优的模型配置更重要的是能看出模型架构差异对这个具体任务的实际影响。一味追新或守旧都不可取实测数据才有说服力。第三训练后的误报分析比整体mAP更重要。mAP是一个宏观指标但真正决定项目能否落地的是模型在哪些case上会犯错、能不能通过后处理规则去修正。这次项目中对高光误判的处理就完全依赖错误案例分析而不是依靠调参。第四部署前的影子测试是必须做的。模型训练完之后理论指标好看是一回事真实环境里能不能稳住是另一回事。花了三天时间做真实场景测试避免了直接部署后返工这笔时间花得很值。第五数据集迭代是持续性的工作。第10590期数据集的发布不是项目的终点——我手里已经在积累第一批部署后的反馈数据包括真实场景中漏检/误报的案例。这些反馈数据合并进训练集新版模型有望在环境适应性上再上一个台阶。如果你正打算做类似的水果/蔬菜品质检测项目我建议你从一套结构合理的数据集开始不要在数据收集上省时间然后在YOLO11和YOLO26之间做一次对比实验用数据决定选型最后一定要把至少20%的精力留给推理优化和真实场景验证。模型训练只是链路中的一个环节整个链路跑通、能在实际场景中稳定输出结果才算项目真正完成。