给蘑菇做目标检测是个比想象中更让人头疼的细粒度识别问题。前段时间我把整个流程从头跑了一遍基于 YOLOX_M 模型先用 COCO 预训练权重做初始化再在自建的蘑菇分类数据集上用 8x8 的批量大小训练 300 轮次最后针对野外场景做了多轮优化才把模型从勉强能框出蘑菇调到大部分常见品种能分对。这篇文章把我在过程中踩过的坑、试出来的有效配置、每个关键参数背后的原因完整记录下来。想做人脸识别、农作物病害检测、昆虫种类鉴定这类细粒度目标检测项目的朋友可以参考整套思路。1. 蘑菇识别为什么难我为什么最后锁定了YOLOX_M1.1 蘑菇检测的真实难点在普通物体检测里类别差异通常是结构性的比如自行车和汽车有完全不同的轮廓模型很容易抓住。蘑菇不一样。同样是伞菌目不同种类的菌盖颜色、大小、形状高度接近有些可食用品种和近缘有毒品种唯一可见的区别可能是菌柄上有没有菌环、菌托颜色深浅甚至切开后会不会变色。这些细微特征在目标检测框尺度下往往只有几十个像素。我最初直接拿通用检测模型预测很多情况是把相似种类认成同一个类甚至把枯叶、苔藓、树皮的圆形斑块当蘑菇框出来。除了细粒度问题蘑菇识别的场景也比想象复杂。野外拍摄时背景极其杂乱蘑菇长在落叶堆里、树干缝隙里、苔藓中间前景和背景的颜色、纹理很接近树荫下光照弱晴天又有强反光。一个采集自网络的训练集如果全是居中、纯色背景的棚拍图拿到野外实测基本没法用。所以这个项目从一开始就不是训练一个模型的问题而是数据、模型、训练策略、后处理怎么打组合拳的问题。1.2 COCO预训练数据集的角色COCO 数据集的80个类别里并没有独立蘑菇类最多是一些和食物、植物相关的类别。那为什么还要从 COCO 预训练权重出发原因在于目标检测网络的低层特征其实是通用的边缘、颜色渐变、纹理、局部对比度这些底层模式在不同数据集之间可迁移。COCO 预训练的意义是把骨干网络在千万级标注框上训练过的特征提取能力继承过来而不是要求它在蘑菇类别上有任何先验知识。这相当于一个新员工在通用基本功上受过扎实训练再让他去学某个行业的专业判断会比从零开始快得多也稳得多。这一点也决定了后续训练策略骨干网络用 COCO 预训练权重初始化检测头从头初始化。检测头是任务相关的预训练权重里的分类语义对蘑菇没有直接帮助随机初始化后再做全量微调既能保留底层特征又不会让任务本身的随机性影响训练初期。这也是为什么我在第4章会把加载预训练权重的配置单独列出来很多新手容易漏掉这一步导致训练前期 loss 下降极慢。1.3 为什么是YOLOX_M而不是更大或更小选模型最关键的是明确部署边界。我一开始想部署到比较普通的边缘设备比如手机端或者小型嵌入式板子偶尔也要在 PC 上用摄像头实时跑这就把超大模型排除了。YOLOX_X、YOLOv5x 这类模型精度更高但推理帧率和显存占用都不理想。反过来YOLOX_S 和 Nano 这类轻量级模型速度快但在细粒度识别任务上特征表达能力明显不够菌盖边缘和菌褶纹理很容易被当作噪声丢掉。YOLOX_M 正好卡在中间用 CSPDarknet 骨干加 PAFPN 颈部结构同时引入 anchor-free 的解耦检测头。解耦头把分类分支和回归分支分开计算对细粒度分类友好分类分支可以更专注地学习这是哪一类蘑菇不会被框回归任务干扰。SimOTA 动态正样本分配机制也值得一提它根据预测框和真实框的匹配成本动态选择正样本不像老式方法固定分配阈值训练后期对困难样本的调整空间更大。以 640 输入计算M 模型的参数量在 25M 上下单张图前向推理在普通中端显卡上可以到几十毫秒级别完全满足项目场景。2. 数据是上限组合自建蘑菇子集和COCO预训练2.1 类别设计、数据收集和标注规范给正在做类似项目的人一句忠告细粒度识别任务宁可类别少而精也不要一开始就贪多。我第一版设计了20个类训练完发现好几个类因为样本数量不够且形态太相似AP 被拉到一起谁都分不清。后来砍到12个常见食用菌和容易被误认的有害品种效果立刻好转。设计类别时尽量保证每个类在形态上有独立判据颜色差异、菌盖形状、菌褶颜色、菌柄特征至少有一项能通过框内细节区分。采集来源我主要用了三路公开数据库图片、网络图源筛选、野外实拍。目标检测数据集每类 200 张以上是底线我实际每类做到 300 张左右一共接近 4000 张图。标注工具用 LabelImg 和 Labelme 配合优先画紧密贴合菌盖边缘的矩形框。这里有个容易踩的坑很多标注工具默认导出 XML 格式YOLOX 的 Dataset 接口更习惯 COCO json 或 YOLO txt。我直接在标注时输出 COCO json省掉一步转换。2.2 迁移学习中的数据组织细节有了自己的清单之后还需要重新处理标注格式。YOLOX 源码中的 COCODataset 读取的是 json 文件路径结构是这样的数据根目录下放 train2017 和 annotations 两个目录json 里通过 images 字段中的 file_name 找图片通过 annotations 字段中的 bbox 和 category_id 找标注。我沿用这种结构只是把类别 id 从 0 开始重新编号并单独写了一个 name_to_id 的映射文件。这一步看似繁琐但调试后期定位数据问题时会省很多时间。分类别统计图片数量也值得做我写了个小脚本统计每个类的框数和有效图片数。实际跑下来发现有些类虽然图片数够但单张图里目标特别多导致框数严重不均衡。例如几张国采集图里有几十颗蘑菇直接把这些类别整体 AP 拉高或拉低。后来我在构建数据集时限制了单张图最多标注12个目标多余的目标宁可删掉也不会让某一张图对训练造成过大的权重影响。2.3 数据增强组合怎么增才不会坏事YOLOX 自带 Mosaic、MixUp、HSV 扰动、随机翻转、尺度变换等增强手段。在 COCO 上这些增强是越多越稳但在蘑菇这种细粒度任务上我发现一个反直觉的现象MixUp 开太大反而效果变差。MixUp 会把两张图叠加在一起模型要同时判断两个类别的特征本来菌盖纹理差异就细微叠加后更容易学出混合类的特征。实测把 MixUp 概率从默认的 0.5 降到 0.1 之后验证集的 mAP 有可感知提升。Mosaic 增强倒是非常关键。野外蘑菇很小Mosaic 把四张图拼在一起等于变相缩小了目标的尺寸范围模型能见到更丰富的小目标样本。尤其是对那种长在落叶堆里的小型菇Mosaic 带来的尺度多样性比任何专门的超分辨率手段都管用。我只开 Mosaic、MixUp低概率、HSV 扰动、随机水平翻转关闭了垂直翻转因为蘑菇的朝向是有语义的菌盖朝上、菌柄朝下垂直翻转会把这种位置关系破坏掉。3. 训练配置背后的门道8x8批量、300轮次逐条拆解3.1 Batch Size 8 的显存逻辑和梯度质量很多人一看到 batch size 8 就觉得太小担心梯度噪声大。但这个量级对单卡训练很现实640 输入加 YOLOX_M 骨干单卡 batch 8 用 FP16 训练显存占用大概 8 到 10 GB一张 12 GB 的消费级显卡就能跑不用凑多卡。batch size 小的主要问题不在梯度精度而在 BatchNorm 统计量的估计。BN 层的均值和方差需要足够多样本来估计batch 8 时统计量波动大收敛容易抖动。我实际处理是用 8 卡同步 BN 或者梯度累积来缓解但局限是项目只允许单卡于是选择了一个更轻的方案关掉部分 BN 层改用 group norm 过渡。更重要的是学习率要跟着 batch 一起线性缩放。YOLOX 默认配置是在 batch 64 下使用学习率 0.01我改成 batch 8 后按线性缩放规则把学习率降到约 0.00125也就是 0.01 乘以 8 再除以 64。刚开始没缩时训练前几个 epoch loss 直接飙到 NaN后来一查就是学习率过大。这个小细节在 YOLOX 的 README 里没有重点写算是交了学费换来的经验。3.2 300轮次的训练节奏和Scheduler设计300 epoch 在 COCO 这类大数据量任务里是常规操作但对自建小数据集来说反而要担心过拟合。我看训练曲线的核心依据是验证集 mAP 是否还在上升如果训练集 loss 一路向下而验证集 mAP 连续 20 轮不涨就说明在硬记训练集了。YOLOX 默认的 warmup 是 5 epoch这个阶段把学习率从小到大暖起来避免 BN 统计量还没稳定时梯度就冲出去。之后用余弦退火学习率从峰值平滑降到接近零末尾阶段模型基本在做局部精修。EMA指数滑动平均在这里作用很大。训练过程中的模型权重会震荡直接拿最后一版权重预测往往不是最优解。YOLOX 默认开启 EMA我保留默认的 momentum 0.0001相当于每次迭代都把历史权重平滑一份最终预测用滑动平均权重稳定性和 mAP 都有小幅提升。如果你看到验证集曲线在最后 20 轮还在缓慢爬升大概率是 EMA 起作用了。3.3 输入尺寸、测试增强和锚框策略我直接用 640 输入训练。蘑菇这种小目标输入尺寸越大细节保留越多但显存和速度代价也越大。640 是 YOLOX_M 的一个均衡点太低比如 416时菌褶纹理已经糊成一片太高比如 896单卡 batch 8 就很吃力。推理时还可以开多尺度测试把同一张图缩放成 0.8 倍、1 倍、1.2 倍分别预测再合并结果能再涨 1 到 2 个点 mAP代价是推理时间翻几倍。我用在最终评测阶段实时部署时还是单尺度。YOLOX 是 anchor-free 模型不需要手动设计 anchor 尺寸这是个省心点。但要注意 SimOTA 的中心先验它要求真实框中心落入预测特征图的中心区域才候选对于长在图像边缘、被遮挡大半的蘑菇这个条件比较严格。我训练时额外做了一点随机裁剪增强故意让部分蘑菇被画面边界截断让模型学习从半个菌盖也能判断类别。4. 实操过程全记录从配置文件修改到训练监控4.1 环境和源码准备我用的是 PyTorch 1.9 加 CUDA 11.1Python 3.8YOLOX 源码直接克隆官方主线分支版本 commit 锁定在稳定节点。依赖安装用 requirements.txt 一把装完没有什么特殊技巧。有一点要提醒YOLOX 里有 coco 和 voc 两种数据接口默认的 exp 文件是按 COCO 写的如果标注格式不统一训练时大量报错都出现在 DataLoader 阶段不是模型问题。我建议把自建数据单独放一个目录不要让 YOLOX 去解析完整的 COCO 注释文件。很多字段在蘑菇数据里不存在比如 captions、area 为空的标注容易触发过滤逻辑。所以我在制作 json 时只保留了 images、annotations、categories 三个核心字段省得代码去兼容一堆用不到的键。4.2 修改配置文件的几个关键位置YOLOX 的配置文件是 Python 文件不是 yaml这给了很大的灵活性。我直接基于 yolox_m.py 复制了一份 mushroom_yolox_m.py改动点集中在数据集配置部分。核心配置如下# 类别配置 num_classes 12 class_names ( shiitake, oyster, enoki, button, porcini, chanterelle, amanita, russula, boletus_bad, morchella, agaricus_brown, lepiota ) # 数据路径 data_dir datasets/mushroom train_ann annotations/train.json val_ann annotations/val.json # 训练核心参数 batch_size 8 max_epoch 300 input_size (640, 640) lr 0.00125 ema True训练命令和 COCO 上跑官方 demo 几乎一样只是换成自己的 exp 文件python tools/train.py \ -f exps/mushroom/yolox_m_mushroom.py \ -d 1 \ -b 8 \ --fp16 \ -c yolox_m.pth这里 -c 加载的就是给定的 COCO 预训练权重。有个关键点YOLOX 的 exp 文件里默认会尝试加载自定义数据集类别数对应的头如果配置文件里 num_classes 不一致加载预训练权重时会把 head 部分跳过。所以一定会看到类似 key mismatch 的日志这是正常的不需要强行把 head 权重也搬过来。4.3 训练过程中的曲线读法启动训练后我会同时盯三块终端输出的 loss、验证集 mAP、以及训练集的上下文日志。YOLOX 的 logger 会在每个 epoch 结束时打印验证结果包括 mAP0.5 和 mAP0.5:0.95。我的实际走势大致是这样前 30 个 epoch模型还在适应蘑菇数据的分布mAP0.5 从 0.3 涨到 0.5 左右中间 100 个 epoch 涨得最快到 0.70 上下最后 100 个 epoch 进入缓慢爬坡期靠 EMA 和余弦退火磨到 0.78 到 0.80 之间。如果发现验证集 mAP 在某个 epoch 突然异常升高再骤降优先检查是不是验证时用了训练里的数据增强。YOLOX 训练时用 Mosaic验证时必须关掉否则验证集分布一直在变曲线会非常不稳定。我在 exps 文件里显式设置了 eval 阶段关闭增强这个逻辑容易忽略但影响极大。4.4 训练产物和权重选择训练目录下会生成 last_ckpt.pth 和 best_ckpt.pth。best_ckpt 是按验证集 mAP 保存的通常直接拿它做后续评估。但有几次我发现 best_ckpt 在单张样例上表现不如 last_ckpt原因是验证集太小最好模型在某一小批数据上过拟合了。遇到这种情况我额外做了 50 张野外实拍图的固定测试集用测试集上的平均 precision/recall 来决定最终权重而不是只看验证集指标。对 YOLOX 这种带 EMA 的训练方式best_ckpt 保存的其实是 EMA 权重的历史最优版本。源码默认在训练过程中每 10 个 epoch 保存一次我改成了每 5 个 epoch 保存方便回滚到具体某个阶段的模型做对比。这样训练 300 轮的成本被平均到每次对比实验里后续调整增强策略时不用重新从头来。5. 优化不只是调参从错误案例分析里压出来的精度5.1 混淆矩阵告诉我的关键信息训练结束后我导出验证集上全部预测结果生成 12x12 的混淆矩阵。最扎眼的是两类烟色磨菇之间的混淆可食用某牛肝菌和它的有毒近似种预测结果大量叠加几乎有 30% 的框把其中一个判成另一个。这两类形态差异本来就在菌盖边缘的微结构和菌柄颜色上常规训练下模型就容易把它们当成同一类。数据层面我补了 40 张侧面特写强调菌柄和菌环的可见区域后面混淆比例降了将近一半。还有一个有意思的发现模型会把小尺寸的某种浅色蘑菇误检成白色毒鹅膏类原因是毒鹅膏类在训练数据里大多是白色菌盖加白色菌柄有些平菇幼菇也是全白。我在后处理里针对这对特定类别加了一个规则当置信度低于 0.35 且两者分数接近时输出时同时显示两个候选让用户补充观察菌盖是否有鳞片等信息。这种决策逻辑只有在分析了混淆矩阵之后才想得到单纯调超参数是催不出来的。5.2 野外误检的真实案例拿模型去野外录了一段视频发现很多误检来自非蘑菇目标。落叶的圆形斑块、浸水的白色石子、树干上的苔藓凸起都会被框成蘑菇。根本原因是训练集里负样本太少。普通目标检测不需要专门收集负样本但在野外蘑菇场景里负样本的多样性直接决定误检率。我加了一批野外负样本图包含大量落叶堆、苔藓、白石子、树皮裂纹每张图标注文件留空让模型学会这些不是目标。这个操作让推理时的假阳性框数量下降了 60% 以上。另一个是低光照漏检。蘑菇在林下阴面拍摄时对比度极低检测框不稳定置信度在 0.2 到 0.3 之间徘徊。我实验了推理前先做 CLAHE 直方图均衡对暗部细节有改善。更稳妥的方案是在训练时把一部分图片随机降低亮度、加高斯噪声模拟低光照。增强后黄昏和树荫场景的召回率明显提升代价是正常光照下的 mAP 掉零点几个点综合看是值得的。5.3 后处理优化阈值、NMS和决策输出YOLOX 默认推理时 conf_thre 设得非常低0.001nms_thre 是 0.65这是为了在 COCO 评测上拿到更好的 recall。迁移到蘑菇场景后这么低的置信度阈值会输出大量噪声框。我把 conf_thre 提到 0.25实测 mAP 不掉误检框数从每张平均 5 个降到 0.5 个。NMS 我换成了 DIoU-NMS对重叠目标的抑制更平滑尤其是多个蘑菇挨在一起时普通 NMS 容易把相邻真实目标也抑制掉。决策输出环节也很重要。我最终识别页面不是直接打一个类名而是输出 Top-2 类别加置信度同时给出提示野外蘑菇辨识存在风险最终结果仅供生态观察参考不可作为食用依据。这个设计来自负责任 AI 的思路模型永远可能有错识别结果配上风险提示用户体验和安全性都会提升。对识别系统来说如何把不确定性传递给用户和模型精度一样是核心工作量。6. 常见问题与排查技巧实录6.1 显存不足、loss为NaN、mAP不涨我把训练过程中被问得最多的问题整理成了一张速查表这几种情况几乎每个人都可能遇到现象可能原因我验证过的解决方案单卡 batch 8 显存溢出输入尺寸太大或开了额外缓存用 FP16 训练关闭 cudnn benchmark确认不需要梯度累积时只跑单优化器训练初期 loss 直接 NaN学习率没随 batch 缩放从 0.01 降到 0.00125把 warmup epoch 增加到 10loss 下降但 mAP 长期不涨数据增强太强MixUp 概率过高把 MixUp 概率降到 0.1只保留 Mosaic HSV验证集 mAP 突然飙升再崩溃验证集跑进了训练增强在配置里强制 eval 阶段关闭所有增强误检框太多推理置信度阈值太低把 conf_thre 从 0.001 调到 0.25观察 mAP 和误检的平衡这些坑每一个我都真正踩过。尤其是学习率缩放那一次我浪费了整整两天去排查最后对照 YOLOX 源码的 SGD 默认设置才发现问题。如果刚入门建议第一次训练先在 COCO 自带子类上跑通再换自建数据这样能把数据问题和代码问题隔离开。6.2 自建数据和预测结果不对齐的问题还有一个隐蔽问题标注类别 id 和配置里的类别顺序不一致。YOLOX 的 json 读取方式不检查 class_names 是否和标注 id 对应如果你在标注工具里修改了类别顺序训练时错位会非常隐蔽检查预测类别才发现整个网络学的是错位的映射。我在 json 生成阶段打印了每个 category_id 对应的名称人工对照过一遍才放心。6.3 实测拍摄效果不如验证集的问题验证集 mAP 0.78 看起来还行但手持手机在野外实测感觉框忽大忽小、置信度飘。原因之一是我的验证集和训练集都来自同一批数据源分布太接近。后来我请朋友用手机在不同光线、距离、角度下拍了 200 张图完全独立标注形成独立测试集。在这套独立集上模型 mAP 只有 0.63这个数字才是真实可用性指标。做细粒度识别项目一定要留出一套现场拍摄、和训练数据来源不同的测试集否则上线前的高指标很可能是幻觉。7. 部署到真实场景的取舍和扩展方向7.1 模型导出和轻量化训练完后我需要把 PyTorch 权重导出成 ONNX再用 TensorRT 优化成可部署的 engine。YOLOX 源码里有 tools/export_onnx.py导出时要注意把测试阶段的预处理一起固化进去包括 letterbox 和归一化。我在导出时踩过一个很细的坑opencv 读图默认是 BGR 通道但推理前如果不转成 RGB颜色会发生整体偏移蘑菇的颜色类特征会整体乱掉。这个 bug 导致部署模型和训练模型的表现差了将近 10 个点查了很久才发现是通道顺序问题。TensorRT 用 FP16 精度导出后在目标设备上推理速度比 PyTorch 直接跑快了两倍以上。蘑菇检测的目标通常比较小我额外把最小检测尺寸限制在 32 像素以下防止推理结果里出现一堆小矩形噪声。如果部署到手机端可以考虑用 NCNN 或者 MNN 做进一步优化但需要先把检测头里的自定义算子重写比如 SimOTA 在推理端不需要可以裁剪掉。7.2 手机端实测体验和拍摄指引把模型部署到手机端后我发现了一件有趣的事模型检测效果上限反而不如拍摄习惯重要。距离太近会超出训练分布距离太远蘑菇在图上只有几个像素。我给用户加了拍摄引导保持 30 到 50 厘米距离、尽量平视菌盖侧面、单菇占画面的三分之一。这样的提示让实测识别准确率提升了 20% 多比换模型参数更直接。做这类细粒度识别项目解决端侧采集规范的问题往往比一味优化模型收益更大。7.3 后续可以继续扩展的方向这套方案已经能跑通但它还有明显的优化空间。一个是加入第二级细粒度分类先用 YOLOX_M 检出蘑菇框再把框裁剪出来送入一个专门做细粒度分类的小网络专门区分易混淆品种。另一个是引入注意力机制比如在骨干网络的最后几层插入 coordinate attention对细粒度特征做空间加权。我还在实验一种更自然的思路把蘑菇识别做成开放集问题检测器只负责定位识别交给带有外部知识库的图像检索链路这样新类别不需要重新训练检测头只需要扩充知识库就能覆盖新物种。频谱上的细节也可以继续做比如用多光谱相机拍摄菌盖在紫外光下的荧光反应这类信息对毒菌判别很有价值但这已经偏向硬件方案了。对大多数软件团队来说目前这套 YOLOX_M COCO 预训练 自建蘑菇数据集 300 轮调优的路线已经能支撑一个可用的蘑菇识别 Demo 或者小型应用。我个人在实际项目里得出最重要的体会是细粒度目标检测的瓶颈往往不在模型结构而在对任务本质的理解。COCO 预训练权重是一个好的起点但它不会替你解决细粒度差异batch size 8 和 300 epoch 只是参数真正的提升埋在对数据分布、错误模式、部署边界的反复分析里。如果让我重新做一遍我会更早去采集野外负样本更早在独立测试集上验证效果而不是在 COCO 评测指标上反复纠结。最后再分享一个小技巧保存权重时不要只存 best 和 last把训练过程中每 20 个 epoch 的权重都留下来后续做对比实验和回滚时会发现这个习惯救了很多次场。