棉田生长监测这件事，做农业视觉的人应该深有体会：无人机拍回来的正射影像分辨率很高，但地面棉株一进入封行期，棉铃、棉蕾全被叶片盖住，人工看图数起来又慢又晕。更麻烦的是，棉田目标天生就“小、密、遮挡多、环境变化大”，常规目标检测算法在这种场景下不是漏检就是重叠框打架。我这两年一直在折腾一套基于改进DINO-4scale模型的棉田作物生长监测与识别系统，从模型选型、数据处理到田间部署踩了不少坑，也积累了一套能直接复用的方案。这篇博客就是把这些经验完整拆出来，给做农业AI、遥感识别、或者想用DETR系模型做落地项目的朋友一个参考。这个系统本质上做三件事：识别棉田里的关键目标（棉铃、棉蕾、病害叶片、杂草），统计目标数量和空间分布，最后定位固定起来判断棉田生长阶段和异常程度。整套方案的核心算法是改进后的DINO-4scale检测模型，它不是简单的模型套用，而是在小目标召回率、遮挡目标分类、田间复杂背景抗干扰这三个方向上分别做了针对性改动。下面我会按照整个项目的推进顺序，把需求分析、模型设计、数据处理、训练调参、部署上线和问题排查的全部过程都讲一遍。1. 项目背景与需求拆解1.1 棉田监测到底要解决什么农业现场的需求往往听起来很简单，比如“想知道这块田现在有多少棉铃”“有没有棉铃虫危害”“杂草密度高不高”，但落到算法任务上就变成了一个复杂的目标检测问题。第一，棉铃尺寸在2到5厘米之间，无人机在20米高度航拍，影像分辨率按2厘米/像素算，一个成熟棉铃可能只占二三十个像素，属于典型的小目标。第二，棉花分枝多、叶片大，很多棉铃藏在叶幕下方，可见光影像里只有一小部分暴露出来，模型没法靠完整轮廓去识别。第三，棉蕾、棉铃、枯铃、棉叶病斑在颜色和纹理上非常接近，类别边界模糊，标注员都容易犯难，更别说模型。所以这套监测系统不是简单做一个“有没有棉花”的分类器，而是要在真实田间条件下做到可用。具体需求拆成三个维度：第一是识别的粒度，至少要能分清楚棉铃、棉蕾、病害斑块和主要杂草类别，而不是只输出一个笼统的“棉花目标”；第二是计数的稳定性，同一块田重复飞行两次，计数结果偏差不能超过10%，否则没法指导农事决策；第三是响应速度，无人机采集完一个架次的数据后，最好在短时间内完成全图推理，不能等到第二天才出结果。1.2 为什么选DINO系模型而不是YOLO系一开始团队内部也有争议，因为YOLO在工程上实在太成熟了，部署方便、推理快，很多农业检测项目默认就是YOLO。我当时的考虑是，棉田场景的难点不在“实时视频流”，而在“高分辨率大图的精细检测”。YOLO系模型在密集小目标场景里主要吃亏在两处：一是后处理依赖NMS，棉铃棉蕾挨得太近，NMS阈值稍微调低就大量合并，调高就产生大量重框；二是anchor机制对尺度变化敏感，棉铃尺寸分布宽，从刚结铃到吐絮膨大，更要不停调anchor。DINO作为DETR系端到端检测模型，直接去掉了NMS，通过集合预测的方式输出一组唯一的检测框，在密集场景下天然有优势。另外DINO解决的是原始DETR训练收敛慢和不稳定问题，它用“去噪训练”和“对比去噪”让模型在训练时更早学到准确的定位信号，而且本身就支持多尺度特征。DINO-4scale里的“4scale”就是输入给Transformer解码器的特征来自4个不同分辨率的特征层，这对多尺寸目标混存的情况非常重要。我们最后定的基线，就是基于DINO的4尺度版本，然后针对棉田细粒度目标做了二次改进。1.3 整体技术方案的三个关键拆解整个系统我分成三个模块来设计，刻意把算法和工程解耦。第一个模块是数据采集与自动标注，确定无人机航拍方案、地面采集车的拍照流程，以及标注规范和半自动标注工具链。第二个模块是模型训练与迭代，包含改进的DINO-4scale模型、训练配置、效果评估和困难样本挖掘。第三个模块是推理与田间应用，包括大图切片推理、目标计数、结果可视化和周期性重飞对比。这么拆的好处是，算法调优的时候不会因为数据格式混乱而返工，部署的时候也不会因为模型输入尺寸和切片策略没定好而推倒重来。在方案规划阶段，我把90%的精力压在了前两个模块，因为农业场景的数据质量和模型对“遮挡目标”的适应能力，决定了系统上线后的真正效果。2. 改进DINO-4scale模型的核心细节2.1 DINO-4scale基线回顾要讲清楚我做了什么改进，得先把DINO-4scale的工作原理简单过一遍。DINO整体还是Encoder-Decoder的Transformer结构。CNN骨干网络先提取特征，把不同尺度的特征图展平后送入Encoder；Decoder端有一组可学习的“目标查询”向量，这些查询向量通过交叉注意力机制从编码特征中“捞出”目标对应的位置和类别信息，最后直接输出预测框和类别概率。DINO最大的特点是引入锚点框作为查询的初始化，并且通过混合查询、查询选择和去噪训练来稳定训练过程。在DINO的配置里，“4scale”表示用了4个特征层级。以常见的ResNet50骨干为例，从C3到C5（stride分别为8、16、32）以及C5经过额外卷积得到的C6层，共同组成四层多尺度特征。多尺度特征输入给可变形注意力模块后，每个查询会围绕锚点附近的参考点，自适应采样不同特征层的若干个采样点，这让模型天然具备跨尺度匹配目标的能力。但直接用这个基线跑棉田数据，我在实验里发现了两个明显短板。第一，棉桃棉蕾集中在中小尺度，C3层级的分辨率还不够，很多只有十几个像素的目标没有充分利用到浅层高分辨率特征。第二，棉叶遮挡导致目标只露出一部分时，模型预测的置信度普遍偏低，容易漏检。此外还有类别混淆，病害斑和棉蕾在颜色上接近，仅仅靠视觉特征很容易错。2.2 改进点一：增加P2浅层特征参与跨尺度融合针对小目标召回率不高的问题，我做的第一个改动是增加P2层级，也就是stride为4的浅层高分辨率特征图。骨干网络输出的C2特征图具有最丰富的空间细节，但传统DINO-4scale里并不用它，因为直接加进来会显著增加计算量，而且浅层特征语义噪声也比较大。我的做法不是简单把P2粗暴塞进特征金字塔，而是加了一个轻量级跨尺度特征融合模块。具体来说，我对C2特征先做通道压缩，把维度降到与C3一致，然后和上采样后的C3语义特征做逐像素加权融合，权重由一个轻量的注意力分支实时生成。公式上就是P2_out = alpha * C2_down + (1 - alpha) * up(C3_sem)，其中的alpha由网络自适应学习，训练初期偏小，优先保证语义稳定性，训练后期会逐渐加大对空间细节的依赖。这个模块很轻，参数量增加不到5%，但小目标召回率提升明显。我前后对比过直接加P2、使用普通FPN和带注意力融合三种方案，带注意力融合那版在棉铃这个类上的AP提升是最可观的。2.3 改进点二：正负查询对比去噪的农田适配DINO训练时有一个关键组件叫去噪训练，做法是把真实目标框做不同程度的缩放和偏移扰动，生成带噪声的正样本和负样本查询，要求模型在解码器前几层把这些“被噪声污染”的查询还原到正确框。这种做法好处是训练早期就给模型很强的定位监督，避免Transformer解码器冷启动。我在实际跑棉田数据时发现，标准的去噪训练对“部分遮挡目标”不够友好。因为棉铃被叶子挡了一半，真实框和可见区域差异很大，如果扰动范围设置太死板，模型会误把遮挡当作噪声，学到错误的边界。所以我把去噪训练做了农田化适配：对正样本查询的扰动范围从固定的0.4改为动态缩放，遮挡比例估计高的目标采用更大的扰动尺度，同时在后半段训练里额外引入了“软负样本”，也就是只与真实框有部分重叠但并不完整的预测候选，让模型学会区分“被遮挡但真实存在”和“底色背景”的边界。这个改进属于训练策略层面的调整，完全不需要改变模型前向结构，只在损失加权和样本构造上做文章。对比实验发现，棉铃类别的准确率保持稳定，召回率提高了两个多点。尤其对行间滴灌带阴影下的目标，之前的模型经常漏，改进后误检和漏检都明显减少。2.4 改进点三：类别解耦头与细粒度分类分支原版DINO的分类分支是一个简单线性层，负责输出类别概率。棉田里棉蕾、幼铃、病斑这三类外观上存在相似性，但空间上下文差异很大：棉蕾通常着生在果枝顶端，幼铃紧贴着蕾柄，病斑则集中在叶片中。为了利用这些上下文信息，我重新设计了检测头，把目标分类改为“粗类别+细类别”解耦结构。粗类别判断是不是目标，细类别判断到底是棉铃、棉蕾、病斑还是杂草。细类别分支输入不仅包括当前查询对应的ROI特征，还包括了周围一个扩大区域的空间上下文特征。这么做的灵感来自一个很朴素的观察：田间人眼判定棉铃时，并不会只盯着一个点看，而是会看周围果枝的分布、叶片颜色、是否有萼片包裹。模型也应当具备这种“周边视觉”。解耦头的代价是解码器输出维度增加了一点，但收敛速度反而更快了，因为粗分类任务把大量背景样本在前置分支消化掉了，细分类分支只需要专注在真正有歧义的目标上做区分。2.5 损失函数和训练策略的调优模型配置确定后，损失函数是整个训练最容易出细节问题的地方。DINO本身的损失包括分类损失（Focal Loss）、边界框回归损失（L1 + GIoU）以及去噪损失。我在农业场景里做了一处调整：把分类损失从标准Focal Loss改成带“实例困难度”加权的Focal Loss。困难度怎么算？训练过程中维护每个锚点查询的历史最大IoU，IoU长期处于中等区间（0.3到0.6）的目标就判定为困难样本，加权系数调高。这实际上是借鉴了在线难例挖掘的思想，让模型把注意力集中到棉田里那些边界模糊、遮挡严重的“老大难”目标上。另外，我把去噪损失的权重按照训练轮次做了warm-up设置。前10个epoch权重从0.3线性升到0.8，后面保持稳定；这么做是为了避免训练初期损失过于集中在去噪分支上，导致主损失信号被稀释。我在实验里对比过固定权重和动态权重，动态权重的收敛损失曲线更平滑，最终mAP高出约0.8个百分点。3. 数据是最大的成本：棉田数据准备与标注实践3.1 数据采集方案与时空覆盖模型再强，数据不行也一样白搭。棉田数据采集是整个项目里时间成本最高的一环。我采用的采集方案分三个层次：第一层是无人机航拍，飞行高度控制在15到25米，使用正射相机，地面分辨率控制在1.5到2.5厘米/像素，覆盖整块棉田的大场景；第二层是地面近景采集，用自走式采集车沿棉行低速行驶，镜头朝斜下方45度拍摄，专门采集无人机看不到的叶片遮挡部位和底层棉铃；第三层是手持设备补拍，针对病害叶片、杂草这类需要近看的对象，用手机或微单贴近拍摄。采集的时空覆盖一定要做够。时间维度上，棉花从苗期、蕾期、花铃期到吐絮期，每个阶段目标形态差异都非常大，不能用同一个时期的照片训练完就指望全生育期可用。我这边按每半个月一个周期采集一轮，完整覆盖了四个主生育阶段。空间维度上，要覆盖不同品种、不同密度种植模式、不同土壤背景（膜上种植、裸地、滴灌带分布）。如果只在一两个地块采集，模型换到别的棉田必然崩。3.2 标签体系设计：类别与属性怎么定标签体系我前后改了三次，最后定下来的方案是类别+属性的两级结构。一级类别包括四类：棉铃（包含幼铃和成铃）、棉蕾、病害叶片、主要杂草。二级属性是可选的，不参与Loss计算，但会在后处理里使用，比如棉铃的“露白”“吐絮”状态、棉蕾的“展开/未展开”状态。属性标注工作量很大，所以只对抽样帧标注。在标注边境标注规则上，最核心的一条是“遮挡目标必须标”。一开始标注员会把被叶片遮挡超过一半的棉铃直接忽略，结果训练出来的模型对遮挡目标天然盲区。后来改了规则：只要目标主体轮廓可辨认，哪怕只露30%，也要标出来；完全看不见的不标。同时增加一个属性字段标记遮挡程度：可见比例大于50%记为0，30%到50%记为1，小于30%记为2。这样既能教会模型识别遮挡目标，也能在后处理时按遮挡程度分档统计，农学上也有意义。3.3 数据增强：模拟田间遮挡和光照变化棉田数据量有限，依赖外部预训练权重的基础上，数据增强就成了提高泛化能力的关键。我用的增强组合包括常用的Mosaic、MixUp、HSV抖动、随机旋转和尺度变换，但真正影响大的是两类针对性增强。第一类是“模拟遮挡增强”。从训练集里随机裁剪真实棉花叶片作为遮挡块，粘贴在任何目标的上方，并以随机比例遮挡目标区域。相当于在训练时人为制造更多遮挡样本，让模型不因为目标被部分覆盖就大幅掉置信度。第二类是不同地物背景混合增强。把棉田里的滴灌带、地膜、杂草背景块单独提取出来，叠加在目标周围，模拟杂草丛生和背景杂乱的情况。增强比例上，模拟遮挡增强在后期训练的40个epoch里逐步加大，最后控制在总体样本的30%左右。具体操作用到了开源框架里的自定义数据管线，在YAML配置文件里就可以灵活组合，不用动模型代码。需要特别提醒的是，农业图像增强时不要盲目使用颜色反转或者强锐化，这类增强会破坏叶片和棉铃的纹理真实性，反而导致模型对真实田间图像的适应性下降。3.4 标注质量控制和半自动标注几千张图像、几万个实例，全靠人工标注既慢又容易出错。我采用的流程是“自动预标注 + 人工精修”。先训练一个初版模型跑一遍全部影像，生成带置信度的预标注框，标注员在标注工具里只做确认、删减、移动边框和修改类别。但这里面有一个陷阱：如果预标注模型的错误率偏高，标注员会产生“锚定效应”，会无意识地接受模型给出的错误边界。所以我在流程里加了反锚定机制：把大约20%的预标注框做随机偏移和缩放，强制标注员必须手动修正每个框，不能只点“接受全部”。最终每张图都经过二次抽检，抽检比例不低于15%，并对两次标注不一致的地方做仲裁复盘，形成标注规范文档的持续更新。4. 训练调参与评估的完整记录4.1 硬件环境与训练配置整个资源不算豪华：两台拥有24G显存的GPU服务器，训练数据总量约8000张图像，四类目标标注实例总数四万多。训练框架选用PyTorch为基础实现的DINO工程，在此基础上改网络结构。超参数方面我给出实际可复现的一组配置：输入尺寸短边800、长边1333，优化器AdamW，初始学习率主网络1e-4，骨干网络1e-5（因为骨干用到了预训练权重，学习率小了防止灾难性遗忘），权重衰减0.05，批次大小每卡4张，两张卡共8批，总共训练72个epoch，前5个epoch做线性warm-up。骨干网络采用ImageNet预训练初始化。只做检测任务，骨干没继续冻住，而是低学习率参与训练。batch size这件事很重要，DETR系模型对batch size不敏感，但去噪训练依赖一定量的正样本统计，8这个数字在对比实验里明显比4稳定。显存允许的话，batch size不要太小。4.2 评估指标与结果分析模型评价不能只看一个mAP。我同时统计了四类目标的AP50、AP75、AR（平均召回率），以及小目标（面积小于32×32像素）的AP_small和遮挡目标子集的AP_occ。因为棉田更看重“有没有漏掉”，所以召回率指标在这套系统里的权重要高于精确率。实测数据列一下，改进后的模型在验证集上的总体AP50约为87.2%，mAP（COCO指标，IoU从0.5到0.95取平均）约为72.5%。类别上，棉蕾AP50最高达到91%，棉铃因为遮挡问题AP50为84.6%，病害叶片由于部分病斑早期非常小，AP50只有78.9%。专门统计的遮挡目标子集上，改进模型的AP50比基线DINO-4scale提升了将近7个百分点。这些数字是在固定地块划分的验证集上得到的，整体符合田间使用预期。有一点必须说明，验证集的划分方式我用了“按地块划分”而不是“按图像随机划分”。随机划分会把同一架次、同一地块的图像同时分到训练和验证集中，看似指标很高，实际上模型见过的场景已经泄露了，换到新地块效果立刻跳水。按地块划分后的指标才真实反映跨地块泛化能力。4.3 训练过程中的典型问题与排查训练里遇到最头疼的问题是去噪训练分支导致Loss在前几个epoch剧烈震荡，一度怀疑代码有bug。排查后发现是去噪查询生成时对目标的随机噪声尺度过大，和当前学习率不匹配。我把噪声标准差从0.8下调到0.5，并配合warm-up学习率，震荡问题才缓解。第二个常见问题是内存爆炸。4scale多尺度特征加P2融合分支后，Encoder输入token数量大幅增加，24G显存在batch size为8时会出现OOM。解决思路是把P2融合分支里的高分辨率特征图做下采样后再输入Encoder，只保留叠加信息，而不是把原始P2完整喂给Transformer。这样既保住了小目标的细节响应，又控制了显存占用。第三个是过拟合问题，表现在验证集指标下降到某个点后不再提升，训练损失继续下降。这个问题靠增强和早停只能缓解，根本解法还是补充大量不同地块、不同光照下采集的新数据。我在第二轮迭代里增加了大约3000张跨地块图像，验证集mAP立刻提升了2个百分点。5. 从模型到系统：推理部署与现场修正5.1 大图切片推理策略田间图像是几千像素乘几千像素的无人机正射图，直接缩放后送进模型会损失大量小目标细节。我的做法是切片推理：把大图按固定尺寸切成瓦片，瓦片之间保留重叠区域，重叠率设置为15%到20%。重叠的目的是防止目标被切在瓦片边缘导致截断不完整，推理时每个瓦片独立输出检测结果，再根据目标框中心点做重叠区域的去重合并。切片尺寸的选择需要综合考虑显存和上下文信息。尺寸太小，单个棉铃可能不到几个像素，且缺少周围果枝的上下文；尺寸太大，小目标数量多，容易卡显存。我最终使用1024×1024的切片尺寸，在推理设备上单瓦片耗时约80毫秒，一块标准棉田的整图大概切成400个瓦片，并行处理后全图推理不超过30秒。5.2 模型导出与加速DETR系模型部署比CNN模型稍麻烦一些，因为很多推理引擎对Transformer动态形状的支持不够友好。我先做了ONNX导出，固定输入尺寸为1024×1024，然后转成推理引擎专用的IR格式，开启FP16精度，做图优化。这里特别要注意的是，ONNX导出时必须把DETR解码器里的循环结构转换成静态图，或者在推理框架里用插件方式补上动态部分，否则导出会报错或产出的引擎结果和PyTorch不一致。FP16精度在棉田场景里实测几乎没有掉点，mAP降幅在0.3%以内，推理速度提升接近一倍。如果边缘设备更弱，还可以做进一步的模型蒸馏，用大模型输出作为软标签训练一个轻量小模型，但在我这套场景里FP16已经满足时效要求，就没有继续压缩。5.3 目标计数与生长监测分析检测框出来后，系统还要把“框”变成“农事结论”。棉田管理通常按取样点统计，系统把检测结果投影到地理坐标上，按田块网格聚合。比如每个网格统计棉铃密度、棉蕾数量、病害叶片比例，输出一张棉田长势分级热力图。计数去重是关键。同一株棉花可能出现在相邻瓦片的重叠区，如果直接累加就会重复计数。我用的是目标中心点去重结合多帧跟踪匹配，对同一地块多次飞行的结果做空间对齐，只统计新增的目标，从而监测棉铃生长增量。这个功能在实际使用中非常有用，棉农可以直观看到一周内哪些区域棉铃增长慢、哪些区域病害扩散快。这里的一个经验是，计数结果一定要给出置信度区间，不要输出精确到个位数的数字，因为模型本身有漏检，精确数反而误导决策。我在系统里同时输出“模型识别数”和“校正系数”，让使用者自己判断。5.4 已知限制和对抗场景处理这套系统的限制也很明显：只能在可见光条件下工作，遇到阴天、雾天、正午强逆光，检测效果会下滑。应对办法是在数据采集时加入不同天气时段样本，同时对极端光照图像做预处理归一化。棉田行间杂草和棉苗在苗期形态非常相似，再强的模型也会混淆。我的做法是引入地理先验：棉苗通常排列在播种行线上，杂草更多出现在行间或地头，利用空间位置先验做二次过滤，能纠正一部分类别误判。系统更新迭代时还有一个容易踩的坑：新模型改进了某些类别，但可能在旧模型擅长的类别上回退。上线前必须做回归测试，就是固定一批覆盖各种场景的永久验证集，确保新模型在所有核心场景上的关键指标不出现明显回退，然后再灰度发布。6. 常见问题与排查速查6.1 问题速查表下面这组问题是我在实际训练和部署中反复遇到的，整理成表格方便快速定位。问题现象可能原因对应解决方案训练Loss震荡严重去噪扰动尺度过大、学习率偏高降低噪声标准差、加强warm-up棉铃小目标几乎不检浅层特征缺失、输入分辨率不够增加P2融合、提高输入图像短边验证集高但换地块崩按图像随机划分导致数据泄露改成按地块/按航次划分遮挡目标置信度低训练样本中遮挡目标过少加入模拟遮挡增强、强制标注遮挡目标推理时内存溢出DETR解码器动态形状、显存不足固定输入尺寸、开启FP16、减小batch相邻瓦片重复计数瓦片重叠去重逻辑不完善按目标中心点去重、重叠区域IoU合并棉蕾和病斑混淆类别间视觉纹理接近增加上下文特征解耦头、扩大标注样本雾天/阴天效果下降可见光成像受天气影响采集多气象数据、图像增强归一化6.2 工程层面的避坑经验农业AI项目里，算法只占一半，另一半是工程和流程。第一，文件命名和版本管理不能乱，每轮数据采集都要记录地块编码、飞行高度、天气、日期，模型训练时要把这些元信息一并记录到日志里，否则后期排查数据问题根本无从下手。第二，标注规范要前置，最好在采集第一批数据时就同步定好，不要边标边改规则，否则之前标好的图全部要返工。第三，模型训练要有一个固定的“不可变验证集”，所有迭代版本都在这上面跑，保证指标可对比。在模型迭代策略上，我的体会是“小步快跑”优于“憋大招”。不要等所有数据收齐、所有模块都完美了再训练第一版，而是先拿一批数据训练一个粗糙模型，用来支撑数据质检和困难样本梳理。很多标注错误和采集盲区都是第一版模型的失败案例“逼”出来的，越早看到这些失败，数据闭环就越早转起来。6.3 从研究到落地的三个认知这个过程做下来，我有几个认知层面的体会。第一，用户永远不关心你的模型叫什么名字，只关心你能不能数清棉铃、能不能告诉他哪块地生病了。所以在系统设计上，算法模块和业务模块的接口要尽量简单，业务侧只消费“框+类别+置信度+空间坐标”这几个字段就够了。第二，改进模型不要贪多。DINO本身已经很强，我实际有效的改进也就是三点：P2融合、去噪训练适配、类别解耦头。改太多模块会引入大量变量，出了问题很难定位。第三，数据策略比网络结构更影响最终效果。我后期几乎一半的时间在补数据和修标注，模型结构基本冻结，但每次数据层面的优化带来的提升都实实在在。按照这套流程，我后来又把这个系统扩展到了其他作物上，比如油菜花期的角果识别、果园幼果期的果径估测，核心模型改动很小，主要是重新采集数据、调整类别标签体系。这也说明，改进DINO-4scale这类检测模型本身并不是终点，把它变成一套能快速适配不同农业场景的“数据 + 模型 + 部署”流水线，才是更有价值的事。如果正在读这篇博客的你也要做类似项目，我建议先花两周时间把数据规范和验证集定好，再动手改模型结构，这样的顺序能少走很多弯路。
棉田生长监测这件事，做农业视觉的人应该深有体会：无人机拍回来的正射影像分辨率很高，但地面棉株一进入封行期，棉铃、棉蕾全被叶片盖住，人工看图数起来又慢又晕。更麻烦的是，棉田目标天生就“小、密、遮挡多、环境变化大”，常规目标检测算法在这种场景下不是漏检就是重叠框打架。我这两年一直在折腾一套基于改进DINO-4scale模型的棉田作物生长监测与识别系统，从模型选型、数据处理到田间部署踩了不少坑，也积累了一套能直接复用的方案。这篇博客就是把这些经验完整拆出来，给做农业AI、遥感识别、或者想用DETR系模型做落地项目的朋友一个参考。这个系统本质上做三件事：识别棉田里的关键目标（棉铃、棉蕾、病害叶片、杂草），统计目标数量和空间分布，最后定位固定起来判断棉田生长阶段和异常程度。整套方案的核心算法是改进后的DINO-4scale检测模型，它不是简单的模型套用，而是在小目标召回率、遮挡目标分类、田间复杂背景抗干扰这三个方向上分别做了针对性改动。下面我会按照整个项目的推进顺序，把需求分析、模型设计、数据处理、训练调参、部署上线和问题排查的全部过程都讲一遍。1. 项目背景与需求拆解1.1 棉田监测到底要解决什么农业现场的需求往往听起来很简单，比如“想知道这块田现在有多少棉铃”“有没有棉铃虫危害”“杂草密度高不高”，但落到算法任务上就变成了一个复杂的目标检测问题。第一，棉铃尺寸在2到5厘米之间，无人机在20米高度航拍，影像分辨率按2厘米/像素算，一个成熟棉铃可能只占二三十个像素，属于典型的小目标。第二，棉花分枝多、叶片大，很多棉铃藏在叶幕下方，可见光影像里只有一小部分暴露出来，模型没法靠完整轮廓去识别。第三，棉蕾、棉铃、枯铃、棉叶病斑在颜色和纹理上非常接近，类别边界模糊，标注员都容易犯难，更别说模型。所以这套监测系统不是简单做一个“有没有棉花”的分类器，而是要在真实田间条件下做到可用。具体需求拆成三个维度：第一是识别的粒度，至少要能分清楚棉铃、棉蕾、病害斑块和主要杂草类别，而不是只输出一个笼统的“棉花目标”；第二是计数的稳定性，同一块田重复飞行两次，计数结果偏差不能超过10%，否则没法指导农事决策；第三是响应速度，无人机采集完一个架次的数据后，最好在短时间内完成全图推理，不能等到第二天才出结果。1.2 为什么选DINO系模型而不是YOLO系一开始团队内部也有争议，因为YOLO在工程上实在太成熟了，部署方便、推理快，很多农业检测项目默认就是YOLO。我当时的考虑是，棉田场景的难点不在“实时视频流”，而在“高分辨率大图的精细检测”。YOLO系模型在密集小目标场景里主要吃亏在两处：一是后处理依赖NMS，棉铃棉蕾挨得太近，NMS阈值稍微调低就大量合并，调高就产生大量重框；二是anchor机制对尺度变化敏感，棉铃尺寸分布宽，从刚结铃到吐絮膨大，更要不停调anchor。DINO作为DETR系端到端检测模型，直接去掉了NMS，通过集合预测的方式输出一组唯一的检测框，在密集场景下天然有优势。另外DINO解决的是原始DETR训练收敛慢和不稳定问题，它用“去噪训练”和“对比去噪”让模型在训练时更早学到准确的定位信号，而且本身就支持多尺度特征。DINO-4scale里的“4scale”就是输入给Transformer解码器的特征来自4个不同分辨率的特征层，这对多尺寸目标混存的情况非常重要。我们最后定的基线，就是基于DINO的4尺度版本，然后针对棉田细粒度目标做了二次改进。1.3 整体技术方案的三个关键拆解整个系统我分成三个模块来设计，刻意把算法和工程解耦。第一个模块是数据采集与自动标注，确定无人机航拍方案、地面采集车的拍照流程，以及标注规范和半自动标注工具链。第二个模块是模型训练与迭代，包含改进的DINO-4scale模型、训练配置、效果评估和困难样本挖掘。第三个模块是推理与田间应用，包括大图切片推理、目标计数、结果可视化和周期性重飞对比。这么拆的好处是，算法调优的时候不会因为数据格式混乱而返工，部署的时候也不会因为模型输入尺寸和切片策略没定好而推倒重来。在方案规划阶段，我把90%的精力压在了前两个模块，因为农业场景的数据质量和模型对“遮挡目标”的适应能力，决定了系统上线后的真正效果。2. 改进DINO-4scale模型的核心细节2.1 DINO-4scale基线回顾要讲清楚我做了什么改进，得先把DINO-4scale的工作原理简单过一遍。DINO整体还是Encoder-Decoder的Transformer结构。CNN骨干网络先提取特征，把不同尺度的特征图展平后送入Encoder；Decoder端有一组可学习的“目标查询”向量，这些查询向量通过交叉注意力机制从编码特征中“捞出”目标对应的位置和类别信息，最后直接输出预测框和类别概率。DINO最大的特点是引入锚点框作为查询的初始化，并且通过混合查询、查询选择和去噪训练来稳定训练过程。在DINO的配置里，“4scale”表示用了4个特征层级。以常见的ResNet50骨干为例，从C3到C5（stride分别为8、16、32）以及C5经过额外卷积得到的C6层，共同组成四层多尺度特征。多尺度特征输入给可变形注意力模块后，每个查询会围绕锚点附近的参考点，自适应采样不同特征层的若干个采样点，这让模型天然具备跨尺度匹配目标的能力。但直接用这个基线跑棉田数据，我在实验里发现了两个明显短板。第一，棉桃棉蕾集中在中小尺度，C3层级的分辨率还不够，很多只有十几个像素的目标没有充分利用到浅层高分辨率特征。第二，棉叶遮挡导致目标只露出一部分时，模型预测的置信度普遍偏低，容易漏检。此外还有类别混淆，病害斑和棉蕾在颜色上接近，仅仅靠视觉特征很容易错。2.2 改进点一：增加P2浅层特征参与跨尺度融合针对小目标召回率不高的问题，我做的第一个改动是增加P2层级，也就是stride为4的浅层高分辨率特征图。骨干网络输出的C2特征图具有最丰富的空间细节，但传统DINO-4scale里并不用它，因为直接加进来会显著增加计算量，而且浅层特征语义噪声也比较大。我的做法不是简单把P2粗暴塞进特征金字塔，而是加了一个轻量级跨尺度特征融合模块。具体来说，我对C2特征先做通道压缩，把维度降到与C3一致，然后和上采样后的C3语义特征做逐像素加权融合，权重由一个轻量的注意力分支实时生成。公式上就是P2_out = alpha * C2_down + (1 - alpha) * up(C3_sem)，其中的alpha由网络自适应学习，训练初期偏小，优先保证语义稳定性，训练后期会逐渐加大对空间细节的依赖。这个模块很轻，参数量增加不到5%，但小目标召回率提升明显。我前后对比过直接加P2、使用普通FPN和带注意力融合三种方案，带注意力融合那版在棉铃这个类上的AP提升是最可观的。2.3 改进点二：正负查询对比去噪的农田适配DINO训练时有一个关键组件叫去噪训练，做法是把真实目标框做不同程度的缩放和偏移扰动，生成带噪声的正样本和负样本查询，要求模型在解码器前几层把这些“被噪声污染”的查询还原到正确框。这种做法好处是训练早期就给模型很强的定位监督，避免Transformer解码器冷启动。我在实际跑棉田数据时发现，标准的去噪训练对“部分遮挡目标”不够友好。因为棉铃被叶子挡了一半，真实框和可见区域差异很大，如果扰动范围设置太死板，模型会误把遮挡当作噪声，学到错误的边界。所以我把去噪训练做了农田化适配：对正样本查询的扰动范围从固定的0.4改为动态缩放，遮挡比例估计高的目标采用更大的扰动尺度，同时在后半段训练里额外引入了“软负样本”，也就是只与真实框有部分重叠但并不完整的预测候选，让模型学会区分“被遮挡但真实存在”和“底色背景”的边界。这个改进属于训练策略层面的调整，完全不需要改变模型前向结构，只在损失加权和样本构造上做文章。对比实验发现，棉铃类别的准确率保持稳定，召回率提高了两个多点。尤其对行间滴灌带阴影下的目标，之前的模型经常漏，改进后误检和漏检都明显减少。2.4 改进点三：类别解耦头与细粒度分类分支原版DINO的分类分支是一个简单线性层，负责输出类别概率。棉田里棉蕾、幼铃、病斑这三类外观上存在相似性，但空间上下文差异很大：棉蕾通常着生在果枝顶端，幼铃紧贴着蕾柄，病斑则集中在叶片中。为了利用这些上下文信息，我重新设计了检测头，把目标分类改为“粗类别+细类别”解耦结构。粗类别判断是不是目标，细类别判断到底是棉铃、棉蕾、病斑还是杂草。细类别分支输入不仅包括当前查询对应的ROI特征，还包括了周围一个扩大区域的空间上下文特征。这么做的灵感来自一个很朴素的观察：田间人眼判定棉铃时，并不会只盯着一个点看，而是会看周围果枝的分布、叶片颜色、是否有萼片包裹。模型也应当具备这种“周边视觉”。解耦头的代价是解码器输出维度增加了一点，但收敛速度反而更快了，因为粗分类任务把大量背景样本在前置分支消化掉了，细分类分支只需要专注在真正有歧义的目标上做区分。2.5 损失函数和训练策略的调优模型配置确定后，损失函数是整个训练最容易出细节问题的地方。DINO本身的损失包括分类损失（Focal Loss）、边界框回归损失（L1 + GIoU）以及去噪损失。我在农业场景里做了一处调整：把分类损失从标准Focal Loss改成带“实例困难度”加权的Focal Loss。困难度怎么算？训练过程中维护每个锚点查询的历史最大IoU，IoU长期处于中等区间（0.3到0.6）的目标就判定为困难样本，加权系数调高。这实际上是借鉴了在线难例挖掘的思想，让模型把注意力集中到棉田里那些边界模糊、遮挡严重的“老大难”目标上。另外，我把去噪损失的权重按照训练轮次做了warm-up设置。前10个epoch权重从0.3线性升到0.8，后面保持稳定；这么做是为了避免训练初期损失过于集中在去噪分支上，导致主损失信号被稀释。我在实验里对比过固定权重和动态权重，动态权重的收敛损失曲线更平滑，最终mAP高出约0.8个百分点。3. 数据是最大的成本：棉田数据准备与标注实践3.1 数据采集方案与时空覆盖模型再强，数据不行也一样白搭。棉田数据采集是整个项目里时间成本最高的一环。我采用的采集方案分三个层次：第一层是无人机航拍，飞行高度控制在15到25米，使用正射相机，地面分辨率控制在1.5到2.5厘米/像素，覆盖整块棉田的大场景；第二层是地面近景采集，用自走式采集车沿棉行低速行驶，镜头朝斜下方45度拍摄，专门采集无人机看不到的叶片遮挡部位和底层棉铃；第三层是手持设备补拍，针对病害叶片、杂草这类需要近看的对象，用手机或微单贴近拍摄。采集的时空覆盖一定要做够。时间维度上，棉花从苗期、蕾期、花铃期到吐絮期，每个阶段目标形态差异都非常大，不能用同一个时期的照片训练完就指望全生育期可用。我这边按每半个月一个周期采集一轮，完整覆盖了四个主生育阶段。空间维度上，要覆盖不同品种、不同密度种植模式、不同土壤背景（膜上种植、裸地、滴灌带分布）。如果只在一两个地块采集，模型换到别的棉田必然崩。3.2 标签体系设计：类别与属性怎么定标签体系我前后改了三次，最后定下来的方案是类别+属性的两级结构。一级类别包括四类：棉铃（包含幼铃和成铃）、棉蕾、病害叶片、主要杂草。二级属性是可选的，不参与Loss计算，但会在后处理里使用，比如棉铃的“露白”“吐絮”状态、棉蕾的“展开/未展开”状态。属性标注工作量很大，所以只对抽样帧标注。在标注边境标注规则上，最核心的一条是“遮挡目标必须标”。一开始标注员会把被叶片遮挡超过一半的棉铃直接忽略，结果训练出来的模型对遮挡目标天然盲区。后来改了规则：只要目标主体轮廓可辨认，哪怕只露30%，也要标出来；完全看不见的不标。同时增加一个属性字段标记遮挡程度：可见比例大于50%记为0，30%到50%记为1，小于30%记为2。这样既能教会模型识别遮挡目标，也能在后处理时按遮挡程度分档统计，农学上也有意义。3.3 数据增强：模拟田间遮挡和光照变化棉田数据量有限，依赖外部预训练权重的基础上，数据增强就成了提高泛化能力的关键。我用的增强组合包括常用的Mosaic、MixUp、HSV抖动、随机旋转和尺度变换，但真正影响大的是两类针对性增强。第一类是“模拟遮挡增强”。从训练集里随机裁剪真实棉花叶片作为遮挡块，粘贴在任何目标的上方，并以随机比例遮挡目标区域。相当于在训练时人为制造更多遮挡样本，让模型不因为目标被部分覆盖就大幅掉置信度。第二类是不同地物背景混合增强。把棉田里的滴灌带、地膜、杂草背景块单独提取出来，叠加在目标周围，模拟杂草丛生和背景杂乱的情况。增强比例上，模拟遮挡增强在后期训练的40个epoch里逐步加大，最后控制在总体样本的30%左右。具体操作用到了开源框架里的自定义数据管线，在YAML配置文件里就可以灵活组合，不用动模型代码。需要特别提醒的是，农业图像增强时不要盲目使用颜色反转或者强锐化，这类增强会破坏叶片和棉铃的纹理真实性，反而导致模型对真实田间图像的适应性下降。3.4 标注质量控制和半自动标注几千张图像、几万个实例，全靠人工标注既慢又容易出错。我采用的流程是“自动预标注 + 人工精修”。先训练一个初版模型跑一遍全部影像，生成带置信度的预标注框，标注员在标注工具里只做确认、删减、移动边框和修改类别。但这里面有一个陷阱：如果预标注模型的错误率偏高，标注员会产生“锚定效应”，会无意识地接受模型给出的错误边界。所以我在流程里加了反锚定机制：把大约20%的预标注框做随机偏移和缩放，强制标注员必须手动修正每个框，不能只点“接受全部”。最终每张图都经过二次抽检，抽检比例不低于15%，并对两次标注不一致的地方做仲裁复盘，形成标注规范文档的持续更新。4. 训练调参与评估的完整记录4.1 硬件环境与训练配置整个资源不算豪华：两台拥有24G显存的GPU服务器，训练数据总量约8000张图像，四类目标标注实例总数四万多。训练框架选用PyTorch为基础实现的DINO工程，在此基础上改网络结构。超参数方面我给出实际可复现的一组配置：输入尺寸短边800、长边1333，优化器AdamW，初始学习率主网络1e-4，骨干网络1e-5（因为骨干用到了预训练权重，学习率小了防止灾难性遗忘），权重衰减0.05，批次大小每卡4张，两张卡共8批，总共训练72个epoch，前5个epoch做线性warm-up。骨干网络采用ImageNet预训练初始化。只做检测任务，骨干没继续冻住，而是低学习率参与训练。batch size这件事很重要，DETR系模型对batch size不敏感，但去噪训练依赖一定量的正样本统计，8这个数字在对比实验里明显比4稳定。显存允许的话，batch size不要太小。4.2 评估指标与结果分析模型评价不能只看一个mAP。我同时统计了四类目标的AP50、AP75、AR（平均召回率），以及小目标（面积小于32×32像素）的AP_small和遮挡目标子集的AP_occ。因为棉田更看重“有没有漏掉”，所以召回率指标在这套系统里的权重要高于精确率。实测数据列一下，改进后的模型在验证集上的总体AP50约为87.2%，mAP（COCO指标，IoU从0.5到0.95取平均）约为72.5%。类别上，棉蕾AP50最高达到91%，棉铃因为遮挡问题AP50为84.6%，病害叶片由于部分病斑早期非常小，AP50只有78.9%。专门统计的遮挡目标子集上，改进模型的AP50比基线DINO-4scale提升了将近7个百分点。这些数字是在固定地块划分的验证集上得到的，整体符合田间使用预期。有一点必须说明，验证集的划分方式我用了“按地块划分”而不是“按图像随机划分”。随机划分会把同一架次、同一地块的图像同时分到训练和验证集中，看似指标很高，实际上模型见过的场景已经泄露了，换到新地块效果立刻跳水。按地块划分后的指标才真实反映跨地块泛化能力。4.3 训练过程中的典型问题与排查训练里遇到最头疼的问题是去噪训练分支导致Loss在前几个epoch剧烈震荡，一度怀疑代码有bug。排查后发现是去噪查询生成时对目标的随机噪声尺度过大，和当前学习率不匹配。我把噪声标准差从0.8下调到0.5，并配合warm-up学习率，震荡问题才缓解。第二个常见问题是内存爆炸。4scale多尺度特征加P2融合分支后，Encoder输入token数量大幅增加，24G显存在batch size为8时会出现OOM。解决思路是把P2融合分支里的高分辨率特征图做下采样后再输入Encoder，只保留叠加信息，而不是把原始P2完整喂给Transformer。这样既保住了小目标的细节响应，又控制了显存占用。第三个是过拟合问题，表现在验证集指标下降到某个点后不再提升，训练损失继续下降。这个问题靠增强和早停只能缓解，根本解法还是补充大量不同地块、不同光照下采集的新数据。我在第二轮迭代里增加了大约3000张跨地块图像，验证集mAP立刻提升了2个百分点。5. 从模型到系统：推理部署与现场修正5.1 大图切片推理策略田间图像是几千像素乘几千像素的无人机正射图，直接缩放后送进模型会损失大量小目标细节。我的做法是切片推理：把大图按固定尺寸切成瓦片，瓦片之间保留重叠区域，重叠率设置为15%到20%。重叠的目的是防止目标被切在瓦片边缘导致截断不完整，推理时每个瓦片独立输出检测结果，再根据目标框中心点做重叠区域的去重合并。切片尺寸的选择需要综合考虑显存和上下文信息。尺寸太小，单个棉铃可能不到几个像素，且缺少周围果枝的上下文；尺寸太大，小目标数量多，容易卡显存。我最终使用1024×1024的切片尺寸，在推理设备上单瓦片耗时约80毫秒，一块标准棉田的整图大概切成400个瓦片，并行处理后全图推理不超过30秒。5.2 模型导出与加速DETR系模型部署比CNN模型稍麻烦一些，因为很多推理引擎对Transformer动态形状的支持不够友好。我先做了ONNX导出，固定输入尺寸为1024×1024，然后转成推理引擎专用的IR格式，开启FP16精度，做图优化。这里特别要注意的是，ONNX导出时必须把DETR解码器里的循环结构转换成静态图，或者在推理框架里用插件方式补上动态部分，否则导出会报错或产出的引擎结果和PyTorch不一致。FP16精度在棉田场景里实测几乎没有掉点，mAP降幅在0.3%以内，推理速度提升接近一倍。如果边缘设备更弱，还可以做进一步的模型蒸馏，用大模型输出作为软标签训练一个轻量小模型，但在我这套场景里FP16已经满足时效要求，就没有继续压缩。5.3 目标计数与生长监测分析检测框出来后，系统还要把“框”变成“农事结论”。棉田管理通常按取样点统计，系统把检测结果投影到地理坐标上，按田块网格聚合。比如每个网格统计棉铃密度、棉蕾数量、病害叶片比例，输出一张棉田长势分级热力图。计数去重是关键。同一株棉花可能出现在相邻瓦片的重叠区，如果直接累加就会重复计数。我用的是目标中心点去重结合多帧跟踪匹配，对同一地块多次飞行的结果做空间对齐，只统计新增的目标，从而监测棉铃生长增量。这个功能在实际使用中非常有用，棉农可以直观看到一周内哪些区域棉铃增长慢、哪些区域病害扩散快。这里的一个经验是，计数结果一定要给出置信度区间，不要输出精确到个位数的数字，因为模型本身有漏检，精确数反而误导决策。我在系统里同时输出“模型识别数”和“校正系数”，让使用者自己判断。5.4 已知限制和对抗场景处理这套系统的限制也很明显：只能在可见光条件下工作，遇到阴天、雾天、正午强逆光，检测效果会下滑。应对办法是在数据采集时加入不同天气时段样本，同时对极端光照图像做预处理归一化。棉田行间杂草和棉苗在苗期形态非常相似，再强的模型也会混淆。我的做法是引入地理先验：棉苗通常排列在播种行线上，杂草更多出现在行间或地头，利用空间位置先验做二次过滤，能纠正一部分类别误判。系统更新迭代时还有一个容易踩的坑：新模型改进了某些类别，但可能在旧模型擅长的类别上回退。上线前必须做回归测试，就是固定一批覆盖各种场景的永久验证集，确保新模型在所有核心场景上的关键指标不出现明显回退，然后再灰度发布。6. 常见问题与排查速查6.1 问题速查表下面这组问题是我在实际训练和部署中反复遇到的，整理成表格方便快速定位。问题现象可能原因对应解决方案训练Loss震荡严重去噪扰动尺度过大、学习率偏高降低噪声标准差、加强warm-up棉铃小目标几乎不检浅层特征缺失、输入分辨率不够增加P2融合、提高输入图像短边验证集高但换地块崩按图像随机划分导致数据泄露改成按地块/按航次划分遮挡目标置信度低训练样本中遮挡目标过少加入模拟遮挡增强、强制标注遮挡目标推理时内存溢出DETR解码器动态形状、显存不足固定输入尺寸、开启FP16、减小batch相邻瓦片重复计数瓦片重叠去重逻辑不完善按目标中心点去重、重叠区域IoU合并棉蕾和病斑混淆类别间视觉纹理接近增加上下文特征解耦头、扩大标注样本雾天/阴天效果下降可见光成像受天气影响采集多气象数据、图像增强归一化6.2 工程层面的避坑经验农业AI项目里，算法只占一半，另一半是工程和流程。第一，文件命名和版本管理不能乱，每轮数据采集都要记录地块编码、飞行高度、天气、日期，模型训练时要把这些元信息一并记录到日志里，否则后期排查数据问题根本无从下手。第二，标注规范要前置，最好在采集第一批数据时就同步定好，不要边标边改规则，否则之前标好的图全部要返工。第三，模型训练要有一个固定的“不可变验证集”，所有迭代版本都在这上面跑，保证指标可对比。在模型迭代策略上，我的体会是“小步快跑”优于“憋大招”。不要等所有数据收齐、所有模块都完美了再训练第一版，而是先拿一批数据训练一个粗糙模型，用来支撑数据质检和困难样本梳理。很多标注错误和采集盲区都是第一版模型的失败案例“逼”出来的，越早看到这些失败，数据闭环就越早转起来。6.3 从研究到落地的三个认知这个过程做下来，我有几个认知层面的体会。第一，用户永远不关心你的模型叫什么名字，只关心你能不能数清棉铃、能不能告诉他哪块地生病了。所以在系统设计上，算法模块和业务模块的接口要尽量简单，业务侧只消费“框+类别+置信度+空间坐标”这几个字段就够了。第二，改进模型不要贪多。DINO本身已经很强，我实际有效的改进也就是三点：P2融合、去噪训练适配、类别解耦头。改太多模块会引入大量变量，出了问题很难定位。第三，数据策略比网络结构更影响最终效果。我后期几乎一半的时间在补数据和修标注，模型结构基本冻结，但每次数据层面的优化带来的提升都实实在在。按照这套流程，我后来又把这个系统扩展到了其他作物上，比如油菜花期的角果识别、果园幼果期的果径估测，核心模型改动很小，主要是重新采集数据、调整类别标签体系。这也说明，改进DINO-4scale这类检测模型本身并不是终点，把它变成一套能快速适配不同农业场景的“数据 + 模型 + 部署”流水线，才是更有价值的事。如果正在读这篇博客的你也要做类似项目，我建议先花两周时间把数据规范和验证集定好，再动手改模型结构，这样的顺序能少走很多弯路。