最近在做一个尿液细胞实例分割与识别的项目核心模型用了 SOLO_R50_FPN_1x_COCO 这套配置从数据准备、标注、训练到推理部署整个链路都跑通了。如果你也在折腾细胞显微图像或者想把 COCO 预训练模型迁移到自己的小规模数据集上做实例分割这篇内容可以让你少走不少弯路。所谓尿液细胞实例分割跟普通的图像分类、目标检测都不一样。它不仅要把图像里的红细胞、白细胞、上皮细胞判断出来还要把每一个细胞实例单独分离出来给出一个像素级精确的轮廓。为什么要做到实例级因为尿沉渣镜检里细胞往往是堆叠、粘连的如果只是框出来一个矩形计数和形态分析根本没法做。下面我把整个项目的需求拆解、模型选型、数据标注、训练调参、评估部署和踩坑过程完整梳理一遍都是实操向的经验不是理论堆砌。1. 项目到底在解什么难题尿液细胞的实例分割不是分类1.1 真实场景里的细胞长什么样尿沉渣镜检是临床检验里非常常规的一项核心就是把尿液离心沉淀后在显微镜下找有形成分包括红细胞、白细胞、上皮细胞、结晶、管型、酵母菌等。传统方式完全靠人工在目镜下数不仅效率低不同检验人员之间的判定标准也容易有偏差。把这件事自动化第一步要解决的是“图像理解”。但你拿到的原始显微镜图像通常不会很干净细胞大小差异极大红细胞可能只有十几到几十像素白细胞形态不规则上皮细胞又大又扁结晶还反光再加上染色不均匀、涂片厚薄不一、杂质和气泡干扰整张图看起来就像一堆杂色的颗粒。这时候如果只做目标检测框之间大量重叠没法准确计数只做语义分割又分不清两个挨在一起的白细胞到底谁是谁。所以必须用实例分割让模型对每个有形成分输出独立的掩膜。这个场景的关键词是“复杂小目标 密集重叠 类别不平衡”。红细胞数量可能占一半以上管型和酵母菌可能整批数据只有几百个。直接用通用的检测分割模型很容易被多数类带偏。1.2 识别对象与标注粒度该怎么定我最初本想把所有有形成分都一次性识别出来红细胞、白细胞、鳞状上皮细胞、移行上皮细胞、肾小管上皮细胞、各种结晶、管型、酵母菌。后来发现这是给自己挖坑。显微图像里各类别之间的外观差距不像自然图像那么清晰。鳞状上皮和移行上皮在很多染色条件下非常接近甚至资深形态学老师也要结合核浆比、细胞边界才能判断不同结晶之间更是只差一点折光和形状新手标注员很难稳定区分。标注不稳定模型训练出来自然也不稳定。所以第一个建议是第一次做类别宁少勿多。我最终先做了四个大类红细胞、白细胞、上皮细胞、结晶。管型和酵母菌是在后面数据量补上才加的而且会单独做二分类模型来辅助而不是一股脑塞进同一个实例分割模型里。标注粒度同样重要。实例分割要求每个细胞都有闭合轮廓但细胞重叠的时候只标可见部分是常规做法如果一个细胞被另一个遮挡超过七八成已经完全无法判断轮廓就直接跳过。这种“隐藏实例”如果硬标反而会教模型输出各种奇怪形状。1.3 哪些场景会真正用上这套东西这个项目的落点不只是一个算法demo。它可以接进尿沉渣分析设备也可以用在显微镜图像自动采集和后处理软件里最终输出类似“每高倍视野红细胞 X 个、白细胞 Y 个、上皮细胞 Z 个”的结构化计数结果。更进一步分割出的实例还能继续做形态学特征提取比如周长、面积、圆度、核浆比等这些特征可以辅助后续的分级和识别。也就是说实例分割不只是给你一个掩膜它是整个自动化分析链路的地基。地基打得稳后面做特征工程、二次分类、报告生成都会顺畅很多。2. 模型选型解析SOLO_R50_FPN_1x_COCO 强在哪里2.1 SOLO 是怎么避开候选框直接出实例掩膜的选型之前我先说下 SOLO 这个模型的核心思想。它名字全称是 Segmenting Objects by Locations思路非常直接把图像划分成 S×S 的网格每个网格负责“这个网格中心位置有没有物体实例”如果有就预测该实例的完整分割掩膜。对比 Mask R-CNN 这类两阶段方法需要先生成大量候选区域再做 RoI Align、分类和掩膜回归流程长、依赖区域提议质量。SOLO 没有候选框直接把定位和分割融合在同一个 dense prediction 框架里一个分支输出每个网格的类别概率另一个分支输出对应的 mask。一句话总结它就是“我预测的是图像坐标位置和这个位置上的物体长什么样”。这个特性放到尿液细胞场景里特别合适。细胞不需要先有精确的框才能分割只要能定位到细胞中心模型就直接把轮廓推出来。对小目标比较友好重叠细胞的分割效果也在实测中比框类方法更稳。2.2 型号里每个字母的含义选型时怎么看模型名 SOLO_R50_FPN_1x_COCO 看起来长拆开看其实信息量很大R50 是骨干网络 ResNet-50负责从图像里提取特征。FPN 是特征金字塔把不同尺寸的特征图从高层到低层串起来增加小目标检测能力。这对细胞图像很关键因为小细胞实在太多了。1x 是训练调度通常指 12 个 epoch学习率在第 8 和第 11 epoch 时衰减。这个配置适合中小数据集微调也比较好收敛。COCO 表示加载在 COCO train2017 上预训练好的权重不是从头训练。在细胞图像这类医疗显微数据上标注量通常不会很大从头训练一个深度实例分割模型基本不现实。用 COCO 预训练权重做迁移学习相当于模型已经学会怎么识别“边缘、纹理、形状组合”这些通用视觉特征你只需要让它在此基础上适应细胞形态。这里要特别提醒加载 COCO 预训练权重时类别数会从 80 变成你自己的类别数比如 4所以 mask head 和分类 head 的最后几层结构要记得同步修改否则权重加载时维度对不上。2.3 同类模型横向对比为什么没走 Mask R-CNN 路线模型核心方式优点缺点Mask R-CNN候选框 RoIAlign成熟稳定资料多调参方案多流程长密集小目标场景速度和精度都吃亏YOLACT原型掩膜 线性组合速度快适合实时场景精度一般复杂形状不太行Cascade Mask R-CNN多级级联检测精度高擅长高难样本速度和显存开销大SOLO网格定位 dense mask无框对重叠/小目标友好结构简单显存略高工程生态相对少我选 SOLO 的原因不复杂这个任务的难点主要在“小而密集、互相重叠”SOLO 天然规避了候选框带来的计算浪费而且模型结构直观出问题好排查。当时也担心开源实现不如 Mask R-CNN 那边成熟但实测下来整个训练流程是可控的。如果你手里的显存非常紧张或者要跑实时视频流那 YOLACT 可能更合适如果你的细胞种类特别多、要求第二阶段的精细分类那 Cascade Mask R-CNN 有优势。这个选择没有绝对最优只有最适合当前数据特性和部署约束的。3. 数据准备和标注规范显微镜图像比自然图像脏得多3.1 数据清洗、裁剪与批次划分原始显微镜图像往往很大常见有 2000×1500、4000×3000 甚至更大。直接整图丢给模型训练显存会爆炸而且细胞在两类之间缩放后可能小到几个像素等于把有效信息抹掉了。我的流程是先做图像筛选。凡是明显离焦、厚涂片染色渣太多、视野里全是杂质没有有效细胞的图直接剔除。这类图标注出来也没法给模型正确监督反而增加 loss 噪声。然后做切图。我会把大图切成 512×512 或 800×800 的patchpatch 之间保留 128 像素左右的重叠防止细胞被切在边缘导致实例信息不完整。切完以后按病人样本、批次或者采集时间划分训练集、验证集和测试集千万不能随机划分。否则同一个样本的多个patch分到了训练和验证两侧验证指标会虚高到让你误以为模型很强。显微镜图像里经常有标尺、文字、日期水印切patch时尽量避开水印区域或者把这些区域裁掉。否则模型会学到“文字周围有细胞”这种假特征。3.2 标注规范贴边、遮挡、碎片怎么处理数据清洗完就是标注。我用多边形标注工具逐实例画掩膜导出JSON后再转成 COCO 格式。这样一个细胞对应一个 annotation包含 category_id 和 segmentation 多边形坐标。标注最忌讳的是“一笔带过”。细胞边缘要尽量贴着真实边界不要为了省事把边缘高光也框进去。尿沉渣图像里的细胞边界经常带一圈亮边如果多边形把亮边包进去模型学到的掩膜就会偏大最后计算面积特征时全线跑偏。遮挡情况按几条规则统一处理轻微重叠标出可见完整轮廓包括被遮挡处沿着可见边缘自然闭合。严重遮挡被挡住的部分超过一半且边界无法判断跳过该实例。碎片与杂质不标或者单独标成 background不要让模型误以为每个光斑都是细胞。为了确保稳定我会让两个人交叉审核同一批图再把标注结果合并。这个环节一开始看着费时间实际上能省下后面所有因为标签噪声导致的调参时间。3.3 数据增强与类别平衡实操数据增强方面我用的是翻转、随机旋转、随机缩放、亮度和对比度扰动。显微镜图像有一个特殊问题不同批次染色的色差很大。所以颜色扰动必须加否则模型会强依赖某种颜色背景换一台设备采集的图像就失效。类别平衡要单独说。红细胞数量常常是其他类别的几十倍直接训练会让模型偏向多数类。处理办法有三个可以组合使用分层采样每个batch里固定包含一定比例的稀有类别图像比如每8张里至少保证有2张包含结晶或管型。过采样对稀有类别样本重复采样最简单但容易过拟合。Copy-Paste 增强把稀有类别实例从一张图里抠出来粘贴到另一张背景上。这个操作在细胞图像里非常有效因为背景相对均匀粘贴出来的样本也不会太假。我做的时候是“分层采样 Copy-Paste”一起用稀有类别的样本量被放大了3到5倍训练出来的模型在稀有类别上的召回率提升非常明显。4. 环境搭建与训练全过程从配置到跑通4.1 环境版本与显存规划环境这块我直接说结论PyTorch 2.0 左右、CUDA 11.7、Python 3.9 是比较稳的组合。框架优先选择对 SOLO 有现成实现的版本装好对应的编译环境后先把官方 demo 跑通确认环境没问题再换自己的数据。显存方面SOLO 的 mask 分支输出是 H×W×S²占显存比普通检测模型大一些。如果只有 8GB 显存建议 batch size 设为 2再加梯度累积模拟更大的 batch如果显存 12GB 以上batch size 4或者8会比较舒服。实在不够还可以用混合精度训练SOLO 对 FP16 的兼容性整体是可以的但要注意 loss 容易出现 NaN突然出现就回退到 FP32 试试。别在一开始追求大batch。第一次训练首要任务是“跑通”不是刷精度。用最小配置把整个流程走一遍确认数据读取、模型结构、loss计算、权重保存都正常再逐渐加大batch和输入分辨率。4.2 数据配置、类别修改与关键参数计算模型配置里做几个关键修改类别数改为实际类别数比如4标签文件指向 COCO 格式的 train.json 和 val.json。如果框架使用 mmdetection 风格的 config核心参数类似这样model dict( typeSOLO, backbonedict(typeResNet, depth50, ...), neckdict(typeFPN, ...), mask_headdict( typeSOLOHead, num_classes4, in_channels256, ... ) ) data dict( samples_per_gpu4, workers_per_gpu2, traindict( typeCocoDataset, ann_filedata/urine/annotations/train.json, img_prefixdata/urine/images/train/ ), valdict(...), testdict(...) ) optimizer dict(typeSGD, lr0.005, momentum0.9, weight_decay0.0001) lr_config dict(policystep, step[8, 11], warmuplinear, warmup_iters500, warmup_ratio0.001) total_epochs 12字段名以你选用的实现为准别照抄完就以为一定能跑。还有两个容易踩的坑一是数据集的类别顺序要和标注JSON里的 category_id 一致二是 mask_head 的输出通道数必须等于类别数加背景不能只改分类头不改 mask 头。学习率计算遵循一个原则线性缩放。默认配置里的学习率往往对应某个参考batch size比如 0.01 对应 8 张卡。如果你只有单卡、batch size4我会先把学习率从默认值降一半也就是差不多 0.005然后看loss曲线再微调。lr 设置太高前几十个iter就会出现 loss 震荡甚至上升。4.3 训练监视、loss 曲线与权重保存训练过程中我一般盯三个东西总loss、类别分支loss、mask分支loss。前几个 epoch 总loss会快速下降但 mask loss 收敛得慢是正常的。如果你发现 mask loss 居高不下优先怀疑标注质量其次是输入分辨率太低。权重保存不要只按总loss最低来。每次验证后计算 mask AP只保留验证集 AP 最高的权重同时把最后一轮权重也存一份方便对比。训练时会发现验证集AP在某个epoch突然升高这通常是学习率衰减生效了不用意外。训练到第8、第11个epoch时学习率会衰减我一般会观察衰减后是否还有明显提升。如果提升很小说明 12 epoch 已经够用如果验证loss还在下降就再把调度改成 2x24 epoch或 3x多跑几轮。5. 推理效果评估与部署落地5.1 用 COCO 指标看模型效果重点看哪些值实例分割最常用的评估指标是 COCO 风格的 mask AP包括 AP、AP50、AP75 以及不同尺度下的 AP。很多刚入门的人只盯着 AP50 看但尿液细胞场景里小目标特别多AP_small 才是真正决定能不能落地的指标。我完成一轮训练后的经验数字大概是这样如果标注质量不错、数据分布没有太大问题AP50 能做到 0.85 以上整体 mask AP 在 0.5 左右这基本达到了工程化门槛。如果你的 AP50 只有 0.6先别调模型回去看标注和类别平衡。类别混淆矩阵也要仔细看。红细胞和白细胞在未染色图像里容易混淆上皮细胞和结晶有时也会因为边缘反光被误判。如果某些类别的混淆特别集中要么补充该类别的增强数据要么在 Loss 里给混淆严重的类别加上额外权重。5.2 推理输出、后处理与统计报表推理阶段模型会输出每个实例的类别、置信度 score 和二进制 mask。默认阈值 score_thr0.3、mask_thr0.5 通常够用但实际要按业务调。如果要高召回率少漏检score_thr 降到 0.2如果重点是高精度不要误报就提高到 0.4。推理出来不是终点还要做后处理对每个 mask 做形态学闭运算填掉内部的小孔。过滤掉面积明显过小的碎片比如小于 20 像素的连通域。按类别累加实例数量输出到 JSON 或 CSV。如果显微图像有物理标尺还可以把像素面积换算成微米平方这样后续的形态学特征就是有物理意义的数值。这部分对检验人员特别有用因为很多诊断标准基于细胞大小和形态。5.3 工程部署的几条轻量路线部署这件事取决于你的实际资源。最简单的方案是保留 PyTorch 模型包一个 Flask 或 gRPC 服务接收 base64 图像返回检测结果 JSON。这种方式适合数据量不大的工具链开发速度快但并发能力和显存控制一般。如果要求性能可以转 ONNX然后用 ONNX Runtime 推理。转的时候注意 SOLO 的网格数 S 是动态的最好固定输入分辨率简化导出流程。再激进一点可以用 TensorRT但 SOLO 这种 dense mask 输出在TensorRT上需要手动处理不少算子工作量明显上升。我的建议是先用 ONNX Runtime 把流程跑稳再根据实际性能瓶颈决定要不要上更复杂的优化。6. 常见问题与排查技巧实录6.1 训练期高频问题速查表问题可能原因解决思路显存不足batch太大、输入分辨率太高调小batch、开梯度累积、用FP16loss震荡不收敛lr太高、warmup不足、标签噪声大学习率降为1/10先跑20个iter看loss小细胞漏检严重输入分辨率低、GT太小提高分辨率、检查FPN最小层、对小目标过采样重叠细胞分不开标注只看成框、掩膜不贴边严格按实例标注、提高标注审核标准AP高但计数不准后处理阈值不合适、类别混淆调score_thr、按类别单独设阈值换数据采集设备后效果下降模型学成颜色特征加强颜色扰动、加入不同染色批次样本训练时遇到最多的其实不是模型问题是数据问题。最常见的一种是标注了一个类别但训练配置里类别顺序跟它不一致模型学了半天都不知道自己在学什么。所以每次换数据集我先跑几个iter然后看样本加载时显示的标签对不对。6.2 推理与计数的稳定性技巧尿沉渣计数对“稳定”的要求比“单张图 AP 高”更严格。同一视野模型跑两次结果波动太大会是致命的。我实测下来以下三个技巧能显著提升稳定性第一个是固定推理时的输入尺寸。不管训练时用多大推理前统一 resize 到固定长宽避免模型在不同尺度下出现掩膜缩放偏移。第二个是低置信度实例的处理宁可多给一些低分候选再在业务层做二次过滤也不要把阈值卡得太死否则同一批图的计数方差会变大。第三是 batch 推理而不是单张推理让模型在同一个 batch 里共享 batch norm 统计量输出会更一致。计数时我还会加一个简单修正如果两个 mask 重叠面积超过某个实例面积的50%只保留置信度高的那个。这样能避免同一个细胞被边缘预测拆成两个实例导致重复计数。最后再分享一个细节显微镜图像里的细胞中心往往有一个明显的核区域但红细胞没有核。如果你发现模型输出的掩膜总是中间凹陷或者带洞大概率不是模型坏了而是训练数据里存在大量边缘高光的噪声标注。把标注严格化之后这类问题很多会自己消失。实例分割模型对标签质量的敏感度比分类模型高得多这一点在尿液细胞场景里体现得淋漓尽致。