去年下半年接了一个某金属冲压件表面缺陷检测的评估项目甲方要求不只是框出缺陷位置还得把缺陷的轮廓给精确抠出来为后续的缺陷面积统计提供依据。一开始我想着用传统算法走阈值分割加形态学处理结果试了十几种打光方案划痕和背景的灰度始终粘连在一起分割效果惨不忍睹。后来把心一横直接用HALCON的深度学习语义分割模块重新跑了一遍流程效果出奇地好交到甲方手里一次通过。趁这个项目刚结束不久把整个落地过程记下来从数据标注、模型训练到推理部署每一步的坑和心得都写清楚给后面要碰HALCON语义分割的朋友做个参考。如果只是做有无判断HALCON自带的目标检测足够应付但一旦牵扯到像素级的轮廓提取、面积测量、形貌分析目标检测框就完全不够用了。语义分割本质上是给图像里每一个像素贴标签输出一张和原图尺寸一致的分割掩膜我这次项目里就是把每个像素分成背景和缺陷两类。这篇博文适合正在评估HALCON深度学习方案、或者被传统视觉算法折磨到头秃的同行整体内容偏工程落地不是理论水论文我会把训练参数、标注规范、模型优化这些实打实的东西都摆出来。1. 项目背景与整体设计思路拆解1.1 为什么最终选了语义分割而非传统视觉方案这个项目检测对象是一款冲压成型的金属连接片表面会出现细长的划痕、压伤和氧化斑。其中划痕是最棘手的一类缺陷长度可以跨越大半个工件表面宽度却只有那么几十个微米光照稍微一变划痕在图像里的灰度变化极大。我最初的传统方案是“环形光低角度光”多重打光配合高帽变换和动态阈值但划痕和金属拉丝纹理在灰度上高度相似即便做了一堆形态学滤波还是会把正常纹理误判成缺陷误检率高得没法看。后来我重新审视这个需求既然缺陷边界本身存在极大的形态不确定性与其绞尽脑汁设计特征不如让模型自己学习“缺陷长什么样”。HALCON从17.11开始引入了深度学习推理到19.11之后语义分割模块逐渐稳定支持像素级分类任务正好契合这个需求。我在正式跑模型之前先做了一轮小样本验证只用十张标注图粗训了一下发现划痕区域的响应明显强于纹理背景这坚定了我整体切换方案的决心。1.2 项目整体流程架构这次项目的完整流程可以拆成四段数据准备、模型训练、模型评估优化、推理落地。数据准备阶段包含图像采集、样本筛选、像素级标注和数据集划分这个阶段的工作量大约占整个项目的六成是决定语义分割上限的核心模型训练阶段主要是预训练模型选型、训练参数迭代和loss曲线监控评估阶段不能用单一指标拍脑袋需要结合Dice系数、IoU和可视化结果综合判断部署阶段则是把训练好的模型集成到检测脚本里跑批量推理并输出分割结果。这个架构看起来中规中矩但每一步都有很多细节。比如数据划分如果直接把同批次的图片切到训练集和验证集里很容易出现验证集泄漏导致验证指标虚高再比如模型选型上HALCON提供了compact和enhanced两版语义分割预训练模型参数量和表现差异不小必须结合项目实际的推理速度要求来选择。这些细节下文会逐一展开。2. 数据准备与标注最容易翻车也最花时间的环节2.1 图像采集与样本筛选的心得图像采集听上去简单拿相机拍就行但深度学习对训练数据的多样性格外敏感。我不是从产线直接搬来所有图就开标而是先做了一轮筛选挑出包含不同形态划痕、不同光照角度、不同表面油污状态的样本。这里有一个重要经验宁可少而精不要多而滥。如果样本里全是同一个角度的划痕模型对没见过的角度几乎没法泛化。样本量上我这次是二分类语义分割任务最终标注了大约480张图像。对于单类缺陷分割来说这个量级算是及格但前提是缺陷形态足够分散。如果场景里有多种完全不相关的缺陷类型建议每一类至少保证300张以上的像素级标注图否则模型很容易产生类别混淆。图像尺寸方面HALCON的语义分割模型对输入分辨率有上限我采集到的原图分辨率太高约2448x2048如果直接输入模型显存会爆。我通过实验最终确定裁剪策略具体做法在3.2节里说。2.2 标注工具与标注规范细节HALCON配套的标注工具是MVTec Deep Learning Tool专门用于目标检测、语义分割和分类任务的标注。语义分割要求画像素级掩膜这个工具支持用笔刷在缺陷边缘涂抹。标注规范是这一步的核心同一类缺陷在不同人手里画出来的掩膜形状可能差距很大差距就是噪声。所以我在标注开始前定了一条铁律缺陷掩膜必须严格贴着视觉边缘走不能为了省事用多边形框把缺陷连同周围正常区域一起圈进去。还有一个容易忽略的细节标注的最小缝宽。细小划痕在标注时很容易断成一截一截的深度学习模型对连续性特征比较敏感断开的标注会教给模型错误的先验。我要求所有同一根划痕必须从头标到尾即便有一段极淡也必须在原图上画出来。标注完成后可以用工具自带的统计分析功能查看每个类别的像素占比这一步能做真实缺陷像素与背景像素的比例诊断如果缺陷像素占比低于1%就需要靠类别权重来补偿。2.3 数据集的划分策略与离线增强我在工具里把480张图按6:2:2的比例随机划分成训练集、验证集和测试集但这个随机其实做了二次控制。我先按缺陷形态分类细长划痕、块状压伤、氧化斑做分层抽样确保每种形态在三个集合中的比例大致相同避免测试集里全是某一类缺陷。划分完成后训练集、验证集、测试集互不重叠这是底线。数据增强方面HALCOM自带的数据加载器里集成了在线增强训练时会对图片做随机旋转、镜像和灰度扰动。我额外添加了一步离线增强将每张训练图做了小角度旋转和水平/垂直翻转把训练集扩增到近2000张。这里要说明一下深度学习训练并不意味着样本越多越好过度旋转会导致背景区域在旋转后出现过度的非自然变形工信界做过实验的效果其实一般。对于工业固定工位场景建议旋转角度控制在±10度以内太大反而引入伪样本。3. 模型训练配置与关键参数详解3.1 预训练模型选型compact还是enhancedHALCON的语义分割预训练模型有两个版本pretrained_dl_segmentation_compact.hdl和pretrained_dl_segmentation_enhanced.hdl。compact版本参数量小对显存和算力要求低推理速度快适合样本量不大或对实时性有要求的场景enhanced版本网络更深、分割精度更高但训练和推理都慢不少。我在项目初期两个模型都做了对比实验。用小数据集和相同参数各训了一版compact的最终验证IoU大约在0.82左右enhanced可以达到0.86但推理单张图耗时分别是15ms和45ms。考虑到甲方的检测节拍要求每件控制在3秒以内最终选了enhanced版本精度优先同时通过裁剪策略优化了耗时。建议如果后续要部署到多工位并联产线对节拍敏感优先compact如果离线检测或节拍宽松无脑上enhanced精度带来的收益在后续评估阶段会非常明显。3.2 输入尺寸、批次大小和训练超参设置HALCON的语义分割模型默认输入尺寸必须能被模型下采样倍数整除否则会报错。我原图是2448x2048经过实验做了两次裁剪策略第一步沿缺陷区域中心裁出多个800x800的patch通过步进覆盖整个工件有效区域第二步在每个patch内做缩放归一化。800x800这个尺寸乘以batch size之后显存占用在可控范围同时也保证了划痕在patch里有足够的上下文信息。训练超参方面我是这样初始化的batch_size设为4官方默认值是1但小批量会让梯度更新方向抖动太厉害收敛又慢。用4是基于8GB显存反推出来的最大安全值。learning_rate初始0.001配合每隔15个epoch衰减为原来的0.1倍。momentum保持默认0.9。weight_prior这是一个容易被忽略但极关键的参数。缺陷像素占比太低时模型会倾向于把所有像素预测为背景通过把背景类别的先验权重调低可以逼着模型更加关注缺陷区域。我按实测缺陷占比1:99设置了两类比重的负对数比。num_epochs初步设60配合loss曲线实时看收敛情况再决定是否Early Stopping。下面是HALCON里训练脚本的关键代码片段用的是HDevelop语法* 读取预训练模型 read_dl_model (pretrained_dl_segmentation_enhanced.hdl, DLModelHandle) * 配置模型参数 set_dl_model_param (DLModelHandle, image_width, 800) set_dl_model_param (DLModelHandle, image_height, 800) set_dl_model_param (DLModelHandle, gpu, auto) set_dl_model_param (DLModelHandle, batch_size, 4) set_dl_model_param (DLModelHandle, learning_rate, 0.001) set_dl_model_param (DLModelHandle, momentum, 0.9) set_dl_model_param (DLModelHandle, num_epochs, 60) * 指定训练集 DLSamples : [] for I : 1 to NumTrainSamples by 1 read_image (Image, train_ I$03d) gen_dl_samples_from_images (Image, DLSample) set_dl_sample_segmentation (DLSample, SegLabel) tuple_concat (DLSamples, DLSample, DLSamples) endfor create_dl_dataset (DLSamples, DLDataset) split_dl_dataset (DLDataset, 80, 10, 10) * 开始训练 create_dl_train_data (DLModelHandle, DLDataset, DLTrainData) train_dl_model (DLModelHandle, DLTrainData, 10, 1) write_dl_model (DLModelHandle, defect_segmentation.hdl)注意set_dl_sample_segmentation这里传入的SegLabel必须和原图尺寸一致HALCON训练时会对样本执行内部校验尺寸不匹配会直接抛错。这是新手最常踩的坑之一因为MVTec DL Tool导出时有时会意外修改掩膜尺寸导致训练到一半就崩掉。3.3 训练过程监控与loss曲线解读训练不是挂机跑完就完事的loss曲线里隐藏着大量信息。HALCON的训练过程会实时输出当前epoch的loss值和验证误差。我盯着曲线正常训练了大约15个epoch左右loss从初始的0.8快速回落到0.3附近随后进入平缓下降区间。如果在epoch 10以内验证loss就开始反弹升高这是过拟合的典型信号说明模型开始硬记训练集细节了。过拟合在工业小样本场景下极其常见。我处理的办法有三个一是降低学习率让模型更慢地适应细碎特征二是增加数据增强的强度三是提前终止训练保存验证loss最小时对应的模型权重。HALCON支持训练过程中通过set_dl_model_param修改学习率所以不需要中途重启训练进程不过修改学习率后需要重新创建训练数据句柄我习惯直接重启训练脚本并在参数上做持久化。训练完成后要执行一次验证集推理保存可视化结果。单纯盯着数值指标不够直观很多边界形变很难在IoU上反映出来必须把预测掩膜叠加到原图上逐张看过确认边缘贴合度是否能满足后续测量要求。这一步我会在下一节详细说。4. 模型评估与优化从数值指标到像素级检查4.1 三个核心评估指标IoU、Dice与像素准确率模型训练完成后不能急着打包给甲方先做一轮系统评估。我分别计算了IoUIntersection over Union、Dice系数和全局像素准确率PA。对于二分类缺陷分割IoU的定义是预测缺陷区域与真实缺陷区域的交集除以它们的并集Dice则是交集的两倍除以两个区域的面积之和。两者高度相关但Dice对小区域的波动更敏感在划痕这种细长缺陷上Dice比IoU更能暴露出边界偏移问题。全局像素准确率在这个场景里没有太大参考价值因为背景像素占比达到了99%哪怕模型把所有像素都预测成背景PA也有99%。这就是典型的虚高指标陷阱。我最终以IoU作为主指标以Dice辅助判断边界质量。用HALCON的evaluate_dl_model算子可以直接输出这些指标但需要注意该算子输出的混淆矩阵统计的是经过上采样后的预测图与标注图的逐像素比对。如果图像是经过裁剪分开推理的还需要写脚本把分块结果重新拼回原图再和完整的标注图做比对否则评估分数会受边界切断效应影响。4.2 过拟合与欠拟合的针对性调整我这次训练过程中遇到了两次典型的拟合问题一次是过拟合另一次是欠拟合处理方式刚好相反。过拟合发生在第一次尝试时我把训练epoch数设成了120到第50轮左右验证loss开始反弹。处理方法是把epoch降到80同时把学习率衰减从每30轮提前到每20轮最终收敛曲线更平稳。欠拟合则出现在模型初始化阶段。第一次跑训练时我没有调batch_size用了默认的1最终loss一直卡在0.45上下不去这就是欠拟合。把batch_size提到4并配合学习率上调到0.001之后loss明显下降。这类问题没有统一参数都要结合手里的GPU资源和数据量慢慢试。我的经验是先用小数据集跑通全流程确认一切正常后再慢慢加数据量和训练轮数很多拟合问题其实是配置问题而非模型问题。4.3 后处理优化让分割结果更贴合测量需求网络的原始输出是每个像素属于各分类的概率图也就是confidence map。直接拿这个概率图做分析还不够因为工业测量需要的是二值掩膜。我需要先把概率图转成region再做小区域的剔除和轮廓平滑。后处理流程大体如下* 将网络输出结果转为分割掩膜 apply_dl_model (DLModelHandle, Image, DLResult) get_dl_model_segmentation (DLResult, SegImages) threshold (SegImages, RegionDefect, 0.5, 1.0) connection (RegionDefect, ConnectedRegions) select_shape (ConnectedRegions, SelectedRegions, area, and, 50, 99999) closing_circle (SelectedRegions, RegionClosing, 3.5)这里有几个参数需要反复斟酌。概率阈值0.5是最朴素的切分方式但面对细弱缺陷置信度往往集中在0.4到0.6之间单一的0.5阈值会丢掉很多真缺陷尾部区域。我在实际后处理里加了双阈值策略先用0.3的低阈值分割出候选区域再用0.7的高阈值判定种子区域然后通过区域生长让高置信度区域向低置信度区域蔓延。这样既能保住细划痕的边缘细节又能有效过滤大片的误检噪声。closing_circle这一步我原来是不想加的因为它会改变缺陷的真实轮廓。但因为划痕边缘处网络预测结果经常出现锯齿状的毛刺直接测面积偏差很大加一个半径为3.5像素的闭运算之后面积稳定性明显改善和甲方仪器实测值之间的误差缩小到了3%以内。闭运算半径不能过大否则会把两条临近划痕黏在一起这个3.5是我反复测试后的平衡点。5. 推理部署与工程化落地要点5.1 模型导出与集成方式HALCON的模型训练时是以.hdl为后缀的二进制文件保存在磁盘上的部署时直接通过read_dl_model加载即可。需要注意不同版本之间的兼容性比如在22.05版本训练的模型拿到21.11版本环境里可能因为算子或内部结构变化导致加载失败。我这次项目的训练环境和部署环境版本保持一致省去了很多兼容性排查。集成方式上我的检测脚本主体是HDevelop写的通过导出为C#接口供上位机调用。HALCON的深度学习模型接口在C#里同样可以直接加载和推理代码逻辑和HDevelop几乎一一对应。唯一要注意的是HALCON的深度学习推理在C#调用时图像的像素格式必须和训练时保持一致我这次是灰度图转RGB三通道否则模型会给出极差的推理结果——这个坑我一开始排查了整整两天最后发现只是通道格式不对。5.2 裁剪patch与整图重建推理这是部署阶段最核心的工程细节。原图2448x2048直接送入模型不现实显存和耗时都扛不住。我的做法是设计一个滑窗裁剪模块用800x800的patch在整图范围内以步长400滑动保证相邻patch之间有50%的重叠区域。重叠区域的存在是为了防止缺陷恰好被切分到patch边缘造成边缘处上下文信息缺失。推理完成后每个patch的掩膜输出会被贴回原图对应的坐标区域重叠区域取两次预测置信度的最大值这样拼出来的完整掩膜在patch接缝处没有明显的断层。整个重建耗时比单patch推理增加了大约30%但在分割质量上的收益非常可观。我在项目中期做过一组对比实验如果直接把步长改成800完全没有重叠接缝处的划痕掩膜断连率高达12%加上50%重叠之后断连率降到了不到2%。5.3 量化指标与节拍实测部署完成后我完整跑了一轮200张测试图统计了整个检测链路的性能数据。单张全流程耗时平均在2.1秒左右其中图像预处理占0.3秒模型推理占1.5秒后处理占0.3秒。2.1秒离甲方要求的3秒节拍还有不少余量但考虑到实际部署机器工控机性能可能和开发机有差异我预留了缓冲。准确率方面测试集200张图里漏检了2张非常浅的划痕漏检原因是那两张图的缺陷对比度过低肉眼几乎都看不出来模型输出的置信度被后处理阈值过滤掉了。误检有1张原因是工件表面油渍区域和划痕特征在局部纹理上确实高度相似。整体检出率99%误检率0.5%甲方表示可接受。如果想要进一步优化漏检可以在后处理里用更低的置信度阈值但这会导致误检数上升两者此消彼长需要结合甲方对两类错误的容忍度做取舍。6. 常见问题与避坑指南速查整理一下这次项目里从数据到推理全流程遇到的几个典型问题以及对应的排查思路和解决办法直接做成速查表方便有类似需求的朋友对照检查。问题现象可能原因排查与解决方案训练中途报错提示掩膜尺寸与图像不一致标注导出时掩膜被工具自动缩放逐张检查标注掩膜的宽高与图像尺寸严格一致训练loss不下降一直卡在0.4以上batch_size过小或学习率过低batch_size调到4以上学习率适当上调到0.001试跑验证集IoU远高于测试集IoU数据划分泄漏验证集与训练集来自同批次图像按缺陷形态分层划分确保三个集合完全不重叠预测掩膜边缘锯齿严重网络输出分辨率不足后处理加closing_circle闭运算或换enhanced预训练模型拼接patch接缝处掩膜断裂滑窗步长太大无重叠步长设为patch尺寸的一半保证重叠推理很慢达不到节拍图像尺寸过大、模型过重裁剪patch并降分辨率或切换compact版模型部署环境检测准确率骤降训练环境和部署环境图像通道格式不一致检查灰度图/RGB格式和归一化方式与训练时统一除了速查表还有两个不算bug但非常影响体验的小问题特别提醒一下。第一是apply_dl_model推理时GPU显存占用会随着推理次数累积长时间运行后需要定期clear_dl_model并重新加载模型否则存在显存泄漏导致推理崩溃的风险。第二是HALCON在日志里输出的Dice分数是基于训练集样本的宏平均如果两个类别的像素比例极度不平衡这个数值会虚高必须单独跑一遍测试集算真实IoU。训练环境中数据的组织方式也值得提前规范化。我建议把训练集、验证集、测试集的图片分别放到独立文件夹里文件夹命名与HALCON读取逻辑保持简单清晰后期无论调参数还是复现结果都会省很多事。个人经验与后续扩展这个项目走到最后让我对HALCON语义分割的定位有了更清晰的认知。它解决的核心问题是传统算法无法处理的灰度粘连与纹理干扰场景但数据质量、标注规范和工程细节才是决定上限的关键。不要寄希望于无脑喂图就能拿到好模型我在标注规范上耗费的时间最终都换成了训练效率和分割精度上的回报。最后分享一个小的后续扩展思路目前模型只能区分缺陷和背景两类但如果后续需要细分划痕、压伤和氧化斑只需要在标注阶段增加类别标签重新训练时在set_dl_model_param的class_names里把类别列表扩展即可。数据量需要相应增加建议每一类新增不低于200张标注图。这类扩展不用改动任何推理框架只需在Mask图里针对不同标签值分别提取region就可以输出每类缺陷各自独立的测量结果。另一个值得尝试的方向是多光谱或不同角度光源下的多图融合。我这次拍到的一些浅划痕在单一打光下确实几乎无法辨认但如果搭配多个光照方向的图像输入模型理论上可以学到更鲁棒的缺陷特征。HALCON的语义分割模型目前支持多通道输入把多光源图像按通道拼接后作为输入是一个完全可行的优化方向工程化上的改动也不算大。后续有机会的话我想专门做一轮实验对比不同通道组合在低对比度划痕上的效果。