1. 从一张焊球照片说起这个例程到底在解决什么问题球焊也就是业内常说的Bond Ball焊接是半导体封装和精密电子组装里绕不开的一道工序。一根细细的金线或铜线末端被电弧烧熔成一个自由空气球然后压焊到焊盘上形成一个半球状的焊点。这个焊点的直径通常只有几十微米肉眼几乎看不清但它的形态好坏直接决定了整条线路的电气连接可靠性。焊球偏了、扁了、缺了一块、或者旁边多出一小块飞溅的残料都可能导致后续拉力测试不过关甚至整块板子报废。问题在于靠人眼在显微镜下一颗一颗看效率低不说判断标准还飘忽不定。今天觉得这个球有点扁明天可能就觉得还行。所以产线上真正需要的是用机器视觉把焊球的轮廓提取出来量出它的直径、圆度、面积、位置偏移然后跟标准值比对自动判定OK还是NG。Halcon里的ball_seq.hdev这个例程就是干这件事的一个经典示范。它做的事情说起来不复杂读入一张焊球图像用Blob分析把焊球区域分割出来然后对每个焊球做形态学参数测量最后把结果可视化出来。但真正值得琢磨的是它为什么这么选算子、参数怎么定、遇到不同成像条件该怎么调。这篇内容就是把这个例程从头到尾拆开把每一步背后的逻辑讲清楚让你看完之后能自己改、自己调、自己用到实际项目里。适合谁看如果你刚接触Halcon想找一个完整的Blob分析案例来练手这个例程很合适。如果你已经在做焊点检测类项目但总觉得分割不稳定、参数调不准那这里面的思路和踩坑经验应该能帮到你。下面我按实际调试的顺序一层一层往下讲。2. 焊球成像的前置条件为什么图像质量决定了后面所有事2.1 焊球在图像里长什么样在讲算子之前得先搞清楚焊球在相机里呈现出来的样子。典型的球焊检测图像背景是深色的基板或焊盘表面焊球本身因为金属反光通常呈现为亮色区域。但这里有个坑金属表面的反光不是均匀的球顶往往有一个高光点球的边缘因为曲率变化会有一圈暗环再往外可能还有一圈淡淡的晕影。这就导致焊球的灰度分布不是简单的中间亮、边缘暗而是亮暗交替的复杂模式。ball_seq.hdev这个例程用的图像焊球和背景的对比度还算不错所以它选择了最直接的Blob分析路线阈值分割、连通域提取、特征筛选。但如果你的实际图像对比度差、光照不均、或者焊球表面氧化发暗那这套参数直接搬过去大概率是要翻车的。所以第一步永远不是写代码而是确认你的成像条件能不能支撑后续的分割。2.2 打光方式对分割难度的直接影响我做过几个不同产线的焊球检测项目最大的体会是打光方式选对了后面代码能省一半事。常见的几种打光方案效果差异很大。同轴光打下来焊球顶部会形成一个非常亮的圆形高光边缘相对暗这种图像用阈值分割很容易把球体提取出来但高光区域可能会过曝导致球顶细节丢失。环形光从侧面打焊球的立体感更强边缘轮廓更清晰但球顶和球底的灰度差异会拉大单一阈值可能顾此失彼。低角度暗场照明则会让焊球边缘产生明亮的散射光背景保持暗色对比度极高但焊球内部可能变成暗区分割出来的是个环而不是实心圆。提示如果你现在拿到的图像分割效果很差先别急着调算子参数回头看看打光是不是有问题。很多时候换一个光源角度比调半天阈值管用得多。2.3 例程里图像读取与预处理的基本套路ball_seq.hdev开头部分做的事情很标准读图、转灰度、必要时做一下均值滤波或者中值滤波去噪。这里有个细节值得注意——它没有一上来就做复杂的预处理而是尽量保持原始灰度信息把处理留给后面的分割环节。这个思路是对的因为预处理每多做一步就可能引入新的参数参数越多调试的维度就越多出问题的时候越难定位。如果你拿到的图像噪声比较大可以在读图之后加一个mean_image或者median_image但窗口大小要控制好。焊球直径如果是30个像素你用15×15的滤波窗口球体边缘就被糊掉了。一般滤波窗口不要超过焊球直径的十分之一到五分之一具体看噪声程度。这个经验值不是绝对的但可以作为一个起点。3. 阈值分割这一步看似简单实则最容易翻车3.1 全局阈值与自动阈值的取舍例程里用的分割方式核心是threshold或者binary_threshold这类算子。全局阈值的好处是快、简单只要图像里焊球和背景的灰度分布有明显的双峰选一个谷底值就能分得不错。但实际产线上光照不均几乎是常态图像左边亮右边暗同一个焊球在不同位置灰度能差二三十个灰阶这时候全局阈值就力不从心了。ball_seq.hdev里如果用的是自动阈值方法比如binary_threshold配合max_separability那它本质上是在算一个让类间方差最大的阈值。这个方法在双峰明显的时候很稳但如果图像里焊球大小不一、或者有部分焊球过曝/欠曝算出来的阈值可能只对大部分焊球有效少数几个就漏了或者多分了。我的做法是先用自动阈值跑一遍看效果如果有个别焊球分割不理想再考虑局部阈值或者动态阈值。Halcon里的dyn_threshold配合mean_image做背景估计对光照不均的场景效果很好。具体操作是先用一个大窗口的均值滤波得到背景灰度然后用原始图像减去背景再对差值图做阈值。这样每个焊球都是在自己的局部背景下做分割光照不均的影响就被抵消掉了。3.2 形态学处理开运算、闭运算到底该用哪个阈值分割出来的区域往往不是干净的圆形。可能边缘有毛刺可能内部有空洞可能旁边粘着一些细小的噪声点。这时候就需要形态学处理来修整。例程里通常会用到opening_circle、closing_circle或者fill_up这些算子。开运算先腐蚀后膨胀的作用是去掉小毛刺和孤立噪点但会让区域整体缩小一圈。闭运算先膨胀后腐蚀的作用是填补内部空洞和连接断裂但会让区域整体扩大一圈。选哪个取决于你的分割结果是偏大还是偏小以及你更在意边缘精度还是区域完整性。对于焊球检测我的经验是如果焊球边缘有毛刺用一个小半径的开运算半径取1到3个像素就够了再大就会明显改变球体直径。如果焊球内部有反光造成的空洞用闭运算填补半径同样要小。填完之后再用fill_up把内部完全填实这样后续算面积和圆度才准确。注意形态学操作的半径参数非常敏感。同样是开运算半径2和半径3出来的直径可能差好几个像素。在焊球直径只有几十个像素的情况下这个误差直接影响到OK/NG判定。所以每次调整形态学参数都要用标准件验证一下测量值的变化。3.3 连通域提取与区域筛选的逻辑分割和形态学处理之后图像上可能有好几个连通区域真正的焊球、旁边的飞溅残料、基板上的反光点、甚至图像边缘的伪影。connection算子把这些区域分开然后就要靠特征筛选把真正的焊球挑出来。例程里常用的筛选特征包括面积、圆度、矩形度、凸度等。面积可以过滤掉太小或太大的区域圆度circularity可以过滤掉明显不是圆形的区域凸度convexity可以过滤掉边缘凹陷的区域。这几个特征组合起来基本能把焊球和干扰项分开。但这里有个实际问题如果焊球本身有缺陷比如缺了一块或者变形了它的圆度和凸度就会下降严格的筛选条件可能把有缺陷的焊球也过滤掉了导致漏检。所以筛选条件不能设得太紧要留一定的容差。我的做法是先用宽松条件把所有候选区域都选出来然后再对每个候选区域单独做缺陷判定而不是在筛选阶段就把有缺陷的球排除掉。4. 焊球参数的测量与判定从像素到物理量4.1 直径、面积、圆度的计算方式区域选出来之后ball_seq.hdev会对每个焊球计算一系列形态学参数。最核心的是直径和面积。Halcon里可以用smallest_circle得到最小外接圆其直径可以作为焊球直径的一个估计也可以用area_center得到面积和重心然后反算等效直径。两种方式各有适用场景。最小外接圆直径对边缘毛刺比较敏感一个小的凸起就会让外接圆变大。等效直径由面积反算对边缘毛刺不敏感但对内部空洞敏感空洞会让面积偏小。实际项目中我通常两个都算然后对比。如果两者差异很大说明焊球形状有问题要么边缘不规整要么内部有空洞这本身就是一个缺陷信号。圆度circularity的定义是4π×面积/周长²完美圆的圆度是1。实际焊球的圆度通常在0.85到0.95之间低于0.8就说明形状明显偏了。但圆度对边缘的锯齿很敏感所以在算圆度之前最好对区域轮廓做一下平滑或者用gen_contour_region_xld提取轮廓后再做fit_circle_contour_xld拟合圆用拟合残差来评估圆度这样更稳健。4.2 像素当量标定没有这一步所有测量都是白搭这是很多新手最容易忽略的一步。Halcon里算出来的直径是像素数但产线上关心的是微米。你必须知道一个像素对应多少微米才能把像素直径转换成物理直径才能跟标准值比对。标定方法很简单放一个已知尺寸的标准件比如标准圆点靶标或者已知直径的焊球用同样的成像条件拍一张图量出它的像素直径然后除以实际物理直径就得到了像素当量。比如标准件实际直径是100微米图像里量出来是50个像素那像素当量就是2微米/像素。但这里有个坑像素当量不是固定不变的。如果你换了镜头、改了工作距离、调了变焦像素当量就变了。甚至同一套硬件不同批次的相机传感器像素尺寸也可能有微小差异。所以每次硬件有变动都要重新标定。我见过有人标定一次用半年结果换了镜头之后没重新标测量值全部偏了10%整批产品误判。提示标定的时候标准件要放在和实际产品相同的高度平面上。如果标准件放高了或放低了由于镜头的透视关系量出来的像素当量会有误差。这个误差在微距成像下尤其明显。4.3 判定阈值的设定标准从哪来有了物理直径之后就要设定OK/NG的判定阈值。这个阈值不是拍脑袋定的通常来自工艺规范或者拉力测试的统计数据。比如工艺要求焊球直径在80到120微米之间那小于80或大于120就判NG。圆度要求大于0.85位置偏移要求小于焊球直径的20%等等。但实际设定的时候要在工艺规范的基础上留一定的余量。因为你的测量系统本身有误差图像分割的重复性可能在±2个像素左右换算成物理量就是±4微米假设像素当量2微米/像素。如果你的判定阈值刚好卡在工艺规范的边界上那测量误差就会导致大量的误判。所以通常会把判定阈值往内收一点比如工艺要求80到120你实际判定用85到115把测量不确定度考虑进去。这个余量留多少取决于你的测量重复性。可以用同一颗焊球连续拍20张图算20次直径看标准差是多少。标准差的三倍就可以作为测量不确定度的估计。如果标准差是1.5微米那余量至少留5微米才比较稳妥。5. 结果可视化与批量处理让检测结果一目了然5.1 在图像上叠加测量结果ball_seq.hdev最后会把检测结果可视化出来通常是在原图上画出焊球的轮廓、标注直径值、用不同颜色区分OK和NG。这一步看似只是展示其实对调试非常重要。因为你在调参数的时候光看数字很难判断问题出在哪但把分割轮廓叠加到原图上一眼就能看出是分多了、分少了、还是根本没分出来。Halcon里可以用dev_display显示图像用dev_set_color设置颜色用dev_display显示区域轮廓用disp_message或者disp_circle标注信息。颜色约定一般是绿色表示OK红色表示NG黄色表示需要人工确认的边界情况。这个颜色约定最好在项目初期就定下来后面所有可视化都统一用这套方便快速判断。5.2 批量图像的处理流程单张图跑通之后就要考虑批量处理。ball_seq.hdev本身是一个序列例程可能已经包含了遍历图像序列的逻辑。批量处理的核心是把单张图的处理流程封装成一个可重复调用的过程然后对每张图依次执行最后汇总统计结果。这里要注意的是批量处理的时候每张图的分割参数是否需要动态调整。如果产线上光照非常稳定那固定参数就行。但如果光照有波动或者不同批次的来料表面状态有差异那可能需要根据每张图的整体灰度分布动态调整阈值。一个简单的做法是先算整张图的平均灰度如果偏离基准值超过一定范围就对阈值做一个补偿。这个补偿系数可以通过实验确定。另外批量处理的速度也是要考虑的。如果单张图处理时间太长产线节拍跟不上就要优化。优化的方向包括缩小处理区域只处理有焊球的地方而不是整张图、减少不必要的形态学操作、用reduce_domain把处理限定在ROI内。这些优化手段在Halcon里都很成熟关键是要知道在哪里优化收益最大。5.3 把结果输出成可追溯的数据检测完之后结果不能只显示在屏幕上还要输出成可追溯的数据。通常包括图像文件名、焊球编号、直径、圆度、位置坐标、判定结果、时间戳。这些数据可以存成CSV或者写入数据库方便后续追溯和统计分析。如果发现某一批产品NG率突然升高可以通过这些数据快速定位是直径偏了还是圆度差了是整体偏移还是个别异常。这种数据追溯能力在实际产线上非常关键没有它出了问题只能靠猜。6. 实际调试中踩过的坑与应对经验6.1 焊球粘连导致的分割失败最常见的问题是两个焊球靠得太近阈值分割之后连成一片connection之后变成一个区域面积是单个焊球的两倍直接被判NG。但实际两个球可能都是好的只是间距小了点。解决办法有两种一是用分水岭算法或者基于距离变换的分割方法把粘连的区域分开二是在形态学处理阶段用腐蚀操作把连接处断开但腐蚀会让球体变小需要记录腐蚀量并在后续补偿回来。分水岭方法更稳健但参数调起来麻烦一些需要控制好种子点的提取。我的经验是如果粘连不严重用腐蚀断开再膨胀回来的方式最快。如果粘连很严重或者球的大小差异很大那就上分水岭。Halcon里的watersheds和watersheds_threshold都可以用关键是要先算好距离变换图让种子点落在每个球的中心。6.2 反光造成的假边缘和内部空洞金属焊球的反光是个老大难问题。球顶的高光区域如果过曝灰度值饱和和背景的对比度反而下降阈值分割的时候可能把高光区域当成背景导致球体被分割成一个环。或者球体内部有暗斑分割出来中间有个洞。对于高光问题可以考虑用偏振片减少反光或者调整光源角度让高光移出焊球区域。如果硬件上没法改软件上可以用fill_up把环填实但前提是环的外轮廓是完整的。如果外轮廓也断了那就得先做闭运算把轮廓连起来再填。对于内部空洞fill_up同样有效。但如果空洞很大填完之后面积会明显偏大这时候就要判断这个空洞是真实缺陷还是成像问题。如果是成像问题填了没问题如果是真实缺陷比如焊球表面有凹坑填了就会漏检。所以填之前最好先看一下空洞的分布规律如果每颗球都有类似空洞那大概率是成像问题如果只有个别球有那可能是真实缺陷。6.3 阈值漂移与光源老化的关系这是一个容易被忽略的长期问题。LED光源用久了会光衰亮度慢慢下降导致图像整体变暗。如果你的阈值是固定值那随着时间推移分割效果会越来越差直到某天突然大量误判。应对方法是定期检查光源亮度或者用自动阈值方法让系统自适应。更稳妥的做法是加一个灰度监控每次检测前先拍一张标准件的图看它的平均灰度是否在允许范围内。如果偏离超过阈值就报警提示需要校准光源或调整曝光。这个监控机制在长期运行的产线上非常有必要。6.4 不同批次来料的表面状态差异焊球表面状态可能因为来料批次不同而有差异。有的批次表面光亮有的批次表面氧化发暗。氧化层会降低焊球和背景的对比度导致分割困难。这种情况下固定阈值基本不可行。要么用动态阈值要么在预处理阶段做灰度拉伸把对比度拉回来。灰度拉伸可以用scale_image或者emphasize算子把灰度范围映射到0到255。但拉伸的同时噪声也会被放大所以拉伸之后通常要跟一个滤波。如果氧化非常严重光学方法可能就无能为力了需要考虑其他检测手段。但在大多数情况下通过调整打光和曝光还是能得到可用的图像。关键是要在来料变化的时候及时调整而不是等到误判率飙升了才去查原因。7. 从例程到产线还需要补哪些东西ball_seq.hdev是一个很好的起点它把核心的图像处理流程展示清楚了。但要把这套东西真正用到产线上还有几件事要做。第一是异常处理。产线上什么情况都可能发生图像采集失败、图像全黑、图像全白、焊球数量异常多或少。这些异常情况要有对应的处理逻辑不能直接崩溃或者输出错误结果。通常的做法是加一些前置检查比如图像平均灰度是否在合理范围、连通区域数量是否在预期范围内如果不在就报警并跳过当前图像。第二是参数管理。不同产品、不同批次可能需要不同的参数。把这些参数硬编码在程序里是维护的噩梦。好的做法是把参数抽出来放到配置文件或者数据库里程序启动时读取需要调整时改配置就行不用重新编译。第三是性能优化。如果节拍要求高单张图处理时间要控制在几十毫秒以内。这时候就要仔细分析每个算子的耗时把不必要的操作去掉把能并行的并行起来。Halcon本身支持多线程但要注意不是所有算子都能并行有些算子并行之后反而更慢。第四是结果验证。上线之前要用一批已知结果的标准样本做验证看检测准确率、误判率、漏检率是否满足要求。上线之后也要定期抽检确保系统没有漂移。这个验证机制是保证长期稳定运行的关键。我个人在实际项目中的体会是例程给的是骨架真正让它活起来的是对这些细节的处理。每一个参数背后都有它的道理每一次调整都要有依据。把ball_seq.hdev吃透不只是学会几个算子的用法更重要的是建立起一套分析和解决问题的思路。这套思路在你面对下一个检测任务的时候会比具体的代码更有价值。