做表面缺陷检测的时候我遇到过一件挺拧巴的事同一个产品表面既要通过滤波把周期性的纹理压掉又要把细小的划痕单独提出来。一个需求是扔掉高频一个需求是留下高频听起来完全是两码事。后来我把样本图像丢进Halcon里做了一次FFT对着频谱图才彻底看明白——Halcon频域滤波器里的那套高斯核其实同时给了两把钥匙一路做高斯滤波一路做高反差保留而它们本质上只是同一个高斯函数的正反两面。这篇文章就围绕这一点展开以Halcon的FFT相关算子和gen_gauss_filter为核心拆解频域高斯滤波器的双重特性。包括频域处理的直觉理解、低通与高通为什么互补、三条能落地的实现路径、Sigma参数怎么选以及我在实际项目里踩过的几个坑。适合刚接触Halcon频域滤波的工程师也适合做了几年视觉但一直没把频率域参数搞明白的人。1. 为什么要到频域里处理图像从频谱读懂一幅图1.1 图像里的“频率”到底是什么很多初学者一听频率就头疼其实可以换个特别直白的说法图像里的频率描述的是灰度值在空间上变化的快慢。背景光照缓慢地从左边亮到右边这种大范围的明暗过渡属于低频产品表面的细小划痕、随机噪声、周期性网纹灰度在几个像素内剧烈跳动属于高频而物体边缘介于两者之间——它是突变但不是周期性突变。在空间域里我们用卷积核去“蹭”图像比如高斯核滑过每个像素把邻域平均一下就得到平滑效果。这种方法直观但有一个问题你不知道到底哪些频率被削了哪些被留了。很多时候你调了半天核大小只是在凭感觉试。到了频域就不一样了。做一次傅里叶变换整幅图的能量分布就摆在面前哪里是低频主导、哪里存在周期性的高频峰值、噪声集中在哪个频带一眼就能看明白。同一个滤波器在频域里变成了一条清晰的响应曲线你能精确地告诉它“保留这些频率压掉那些频率”。这也是我在项目里养成的习惯拿到图像先不做处理先看一眼频谱。很多时候滤波方案的设计从这一步就定下来了。1.2 Halcon里的一次完整FFT流程Halcon做频域滤波的完整链路其实很短核心就是三个步骤正变换、频域相乘、逆变换。* 读图和灰度化 read_image(Image, sample.png) rgb1_to_gray(Image, GrayImage) * 正变换图像从空间域转到频率域 fft_generic(GrayImage, ImageFFT, to_freq, -1, none, dc_center, complex) * 频域相乘图像频谱乘以滤波器 convol_fft(ImageFFT, FilterKernel, FilteredFFT) * 逆变换回到空间域 fft_generic(FilteredFFT, ResultImage, from_freq, 1, none, dc_center, complex)这里fft_generic的参数比较多我拆开说一下因为后面很多坑都出在这些参数上Direction填to_freq是正变换from_freq是逆变换。逆变换时注意Exponent要从-1改成1这个很多人会漏。Norm填none就行正变换和逆变换保持一致的归一化方式结果就是正确的。有些示例代码里用sqrt那是为了查看频谱幅度时视觉效果更均衡做滤波链用none更省心。Mode填dc_center含义是让直流分量零频落在图像中心。这一点非常关键后面生成滤波器的时候所有核的中心默认也在这个位置两者必须保持一致。ResultType填complex正变换输出的是复数图像。convol_fft做的事在频域里就是一个乘法图像频谱的每个复数点乘以滤波器对应位置的值。这就是卷积定理的核心精神——空间域的卷积对应频率域的逐点相乘。1.3 为什么频域乘法比空间域卷积划算可能有人会问我直接用gauss_filter做高斯平滑不就行了搞这么复杂干嘛答案是核的大小。空间域里一个尺寸为K×K的卷积核对整幅图像做卷积计算量大约正比于K的平方而频域方法不管滤波器有多复杂正反两次FFT加上一次逐点相乘计算量基本只取决于图像尺寸。你的卷积核是5×5还是101×101在频域里的成本几乎一样。所以在实际项目里如果只是做一个3×3或者5×5的小平滑用空间域算子更干脆但如果要做大范围的背景估计、复杂形状的带通滤波或者同一套滤波器要反复作用在多张图上频域方案的优势就非常明显。2. 高斯核的双重身份低通和高反差保留为何是一体两面2.1 一切的起点高斯函数的傅里叶变换还是高斯这是理解整篇文章最关键的一句话高斯函数做傅里叶变换之后得到的结果仍然是高斯函数。空间域的高斯卷积核和频域的高斯滤波器在数学上是一对傅里叶变换对。这意味着你在频域里构造一个高斯形状的滤波器它对应的空间域操作也带有高斯平滑的柔和特性。这不是巧合而是这类函数的独特性质。更妙的是空间域高斯核越窄对应频域的高斯曲线就越宽反过来空间域核越宽频域曲线就越窄。两者的宽度成反比关系。这个性质直接导致了后面要讲的一个反直觉结论同一个Sigma在空间域和频率域里产生的效果是相反的。2.2 低通视角频域高斯如何压掉高频从低通的角度看频域高斯滤波器的响应函数大概是这样的H_low(f) exp(-f^2 / (2 * sigma_f^2))其中f表示频率点到频谱中心的距离sigma_f是频域高斯函数的标准差。这个函数的特点是在零频图像中心处数值为1离中心越远数值越小高频成分被指数级衰减。所以gen_gauss_filter生成一个Type为lowpass的核本质就是在频谱上放了一顶“钟形帐篷”——中心完全透传越往外围衰减越厉害。图像里那些灰度突变剧烈的细节、噪声经过这顶帐篷之后能量被削掉大半剩下的就是平滑的背景结构。2.3 高通视角一减就得到高反差保留现在把低通响应倒过来看如果我把每个频率点的通过率改成H_high(f) 1 - H_low(f)那么零频处通过率为0高频处接近1。这就是高通滤波器。它在频域里的作用是把低频背景整体压制住让高频的边缘和细节凸显出来。这个式子放在像素级同样成立。对于一张图像I令G(I)表示高斯低通滤波后的结果那么高反差保留图像H可以写成H I - G(I)也就是说原图减去高斯平滑图剩下的就是被平滑过程丢掉的那部分——高频细节。这跟Photoshop里的“高反差保留”滤镜是一个道理只不过我们在Halcon里可以完全在频域里实现它。到这儿你应该能感受到标题里说的“双重特性”了高斯低通和高反差保留不是两个无关的滤波器它们是一个完整频率响应的两部分相加恒等于原图内容。你做的低通有多强反向得到的高反差保留就有多强。2.4 同一个Sigma两种相反的效果这部分我想单独拎出来讲因为这是我在实际项目里犯过糊涂、后来彻底想通了的地方。在空间域里用gauss_filter做平滑Sigma越大卷积核越宽图像越模糊这是大家都很熟悉的。但在频率域里用gen_gauss_filter生成低通核时Sigma的含义变了——它表示频域高斯函数的标准差单位还是像素但度量的是频率轴上的距离。于是出现了反直觉的情况频域Sigma越大高斯曲线越宽保留的频带反而越宽图像越接近原图频域Sigma越小曲线越窄只让中心附近极低频通过图像反而糊得更厉害。打个比方空间域Sigma是“抹布的宽度”越大抹得越平频域Sigma是“门洞的宽度”越大放进去的频率成分越多图像越完整。对高通滤波器来说这个反直觉同样成立。频域Sigma越小高通核从0升到1的速度越快结果保留的频带越宽图像里细节越多频域Sigma越大高通核只在极高频处才有响应结果只剩下最细碎的噪点级别的结构粗边缘反而没了。很多刚接触频域滤波的同事都会在这个参数上栽跟头我觉得最好的办法就是记住一句口诀空间域Sigma控制“抹多少”频域Sigma控制“放多少”两者方向正好相反。2.5 Halcon里一次生成两个核在Halcon里这些关系被收敛成了一个算子gen_gauss_filter。它的几个关键参数是Size滤波核尺寸对应图像尺寸、Sigma频域高斯宽度、Type滤波器类型、Normalization归一化模式。* 生成低通核 gen_gauss_filter(LowPassKernel, Width, Height, 15, lowpass, dc_center) * 生成高通核 gen_gauss_filter(HighPassKernel, Width, Height, 15, highpass, dc_center)同一个SigmaType一换低通变高通而且这两个核在数学上完全互补对应位置相加等于1。我在项目里经常利用这一点做交叉验证——低频滤完的图像和高频滤完的图像逐像素相加应该得到原图。如果结果对不上那一定是参数或者流程出了问题。3. 跑通三条路径频域低通、高反差保留与直接高通3.1 准备工作图像尺寸的讲究在做FFT之前我一般会先把图像尺寸调整一下。Halcon的fft_generic虽然不强制要求尺寸但实际工程中把宽高处理成偶数最好优化到2的幂次附近速度更快也避免一些边界上的意外问题。get_image_size(GrayImage, Width, Height) zoom_image_size(GrayImage, ImageScaled, 512, 512, constant)这里我直接缩放到512×512做演示。真实项目里当然不一定要用正方形但保持偶数是个好习惯后面如果想换用rft_generic加速偶数尺寸是硬性要求。3.2 路径A频域高斯低通滤波完整代码如下* 正变换 fft_generic(ImageScaled, ImageFFT, to_freq, -1, none, dc_center, complex) * 生成低通核并做频域相乘 gen_gauss_filter(LowPassKernel, 512, 20, lowpass, dc_center) convol_fft(ImageFFT, LowPassKernel, FilteredFFT) * 逆变换 fft_generic(FilteredFFT, SmoothedImage, from_freq, 1, none, dc_center, complex)跑完之后SmoothedImage就是平滑后的图像。Sigma取20时高频纹理和表面颗粒会被压得很干净剩下的大尺度光照不均匀和背景起伏还在。这里有个细节滤波器核大小必须和FFT结果尺寸一致否则convol_fft会报错或者出现意想不到的错位。我习惯直接在gen_gauss_filter里传入图像的宽和高而不是写死一个数字这样换图的时候不容易出错。3.3 路径B原图减平滑图得到高反差保留接下来是最直观的高反差保留路径——像素级相减sub_image(ImageScaled, SmoothedImage, HighPassImage, 1, 0)sub_image的前两个参数是图像A和图像B后面两个分别是A的系数和整体偏移。这里写成1和0意思就是A减去B不做额外缩放。有一点必须提醒HighPassImage里面会有负值。因为高频分量是双极性的边缘亮侧减出来是正数暗侧减出来是负数。直接显示的话HDevelop里往往看到一片灰蒙蒙或者杂乱的花斑这是正常的。想看清楚要先取绝对值再拉伸灰度范围abs_image(HighPassImage, AbsHighPass) scale_image_max(AbsHighPass, HighPassScaled)取完绝对值之后边缘和划痕会变成亮线背景接近黑色这时候再去做阈值或者形态学分析就顺手多了。3.4 路径C直接生成高通核一次性提取如果不喜欢“先低通再相减”的两步走也可以直接在频域里生成高通核一步到位gen_gauss_filter(HighPassKernel, 512, 20, highpass, dc_center) convol_fft(ImageFFT, HighPassKernel, FilteredFFT) fft_generic(FilteredFFT, HighPassImageDirect, from_freq, 1, none, dc_center, complex)得到的HighPassImageDirect和路径B的HighPassImage在数学上几乎一样差别只在于浮点计算的舍入误差。你可以用abs_image再sub_image去对比两者通常差异在极小的灰度级范围内。3.5 三条路径的选择逻辑我把三条路径整理成了一张对照表方便在项目里快速决策路径做法特点适用场景A 低通频域乘低通核平滑背景、压噪声背景估计、纹理抑制B 高反差保留原图减去低通结果直观、可灵活调整系数边缘提取、缺陷增强C 直接高通频域乘高通核一步到位、速度快批量处理、固定场景就我的经验来说前期调试阶段用路径B更直观因为你随时可以拿低通图看一眼知道“丢掉的到底是什么”到了产线上跑批量换成路径C可以减少一次图像运算的开销。4. Sigma怎么定低通看背景尺度高通看缺陷尺度4.1 低通场景下的Sigma选择先说低通。目标是把周期性纹理和细颗粒噪声压掉同时保留大尺度结构。Sigma选多大取决于你想保留的“背景”有多大。我从实践经验里给一组参考对于512×512的图像如果只是想压掉轻微噪声Sigma取3到8就够如果想做光照不均校正的背景估计Sigma至少要取到20以上有时候35、40也是合理的具体看背景变化的尺度。Sigma太小背景里的局部起伏也被当成细节保留了减不干净Sigma太大整幅图被抹得像一张纸虽然背景是平了但真正的缺陷边缘也会被削弱。这里有个比较好用的思路在频域里看一眼频谱图找到纹理能量集中的半径范围然后把Sigma设成大致对应那个半径的量级。这样比盲目试参数有依据得多。4.2 高反差保留场景下Sigma的相反逻辑高通场景下的Sigma需要反过来理解。前面说了频域Sigma小高通核保留的频带宽图像里的细节信息多Sigma大高通只留下极高频细节变成稀疏的亮点。对应到真实项目里如果你要检测的是细小划痕、微小凹坑这类目标Sigma不要取大5到15之间通常能保留目标的完整轮廓同时把噪声控制在一定范围内。如果你要提取的是大尺度的边缘轮廓比如胶路走向、大型工件的边界那可以把Sigma放宽到30、50把那些粗边缘的梯度能量捞出来细碎纹理自然被滤掉。一句话总结目标越小、Sigma越小目标越大、Sigma越大。这句话在频域高通里颠倒过来理解就对了——目标越大意味着它的频率成分相对越低你希望高通核的截止频率低一些而截止频率低恰好对应Sigma小……不对这里我重新捋一下。好吧为了避免把读者绕晕我直接说清楚结论。频域高通核里Sigma小截止频率低更多中低频边缘被保留所以适合提取较宽、较粗的边缘Sigma大截止频率高只有极高频被保留所以适合抓细小划痕和高频噪声状缺陷。这个结论和空间域直觉正好相反所以我每次用的时候都会在心里默念一遍。4.3 一组对照实验的效果预期我没法在这篇文字里贴图但可以描述一下不同Sigma下的典型表现方便你对照自己的实验结果Sigma低通效果高反差保留效果5噪声被压掉大半纹理略有残留细节丰富缺陷轮廓完整但背景噪点也明显15纹理基本消失背景变得连贯中等尺度边缘清晰细小划痕仍可见40整幅图平滑得像均匀光照局部对比度丢失只留下极尖锐的边界和亮点粗边缘被拆散从表格里能看到Sigma的选取本质上是信噪比的权衡。低通和高的通是一对跷跷板你在这边压下去多少在那边就会浮起来多少。没有“完美Sigma”只有“适合当前任务”的Sigma。4.4 Normalization参数到底干了什么写代码的时候很多人会忽略gen_gauss_filter最后一个参数。dc_center的含义是让滤波器在直流分量处做归一化。对低通来说直流增益固定为1整幅图的整体亮度不会因为滤波而偏移对高通来说直流增益本来就应该是0归一化之后数值表达更干净。如果图省事全填none一般也能跑但输出图像的绝对灰度可能会有整体缩放导致后续阈值完全乱套。我的建议是统一使用dc_center减少一个变量。5. 容易栽进去的坑频谱对齐、边界伪影与振铃5.1 频谱中心不对齐导致的灾难现场这是我最常被问到的一个问题滤波出来的图像像棋盘格一样错位或者是一半清晰一半模糊。绝大多数情况下原因是FFT正变换用的Mode和滤波器生成时的Normalization不一致。比如正变换用了dc_center但生成滤波器时用了默认的中心在左上角的表达方式两者中心对不上乘出来的结果自然是乱的。解决办法很简单FFT和滤波器生成都用dc_center并且从正变换到逆变换全程别换Mode。这条规则我会直接写在项目注释里防止后来接手的人改动参数。5.2 循环卷积的边界效应频域滤波本质上做的是循环卷积。什么意思呢DFT把图像当成周期延拓的信号左边和右边是“焊”在一起的上边和下边也是。如果图像的左右边缘内容差异很大这个“焊接处”就会出现虚假的高频成分滤波之后反映为边缘处的暗带或亮带。工业图像里这个问题常见于产品边缘本身光照不均匀频域滤波后边缘一圈出现了原图没有的条带。缓解办法有两种。一是直接接受边界误差把ROI往里收缩一圈只对中间区域做后续分析二是在空间域先给图像加一个边缘渐晕处理让边缘灰度过渡到0牺牲一部分边缘信息换取干净的频谱。第二种方法会改变原图内容我只在必须检测全幅面缺陷的时候才用。5.3 高斯型滤波器为什么几乎不产生振铃振铃是另一种频域伪影表现为边缘附近出现一圈圈明暗交替的“鬼影”。很多教程里说低通滤波会产生振铃其实严格来说那是理想矩形滤波器的问题——频率响应在截止处一刀切时域对应的是sinc函数的震荡尾巴。高斯滤波器不会这样。因为它的频率响应是平滑衰减的没有硬边界对应的空间域响应仍然是高斯形状不会出现负值的振荡尾巴。这正是频域滤波里偏爱高斯核的重要原因——它既能在频率域里精准塑造通带又不会在空间域里引入让人头疼的振铃。如果哪天你发现高斯滤波结果出现了类似振铃的条纹别怀疑高斯先去检查是不是FFT参数不对或者输入图像本身有什么周期性的伪影。5.4 用rft_generic提速的一个细节Halcon还有一个rft_generic专门针对实值图像做FFT速度比fft_generic快不少。因为它利用实信号频谱的共轭对称性只算一半省了将近一倍的时间。但用它的前提是图像宽高都得是偶数。我见过有人兴致勃勃换成了rft_generic结果报错或者结果乱套一查就是图像尺寸是奇数。我的建议是先把流程用fft_generic完全跑通确认Sigma、归一化、后处理都OK之后再考虑换rft_generic提速这样排查起来容易得多。5.5 real图像里的负值不要直接扔进阈值算子最后提一个新手容易懵的地方。高反差保留的结果是实值图像里面有正有负但很多阈值算子和形态学算子在处理负值时表现会和预期不一样。所以我做缺陷检测时处理链通常是先abs_image取绝对值再scale_image_max拉伸到0到255然后才做threshold或者dyn_threshold。这一套下来亮场下的暗缺陷和暗场下的亮缺陷都能被统一当成“亮度异常区域”处理鲁棒性会好很多。6. 把这对特性组合起来从缺陷检测到带通滤波6.1 高反差保留结果的常规处理链高反差保留很少被直接当作最终输出它往往是分析链的第一环。我常用的组合是sub_image(ImageScaled, SmoothedImage, HighPassImage, 1, 0) abs_image(HighPassImage, AbsHighPass) scale_image_max(AbsHighPass, HighPassScaled) threshold(HighPassScaled, Region, 0, 40) connection(Region, ConnectedRegions) select_shape(ConnectedRegions, SelectedRegions, area, and, 50, 99999)这段代码的逻辑很直白高反差保留把缺陷变成亮斑阈值把亮斑切出来然后按面积筛选掉噪声点。Sigma的选择决定了这一步能捞出来什么尺度的目标。6.2 多尺度高反差保留与DoG带通高反差保留本身就是一种带通思想只不过它的带通范围很宽从较高的低频一路延伸到最高频。如果想把带通范围收窄可以拿两个不同Sigma的高反差保留结果相减。数学上这对应两个高斯低通之差也就是经典的Difference of GaussiansDoGDoG (原图 - 大Sigma低通) - (原图 - 小Sigma低通) 小Sigma低通 - 大Sigma低通DoG滤波器在实际中特别好用。比如检测比背景亮一点、但又不是特别尖锐的团状缺陷普通高通会把这些团状缺陷和细噪声一起捞出来区分不开DoG可以把通带对准“团状缺陷对应的频率段”把更细的噪声挡在外面。在Halcon里实现也不需要写什么特殊代码两个gen_gauss_filter加一次convol_fft就搞定。6.3 一个实际的组合案例纹理背景上的划痕检测我做过一个挺有代表性的案例工件表面有规则的拉丝纹理需要检测叠在纹理上面的细划痕。直接做阈值不行纹理本身就会产生大量干扰。只做低通划痕也一起糊掉了。只做高通拉丝纹理的周期边缘会被当成缺陷。我的做法是这样的先用一个较大Sigma的低通滤波把整体光照不均匀去掉得到一个相对均匀的背景图然后原图与背景图做差得到包含“纹理和划痕”的高频图接着对高频图再做一次尺度筛选——纹理是周期性的在频谱上能量集中在一条窄带上用带通滤波器把这条窄带压制掉剩下的高频成分里划痕的特征就非常突出了。这个流程用到了一对高低通核再加上一个带通核恰好把gen_gauss_filter的三类输出都用上了。整个过程如果用空间域算子来做卷积核会很大计算量让人头疼频域里只要构造三个核各乘一次一次FFT就能全部搞定。6.4 与emphasize算子的关系如果你用过Halcon的emphasize会发现它做的就是一件类似的事原图减去低通结果再把差的一部分叠加回原图从而增强对比度。这个和“高反差保留后再加权叠加”是同一套原理。区别在于emphasize是纯空间域实现核的大小有限频域方案没有这个限制你可以构造任意大的高通核、带通核、或者带有方向性的滤波核。方向性滤波在检测特定朝向的划痕时特别有用这是空间域通用算子很难做到的。所以我一般是这么分的小核的锐化、增强直接交给emphasize省事大尺度的背景分离、周期纹理抑制、多频带组合分析统统丢给频域方案。7. 频域滤波的一个实用收尾文章写到这最想强调的一点是高斯滤波和高反差保留在Halcon的频域框架里从来就不是两个独立的功能。它们共享同一个高斯函数共用同一个gen_gauss_filter只是Type参数一转一个负责“留下什么”一个负责“扔掉什么”。理解这个互补关系比背十个算子都管用。我个人现在拿到图像的第一件事已经不是急着调参数了而是先做一次FFT把频谱的亮度分布看一遍。低频一团亮、高频稀稀拉拉说明这张图适合做大尺度背景分离高频有一条亮线说明存在周期性纹理需要带通来对付高频整体很能量高说明噪声底子厚低通Sigma要加大。这些判断在空间域里摸索半天才能感觉到在频域里几秒钟就能确认。最后分享一个小经验调试频域滤波器的时候别直接在数据流里改Sigma硬试。先用低通路径把平滑图输出出来再拿原图减一下看看剩余的高频长什么样。这样你每次改动都知道“滤掉的到底是什么、还剩下什么”调试速度会快得多。