在讨论各类相机之前我们首先要互相达成一个共识即在极度追求成像还原性的工业领域如果不谈电路、接口和控制系统相机本质是一种传感器Sensor——将采集的被摄物体的颜色/灰度分布特征转换为二维数字特征矩阵一、为什么说工业相机是传感器传感器Sensor是一种能够感知外界物理量并将其转换为可被测量、传输、处理的信号的器件它的本质上不是“记录东西”而是完成一个物理世界 → 信息世界的转换过程而我们平时工业上使用的相机就是通过光学系统接收物体反射或发出的光将不同位置上的光强、颜色等物理信息转换为电信号再经过数字化处理最终形成一个二维数字特征矩阵。这个二维数字矩阵就是我们通常所说的图像Image既然工业相机的本质是将光学信息转换为数字图像那么接下来需要回答几个最基础的问题图像传感器是如何感知光信号的一幅数字图像是如何形成的图像中的每一个数字究竟代表什么为什么不同相机的分辨率、位深和成像效果会存在差异要理解这些问题就必须从图像传感器最基本的组成单元——像元Pixel开始再进一步理解空间采样、灰度量化、位深以及色彩空间等数字成像的核心概念接下来我将把工业相机称为图像传感器如3D图像传感器、颜色图像传感器、线阵/面阵图像传感器等二、什么是像元像元是图像传感器中最基本的感光单元一个像元负责感知空间中一个微小区域的光线并将光强转换为电信号举个例子假如一个面阵图像传感器□□□□□□□□□□ □□□□□□□□□□ □□□□□□□□□□ □□□□□□□□□□ □□□□□□□□□□每一个小方格 □ 就是一个像元Pixel/Photodiode当光线照射到像元时入射光中的光子会被感光材料吸收并通过光电效应转换为与光强相关的电荷信号。电荷经过电路转换形成模拟电压信号再通过模数转换器ADC, Analog-to-Digital Converter进行量化编码最终转换为计算机能够处理的数字值。每一个像元对应图像矩阵中的一个数据点该数字值反映了该空间位置接收到的光强信息。通过多个像元按照空间位置排列形成的数字矩阵便构成了我们所看到的二维数字图像。三、像元与分辨率分辨率指传感器能够独立采样的空间数量主要由采集图像时的像元数量决定受到图像传感器接收靶面尺寸和像元大小的影响。像元越小在传感器相同靶面尺寸下能够放置的像元数量就越多越能够区分细小的结构。但是像元越小接收光子数量就越少灵敏度反而会降低感光能力会变弱因此大像元会带来更强的收光能力更低的图像噪声更大的动态范围但相对的在同面积下像素数量更少工业检测追求的不只是分辨率而是在复杂光照环境下稳定获得有效信号四、空间采样与灰度量化一幅数字图像实际上包含两个过程空间采样灰度量化空间采样Spatial Sampling真实世界中的光强分布是连续变化的而图像传感器由大量离散排列的像元组成。成像过程中每个像元对其对应空间位置的光信号进行一次独立采样并将连续的空间信息转换为具有固定位置对应关系的像素矩阵空间采样决定了图像能够表达的空间细节即图像尺寸和空间分辨率。若一个缺陷在传感器上的成像尺寸不足一个像元例如仅覆盖 0.5 个像元则无法被有效采样也就无法在图像中稳定呈现更无法被后续算法可靠识别通常工业视觉要求缺陷至少覆盖3~5个像素以上才能稳定检测灰度量化Gray Level Quantization真实世界中的光强是连续变化的而数字图像只能记录有限数量的数字。因此图像传感器在完成空间采样之后还需要将每个像元接收到的连续光强转换为一个离散的数字这一过程称为灰度量化Gray Level Quantization灰度量化决定了图像对亮度变化的表达能力即灰度分辨率。量化位数越高可表示的灰度等级越多图像能够区分越细微的亮度变化。例如8 Bit 图像可表示 256 个灰度等级025512 Bit 图像可表示 4096 个灰度等级04095因此在高动态范围或低对比度检测场景中能够保留更多细节五、数字图像中的灰度、位深与色彩空间图像的灰度在传感器采样曝光期间像元接收光子并积累电荷。接收到的光子越多产生并积累的电荷通常越多经过信号放大和模数转换后最终得到一个与入射光强相关的数字值这个数字通常称为灰度值。在灰度图像中灰度值越小通常表示该位置越暗灰度值越大通常表示该位置越亮图像的位深位深Bit Depth表示每个像素使用多少个二进制位存储灰度或颜色信息它决定了单个像素能够表达多少个不同的数字等级。位深为 (n) bit 时理论上可以表示的数值等级数量为2^n对于灰度图像通常所说的8 bit、12 bit或16 bit是指每个像素只有一个灰度通道每个通道使用相应数量的二进制位进行记录。例如8 bit 灰度图像可以表示 (2^8256) 个灰度等级其数值范围通常为025512 bit灰度图像可以表示4096个灰度等级其数值范围通常为04095对于彩色图像位深需要区分“每通道位深”和“每像素总位深”一个每通道8 bit的RGB图像红、绿、蓝三个通道各使用8 bit因此每个像素总共包含24 bit颜色数据通常称为24位彩色图像。位深越高相邻两个数字等级所代表的光强差异越小图像能够保留的亮度层次越丰富也就越有可能呈现材料表面微弱的灰度变化。例如在检测轻微划痕、薄膜厚度差异、印刷浓淡变化或低对比度缺陷时高位深图像通常能够保留更多原始信息六、灰度图像与彩色图像图像传感器完成空间采样后需要使用数字描述每个位置接收到的光学信息。根据记录内容不同工业图像通常分为灰度图像和彩色图像灰度图像主要描述不同位置上的明暗变化每个像素通常只包含一个灰度值可表示为I(x,y)其中(x)、(y)表示像素位置(I(x,y))表示该位置的亮度等级。彩色图像除记录明暗信息外还需要描述颜色差异。常见的RGB彩色图像中每个像素包含红、绿、蓝三个分量可表示为I(x,y)[R(x,y),G(x,y),B(x,y)因此灰度图像本质上是单通道图像彩色图像通常是多通道图像。彩色图像的数据量和处理量通常更大因此工业检测并不是图像越“真实”越好而是要选择最有利于突出检测特征的图像形式在工业视觉中选择灰度图像还是彩色图像取决于检测特征。若目标主要表现为尺寸、轮廓、边缘、纹理、划痕或明暗差异通常优先使用灰度图像若目标与背景的主要区别来自颜色例如标签颜色、线缆颜色、印刷色差或产品色偏则需要使用彩色图像七、色彩空间彩色图像采集完成后还需要采用一定的数学形式组织和表达颜色信息这种颜色的数字表达方式称为色彩空间。色彩空间并不会凭空增加图像中的颜色信息而是使用不同的坐标体系重新描述已有的颜色数据。不同色彩空间强调的颜色属性不同因此适合解决的检测问题也不同。1. RGB色彩空间RGB色彩空间使用红色、绿色和蓝色三个通道共同描述一个像素的颜色。一个彩色像素可以表示为(R,G,B)对于每通道8 bit的RGB图像R、G、B三个通道的数值范围通常都是0255。例如红色分量较高而绿色、蓝色分量较低时像素通常呈现红色三个分量都较高时像素接近白色三个分量都较低时像素接近黑色。RGB与相机采集和显示设备的工作方式联系紧密也是彩色图像最常见的原始表达形式。但是RGB三个通道同时受到物体颜色和光照亮度的影响。当照明强度、曝光或表面反射发生变化时R、G、B三个数值往往会同时变化。因此直接使用RGB数值进行颜色分类时检测结果可能对光照变化比较敏感。在照明不稳定、表面存在反光或产品位置发生变化的场景中仅通过固定RGB阈值进行颜色判断通常难以获得稳定结果。2. HSV色彩空间HSV色彩空间使用色相、饱和度和明度三个分量描述颜色。色相H主要描述颜色属于红、黄、绿、蓝等哪一个颜色类别饱和度S描述颜色的鲜艳程度饱和度越低颜色越接近灰色明度V描述颜色的亮暗程度。HSV将颜色类别与亮度信息进行了一定程度的分离因此在颜色识别、颜色区域分割和产品分类中比直接使用RGB更加直观例如在检测红色标签时可以主要限制色相H位于红色范围同时使用饱和度S排除灰色或白色区域再根据明度V排除过暗区域。相比直接分别限制R、G、B三个通道这种方法通常更容易建立具有明确物理意义的颜色筛选条件。但是HSV并不能完全消除光照变化的影响。特别是在低饱和度区域色相数值往往不稳定当图像接近黑色、白色或灰色时仅依赖H通道进行判断可能产生较大误差。需要格外注意的是不同图像处理软件对H、S、V通道的数值范围可能采用不同定义。例如H通道可能使用0360也可能被压缩到0180或0255因此在设置颜色阈值时必须确认所使用软件的具体数据格式。3. Lab色彩空间Lab色彩空间通常使用L、a、b三个分量描述颜色。其中L表示明度a表示从绿色到红色方向的颜色变化b表示从蓝色到黄色方向的颜色变化。与RGB相比Lab更加关注颜色之间的感知差异并尝试让数值距离与人眼感受到的颜色差异具有更接近的对应关系。因此Lab色彩空间常用于印刷品颜色检测、产品色差评价、包装一致性检测以及颜色偏移分析。在Lab空间中亮度信息主要集中在L通道颜色倾向主要由a、b通道表示。当检测目标是判断产品是否偏红、偏绿、偏黄或偏蓝时可以分别分析a、b通道而不必直接处理相互耦合的RGB数据。但是Lab数值依赖于明确的颜色转换标准和参考条件。相机白平衡、光源光谱、曝光、颜色校正以及转换时采用的参考白点都会影响最终的Lab数值。如果需要进行严格色差测量不能仅将普通RGB图像转换为Lab图像需要建立稳定的照明环境并使用例如C9色卡进行颜色标定八、结语工业相机并不是简单地将现实世界“拍摄”下来而是通过传感器完成一次从光学信息到数字信息的转换过程。这个过程的核心就是利用大量排列的像元对空间中的光信号进行采样再通过光电转换、信号放大、模数转换将连续变化的物理世界转换为计算机能够理解的数字矩阵。像元是理解工业相机的起点采样和量化是图像质量的基础理解传感器尺寸、像元大小以及光电转换过程才能真正理解为什么不同工业相机拥有不同的分辨率、速度和检测能力。但视觉系统往往不是由单一部分组成的图像传感器并不能直接获得物体的清晰图像。物体发出或反射的光必须先经过镜头被重新汇聚并投射到传感器表面。镜头的焦距、物距、光圈、工作距离和成像倍率会直接决定视野范围、成像清晰度、景深以及传感器能够接收到的光线数量。因此下一篇将进一步讨论工业镜头与光学成像原理理解焦距、物距、像距、光圈、视野、工作距离和成像倍率之间的关系并说明如何根据传感器尺寸、检测范围、检测精度和安装空间选择合适的工业镜头