简介这份资源是一套基于Python与图像识别技术实现的主板质量检测系统源码面向计算机视觉学习者、工业质检方向开发者以及需要完成相关课程设计或毕业设计的学生。它围绕主板外观缺陷识别这一实际场景提供从图像预处理、模型推理到界面交互的完整实现思路适合具备一定Python基础、希望了解工业视觉检测流程的读者参考。压缩包共41个文件约102KB以34个Python脚本为核心涵盖推理、预处理、后处理与工具模块另含2个ui界面文件、2个说明文档、1个yml配置、1个备份文件及1个依赖清单结构紧凑便于快速梳理项目脉络。目前已有447人学习下载。读者可从中获取图像识别检测的代码组织方式、关键点与目标检测推理流程、可视化脚本及界面搭建参考并借助配置与说明文件理解模块间的调用关系为二次开发或方案迁移提供可复用的基础框架。1. 从一张主板照片到判定结果这套 Python 图像识别质检系统到底在做什么产线上刚下线的工控主板肉眼盯着看焊点、电容极性、连接器偏移一天几千片人眼迟早会疲劳。基于 Python 和图像识别的主板质量检测系统要解决的就是把这件事交给相机加算法拍一张板子照片程序自动判断有没有缺件、错件、偏移、极性反、异物残留这类外观缺陷。它适合两类人——一类是想用 Python 入门工业视觉的工程师另一类是小批量产线想低成本搭一套 AOI自动光学检测雏形的团队。整套系统的骨架其实不复杂图像采集、预处理、模板对齐、缺陷比对、结果输出源码层面通常就是 OpenCV 加 NumPy重一点的上深度学习图像识别模型。下面我按能直接复现的顺序把这条链路拆开讲清楚包括参数怎么设、哪里容易翻车。2. 主板图像采集与预处理把「能看的图」变成「能算的图」工业质检里算法再强也救不回一张烂图。主板检测对图像的要求比普通图像识别苛刻得多焊点只有零点几毫米反光、阴影、色偏都会直接变成误判。所以这一章先把采集和预处理做扎实后面模板比对和深度学习才有意义。2.1 相机、光源与工位的三个硬约束先说选型理由。主板质检常见做法是「面阵相机 环形或同轴光源 固定工位」而不是手持拍摄。原因有三个硬约束第一是分辨率。要稳定识别 0402 封装约 0.4mm×0.2mm的缺件像素精度至少要达到每毫米 20 像素以上也就是一个 100mm×80mm 的主板图像宽度得在 2000 像素以上。常见做法是用 500 万到 1200 万像素的工业相机配 16mm 或 25mm 定焦镜头。第二是光照一致性。同一块板子今天拍和明天拍如果光源角度变了模板比对直接失效。我一般会用同轴光源压反光再加一个低角度环形光打焊点轮廓两路光固定死不靠环境光。第三是工位重复性。相机和板子的相对位置必须可复现通常用定位销或治具把板子卡死。手持拍的照片模板对齐阶段会非常痛苦这是血泪经验。如果你只是做算法验证没有产线那用手机或普通 USB 相机也行但一定要固定支架、固定光源、固定距离否则后面所有阈值都调不稳。2.2 用 OpenCV 做去噪、灰度与 ROI 裁剪的最小代码采集到的原始图先做预处理。下面这段是能直接跑的最小流程输入一张主板图输出裁剪后的 ROI 区域。import cv2 import numpy as np def preprocess_board(img_path, roiNone): # 读取原图保持彩色通道 img cv2.imread(img_path) if img is None: raise FileNotFoundError(f读不到图像: {img_path}) # 1. 转灰度后续模板比对和边缘检测都在灰度上做 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 2. 高斯滤波去噪kernel 必须是奇数 # 主板纹理细kernel 别超过 5否则焊点被抹平 blur cv2.GaussianBlur(gray, (5, 5), sigmaX1.0) # 3. 限制对比度自适应直方图均衡压掉光照不均 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) enhanced clahe.apply(blur) # 4. 按 ROI 裁剪roi 格式 (x, y, w, h) if roi is not None: x, y, w, h roi enhanced enhanced[y:yh, x:xw] return img, enhanced if __name__ __main__: color, proc preprocess_board(board_001.jpg, roi(200, 150, 1600, 1200)) cv2.imwrite(board_001_proc.png, proc) print(预处理完成输出尺寸:, proc.shape)逻辑说明先转灰度是因为模板比对和缺陷检测大多在单通道上做速度快、阈值好定高斯滤波的(5,5)和sigmaX1.0是平衡去噪和保边的常用值主板焊点小kernel 再大就会把细节糊掉CLAHE 的clipLimit2.0控制对比度增强幅度太大比如 4.0 以上会把噪声也放大反而制造假缺陷ROI 裁剪是为了把检测范围锁在板子本体去掉背景和治具减少干扰。参数怎么改如果图像本身很干净可以跳过 CLAHE如果反光严重先考虑改光源而不是加大滤波tileGridSize一般用(8,8)图像越大可以适当调大。2.3 模板对齐为什么主板检测离不开配准主板质检和普通图像分类最大的区别是缺陷是「相对正常板子的偏差」。所以你需要一张标准模板图Golden Board把待检图和模板对齐后逐区域比对。不对齐板子稍微平移几个像素整块区域都会被判成缺陷。常见做法是用特征点配准。ORB 速度快、免费、适合工业场景代码如下import cv2 import numpy as np def align_to_template(img_gray, template_gray): # ORB 特征点nfeatures 取 2000 对主板纹理足够 orb cv2.ORB_create(nfeatures2000) kp1, des1 orb.detectAndCompute(img_gray, None) kp2, des2 orb.detectAndCompute(template_gray, None) # 暴力匹配 汉明距离 bf cv2.BFMatcher(cv2.NORM_HAMMING, crossCheckTrue) matches bf.match(des1, des2) matches sorted(matches, keylambda m: m.distance) # 取前 100 个最优匹配点算单应矩阵 pts1 np.float32([kp1[m.queryIdx].pt for m in matches[:100]]).reshape(-1, 1, 2) pts2 np.float32([kp2[m.trainIdx].pt for m in matches[:100]]).reshape(-1, 1, 2) H, mask cv2.findHomography(pts1, pts2, cv2.RANSAC, 5.0) h, w template_gray.shape aligned cv2.warpPerspective(img_gray, H, (w, h)) return aligned, H逻辑说明ORB 提取特征点和描述子nfeatures2000是经验值主板纹理丰富点少了配准不稳crossCheckTrue保证双向匹配减少误匹配只取距离最小的前 100 个点算单应矩阵是为了排除离群点cv2.RANSAC的5.0是重投影误差阈值单位像素板子形变小可以调到 3.0形变大就放宽到 8.0。对齐之后待检图和模板就在同一坐标系里了接下来做差分或分区比对才有意义。这一步没做好后面所有阈值都是玄学。3. 缺陷检测的两条路线模板差分与深度学习图像识别对齐完成后检测缺陷有两条主流路线。一条是传统模板差分快、可解释、不需要训练数据另一条是深度学习图像识别适合缺陷形态复杂、传统方法覆盖不全的场景。实际项目里我一般先用模板差分兜底再针对难例上模型。3.1 模板差分法阈值、形态学与连通域模板差分的基本思路是对齐后的待检图减去模板图差异大的区域就是疑似缺陷。但直接相减噪声很多需要一套组合拳。import cv2 import numpy as np def diff_detect(aligned, template, thresh30, min_area20): # 1. 绝对差分 diff cv2.absdiff(aligned, template) # 2. 二值化thresh 是关键参数 _, binary cv2.threshold(diff, thresh, 255, cv2.THRESH_BINARY) # 3. 形态学开运算去小噪点闭运算连断裂区域 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel, iterations1) binary cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel, iterations2) # 4. 连通域分析过滤面积过小的区域 num, labels, stats, centroids cv2.connectedComponentsWithStats(binary, connectivity8) defects [] for i in range(1, num): # 0 是背景 area stats[i, cv2.CC_STAT_AREA] if area min_area: x stats[i, cv2.CC_STAT_LEFT] y stats[i, cv2.CC_STAT_TOP] w stats[i, cv2.CC_STAT_WIDTH] h stats[i, cv2.CC_STAT_HEIGHT] defects.append((x, y, w, h, area)) return binary, defects逻辑说明absdiff得到逐像素差异thresh30是灰度差阈值太小会把光照波动当缺陷太大又漏检浅缺陷通常从 25 到 40 之间试开运算去掉孤立噪点闭运算把断裂的缺陷区域连起来iterations2是因为焊点缺陷常呈断续状连通域分析后按面积过滤min_area20表示小于 20 像素的区域不报避免把噪声当缺陷。参数怎么改如果误报多先调大thresh和min_area如果漏检反过来调小但要同步检查光源和对齐精度。差分法对光照和对齐极其敏感这是它的天花板。3.2 深度学习路线数据、模型与推理落地当缺陷形态复杂比如虚焊、异物、细微裂纹模板差分很难覆盖这时候上深度学习图像识别。主板质检常见做法是分类加检测组合先用分类模型判断整板 OK/NG再用目标检测模型定位缺陷位置。数据是最大的门槛。工业缺陷样本天然不平衡NG 样本少。常见做法是正常样本做数据增强旋转、亮度扰动、加噪NG 样本尽量收集实在不够就用传统差分法先跑一遍把疑似缺陷裁出来人工标注反哺训练集。模型选型上分类可以用轻量的 MobileNet 或 ResNet18检测用 YOLO 系列。推理落地时Python 侧一般用 ONNX Runtime 或 PyTorch 直接推理。下面是一个 ONNX 推理的最小示例import onnxruntime as ort import numpy as np import cv2 def load_model(model_path): # CPU 推理产线工控机常见配置 session ort.InferenceSession(model_path, providers[CPUExecutionProvider]) return session def infer(session, img_path, input_size(224, 224)): img cv2.imread(img_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img cv2.resize(img, input_size) # 归一化到 [0,1]再转 NCHW img img.astype(np.float32) / 255.0 img np.transpose(img, (2, 0, 1)) img np.expand_dims(img, axis0) input_name session.get_inputs()[0].name output session.run(None, {input_name: img})[0] # 假设输出是二分类 logits prob np.exp(output) / np.sum(np.exp(output), axis1, keepdimsTrue) return prob逻辑说明ONNX Runtime 的CPUExecutionProvider适合没有 GPU 的工控机输入尺寸要和训练时一致224×224是分类模型常见输入归一化方式必须和训练时完全一致否则精度会掉输出做 softmax 得到概率。检测模型输出结构不同需要按对应后处理解析。参数怎么改input_size跟模型绑定不能随便改如果产线有 GPU把 provider 换成CUDAExecutionProvider推理批量可以设成 1产线通常单张流式处理。3.3 两条路线怎么选一张对比表维度模板差分深度学习训练数据不需要需要标注样本开发周期短几天可跑通长数据训练调参可解释性强能看到差异区域弱黑匣子对光照敏感非常敏感相对鲁棒缺陷形态规则、固定位置复杂、多变算力要求低CPU 即可中高建议 GPU我的习惯是项目初期用模板差分快速上线把能覆盖的缺陷先挡住同时收集数据等 NG 样本够了再针对差分搞不定的缺陷训练模型两者并行而不是一上来就all in深度学习。4. 避坑与排查主板质检系统上线前必须过的五道坎这套系统在实验室跑通和在产线稳定运行中间隔着很多坑。下面五条是我踩过或见别人踩过的按「现象 → 原因 → 解决」写。现象一白天正常下午误报突然变多。原因环境光变化尤其是靠窗工位下午阳光角度变了模板差分阈值失效。解决加遮光罩固定光源或者改用对光照更鲁棒的深度学习模型短期可以动态调整阈值但治标不治本。现象二同一块板子连续拍两张结果不一致。原因相机自动曝光或自动白平衡在动每张图亮度不同。解决关掉相机所有自动模式曝光、增益、白平衡全部手动锁定这是工业相机的标准操作。现象三模板对齐偶尔失败整板报 NG。原因ORB 匹配点太少或者板子上有反光区域干扰特征提取。解决增加nfeatures或者改用基于形状的模板匹配也可以在板子上找固定的 Mark 点做定位比全局特征配准稳得多。现象四小缺陷漏检大缺陷正常。原因min_area设太大或者高斯滤波 kernel 太大把细节抹平了。解决把min_area调小滤波 kernel 降到 3同时提高图像分辨率。漏检和误报是一对矛盾要按产线能接受的平衡点调。现象五模型在测试集上精度很高上线就崩。原因训练数据和产线实际图像分布不一致比如光照、相机型号、拍摄距离变了。解决训练数据必须来自产线同一套采集环境上线前用产线实拍图做验证别用实验室图自欺欺人。提示这五条里光照和相机自动模式占了大半。算法调参之前先把采集端锁死能省掉后面一半的排查时间。5. 把检测结果变成产线能用的输出可视化、日志与阈值自校准检测出缺陷只是第一步产线要的是「这块板子能不能过、缺陷在哪、能不能追溯」。这一章讲三个进阶技巧都是让系统真正能用起来的关键。5.1 缺陷可视化与结果标注操作员不看你控制台里的坐标他要看图。把缺陷框画回原图是最基本的可用性要求。import cv2 def draw_defects(img_path, defects, out_pathresult.jpg): img cv2.imread(img_path) for (x, y, w, h, area) in defects: # 红色矩形框线宽 2 cv2.rectangle(img, (x, y), (x w, y h), (0, 0, 255), 2) # 标注面积方便判断严重程度 cv2.putText(img, f{area}px, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1) cv2.imwrite(out_path, img) return out_path逻辑说明rectangle画框putText标面积操作员一眼能看出缺陷大小和位置。参数上线宽和字号按图像分辨率调2000 像素宽的图用线宽 2、字号 0.5 比较合适。输出图建议按「日期板号」命名存档方便追溯。5.2 检测日志与追溯字段产线质检必须能追溯哪块板、什么时候、什么缺陷、判定结果。常见做法是每次检测写一条结构化日志字段至少包括时间戳、板号、图像路径、缺陷数量、缺陷坐标列表、判定结果OK/NG、使用的阈值或模型版本。import json import time def write_log(board_id, img_path, defects, result, versionv1.0): record { timestamp: time.strftime(%Y-%m-%d %H:%M:%S), board_id: board_id, image: img_path, defect_count: len(defects), defects: defects, result: result, model_version: version } with open(inspection_log.jsonl, a, encodingutf-8) as f: f.write(json.dumps(record, ensure_asciiFalse) \n)逻辑说明用 JSONL每行一个 JSON而不是一个大 JSON 文件是因为追加写入不会破坏已有数据也方便后续用 pandas 直接读。model_version字段很关键模型更新后能区分历史数据是哪版模型判的排查问题时不会抓瞎。5.3 阈值自校准让系统自己找平衡点固定阈值最大的问题是换一批板子、换一个季节就得重新调。进阶做法是用一批已知 OK 的板子做基线统计差分图的差异分布自动算出阈值。思路是拿 30 到 50 块确认 OK 的板子各自和模板做差分统计每块板差分图的 99 分位数取这些分位数的最大值再乘一个安全系数比如 1.2作为初始阈值。这样阈值是从真实数据里长出来的比拍脑袋定靠谱得多。import numpy as np import cv2 def auto_threshold(ok_images, template, percentile99, safety1.2): peaks [] for img in ok_images: aligned, _ align_to_template(img, template) diff cv2.absdiff(aligned, template) # 取 99 分位数代表正常板子的最大差异水平 peaks.append(np.percentile(diff, percentile)) base max(peaks) return base * safety逻辑说明percentile99取的是正常差异的上限避免个别噪点拉高整体safety1.2是安全系数给正常波动留余量。这个阈值不是一劳永逸建议每周用新采集的 OK 板重新校准一次尤其是换季或换批次时。我自己的习惯是系统上线第一周每天手动看一遍误报和漏检把阈值微调到位稳定之后改成每周自动校准同时保留手动覆盖的入口。质检系统没有「设好就不管」这回事产线在变阈值就得跟着变。希望这套从采集到自校准的链路能帮你把主板质量检测系统真正跑起来而不是停在 demo 阶段。本文还有配套的精品资源点击获取