1. 从“先计划后判断再执行”说起工业质检的范式革新最近在跟几个做工业质检和智能制造的朋友聊天大家普遍有个痛点现在的AI质检系统越来越像一个“黑盒”。模型训练好了部署上线产线上图像一进来系统就“啪”地给出一个“OK”或“NG”的判断。至于为什么是NG是划痕、污渍还是结构异常这个异常有多严重是否需要立即停机产线工程师往往一头雾水只能被动接受结果。更麻烦的是当产线工艺调整、物料批次更换时模型的误报率可能突然飙升整个团队又要手忙脚乱地重新标注数据、重新训练模型周期长、成本高严重影响生产效率。这让我想起了制造业里一个非常经典的方法论DMAIC。它来自六西格玛是Define定义、Measure测量、Analyze分析、Improve改进、Control控制五个阶段的缩写。这套方法论的核心思想不是上来就解决问题而是先花大力气去“定义”问题、收集数据“测量”现状、深入“分析”根因然后才去“改进”方案最后通过流程“控制”来固化成果防止问题复发。它强调的是一种结构化、数据驱动、持续优化的思维。那么能不能把DMAIC这种“先谋定而后动”的严谨思维和当前火热的LLM驱动的自主智能体技术结合起来打造一个全新的工业异常检测系统呢这就是“Plan First, Judge Later, Run Better: A DMAIC-Inspired Agentic System for Industrial Anomaly Detection”这个标题背后所探讨的核心命题。它不再追求一个“端到端”的、一次性给出最终判决的模型而是构建一个由多个具备不同能力的智能体组成的协作系统。这个系统的工作流是先由“规划者”智能体根据任务上下文制定检测策略Plan再由“分析者”智能体基于多源数据进行综合研判Judge最后由“执行者”智能体执行最优的检测动作并反馈结果Run Better。整个过程是透明、可解释、可干预、可迭代的。这种“智能体系统”的思路正是Lilian Weng等研究者所倡导的LLM Powered Autonomous Agents的典型应用。它让AI从单纯的“模式识别器”升级为具备一定认知和决策能力的“虚拟工程师”能够应对工业场景中复杂多变、小样本、零样本的异常检测挑战。接下来我就结合自己的理解和一些行业实践拆解一下这样一个系统的核心架构、关键技术与落地难点。2. DMAIC方法论如何映射到智能体系统设计要理解这个系统首先得吃透DMAIC每个阶段在异常检测任务中的具体含义以及如何用智能体的能力来实现它。这不是简单的概念套用而是需要设计具体的智能体角色、交互协议和知识库。2.1 Define定义阶段问题界定与任务拆解智能体在传统质检中“定义”往往由工程师凭经验完成比如“检测手机外壳划痕”。但在智能体系统中我们需要一个定义者智能体。它的输入是来自生产管理系统MES的工单信息、产品图纸、历史缺陷库以及自然语言描述的任务如“今天开始生产A型号零件请重点关注表面镀层均匀性和边缘毛刺”。这个智能体的核心工作是将模糊的、高层的检测需求拆解成一系列具体的、可执行的检测子任务。例如子任务1定位ROI感兴趣区域。基于产品CAD图纸和当前图像智能体需要识别出哪些区域是外观面、哪些是功能面不同区域的检测标准如光泽度、粗糙度不同。子任务2确定缺陷类型与等级。关联历史缺陷库明确本次检测需要关注的缺陷清单如划痕、凹坑、污渍并为每类缺陷定义严重等级Critical, Major, Minor。子任务3配置检测参数与流程。决定使用哪种成像方式如普通RGB、3D结构光、热成像、需要调用哪些预训练的视觉模型或传统算法库、检测的流程顺序等。这个智能体通常由一个具备强逻辑推理和知识检索能力的LLM驱动它需要访问包含产品标准、工艺规范、缺陷图谱的企业知识库。它的输出不是一个简单的“是/否”而是一份结构化的“检测计划书”这份计划书将成为后续所有智能体行动的“宪法”。注意这个阶段的挑战在于如何让LLM理解极其专业的工业术语和图纸。实践中通常需要对行业术语进行高质量的向量化嵌入并结合规则引擎进行后处理确保拆解出的子任务无歧义、可落地。2.2 Measure测量与Analyze分析阶段多模态感知与根因研判智能体这是系统的核心研判环节通常由一组协同工作的智能体完成。测量者智能体集群负责数据采集与特征提取。它们不再是单一的CNN模型而是各司其职的“专家”宏观外观智能体使用经过预训练的视觉基础模型如SAM, DINOv2对整体图像进行分割和嵌入获取全局上下文和语义信息。微观细节智能体针对“定义阶段”划定的关键ROI使用高分辨率模型或传统图像处理算法如边缘检测、纹理分析提取局部精细特征。多源数据融合智能体如果产线配有光谱仪、振动传感器、PLC信号等该智能体负责将这些时序信号、结构化数据与视觉特征进行对齐和融合形成一个统一的多模态表征。分析者智能体则扮演“侦探”和“法官”的角色。它接收来自测量者智能体的多维度特征并执行以下研判异常检测基于正常样本的特征分布如通过自编码器、归一化流模型学习得到计算当前样本的异常分数。这里的关键不是用一个模型而是采用“委员会”机制综合多个弱监督或无监督模型的结果。缺陷分类与定位如果判定为异常分析者智能体需要进一步判断缺陷类型。它通过对比当前异常特征与历史缺陷特征库由“定义者”智能体提供的相似度来进行分类并精准定位缺陷区域。根因推理这是最具价值的一步。分析者智能体需要结合产品工艺参数如注塑温度、压力、设备状态数据、来料批次信息等利用因果推理图或LLM的推理能力推测导致当前缺陷的最可能的生产环节根因。例如它可能输出“当前划痕呈线性且方向一致结合该工位机器人轨迹日志推测为夹具定位偏移导致刮擦置信度85%。”这个“先测量多维度数据再综合分析研判”的过程完美体现了“Judge Later”的思想——不急于下结论而是充分收集证据后进行综合判决。2.3 Improve改进与Control控制阶段闭环优化与流程管控智能体传统AI质检系统往往到此为止但DMAIC驱动的系统强调闭环和持续改进。改进者智能体负责从失败中学习。当系统误判、漏判或工程师手动修正了判决结果后这些案例会被自动收集。改进者智能体分析这些案例判断是否需要更新模型模型微调如果发现某一类新缺陷反复出现且现有模型无法识别智能体会自动启动一个小样本微调流程用新增的少量标注数据更新“微观细节智能体”的分类头。流程优化如果发现某一步“测量”环节如光照条件导致数据质量不稳定智能体会建议调整该环节的参数或触发校准流程。知识库更新将新缺陷的特征和根因分析沉淀到企业知识库中丰富“定义者”和“分析者”智能体的知识。控制者智能体则负责系统的健康运行与流程固化。它像一个“管理员”持续监控系统性能看板实时统计各产线、各产品型号的检出率、误报率、平均检测时间等指标。数据漂移预警监控输入图像数据的分布变化如原材料颜色变化、环境光照缓慢改变当漂移超过阈值时发出预警提示可能需要重新收集正常样本或调整模型。流程合规性检查确保每一次检测都严格遵循了“定义阶段”生成的检测计划书没有步骤被跳过或篡改。通过“改进”和“控制”智能体系统实现了从“一次性项目”到“持续运营”的转变真正做到了“Run Better”。3. 系统核心架构与智能体协作机制理解了各阶段智能体的职责后我们需要一个稳固的架构让它们高效协作。下图展示了一个参考的系统架构整个系统可以划分为四层1. 感知与执行层由各类硬件工业相机、传感器和底层的控制程序机器人、PLC组成是智能体系统与物理世界的接口。“执行者智能体”位于此层负责最终执行“分析者”下达的指令如控制机械臂将NG品放入返工区。2. 智能体协作层这是系统的“大脑”。一个主控协调智能体Orchestrator负责接收来自MES/ERP的工单并启动整个DMAIC流程。它按照预定义的协作协议如基于智能体工作流的框架如LangGraph, AutoGen来依次调用“定义者”、“测量者集群”、“分析者”、“改进者”和“控制者”智能体并管理它们之间的信息流转。智能体间的通信消息需要被标准化通常采用结构化格式如JSON Schema包含任务ID、智能体角色、输入数据、输出结果、置信度等字段。3. 能力与模型层为各个智能体提供所需的“武器库”。这包括领域LLM基于工业质检语料工艺文档、维修记录、专家经验微调的大语言模型是“定义者”、“分析者”根因推理等智能体的核心。视觉模型库包含各种预训练的缺陷检测、分割、分类模型以及传统的OpenCV算法模块供“测量者智能体”按需调用。多模态融合模型用于处理视觉、传感、文本数据的融合表征。因果模型与知识图谱存储产品-工艺-缺陷之间的关联关系辅助根因分析。4. 数据与知识层系统的“记忆”与“经验”。包括向量数据库存储产品图纸、缺陷图片、工艺参数的非结构化数据嵌入供智能体快速检索相似案例。关系型数据库存储结构化的生产工单、检测结果、设备状态数据。企业知识库以图谱或文档形式存储的产品标准、作业指导书、历史故障案例库。整个系统的工作流是事件驱动的。当一个新的生产工单到达时主控协调智能体被触发开启一个DMAIC循环。每个智能体完成任务后将结果和上下文传递给下一个智能体直至流程结束结果反馈给MES并触发相应的生产动作。4. 关键技术选型与落地挑战构建这样一个系统技术选型至关重要同时也面临诸多现实挑战。4.1 智能体框架选型LangChain vs. AutoGen vs. 自研目前业界有几个流行的多智能体框架LangChain / LangGraph生态丰富易于快速原型开发。其LangGraph非常适合描述有状态的、循环的智能体工作流正符合DMAIC的循环特性。但对于高并发、低延迟的工业实时场景可能需要深度优化。AutoGen由微软推出支持复杂的多智能体对话模式智能体可以主动发起聊天、进行辩论非常适合需要多次讨论才能达成一致的复杂分析场景。但架构相对较重。自研轻量级框架对于追求极致性能和可控性的工业场景许多团队会选择基于消息队列如RabbitMQ, Kafka和轻量级RPC自研一套智能体调度框架。这样可以对通信、容错、资源调度有完全的控制权。选型建议在项目初期验证概念时可使用LangGraph快速搭建原型。进入生产环境前建议评估自研或基于成熟流处理框架如Apache Flink进行重构以满足工业级稳定性和实时性要求。4.2 领域大模型与知识注入通用LLM如GPT-4在理解工业场景上存在严重不足。必须进行领域适应检索增强生成RAG这是必选项。为智能体配备一个强大的向量检索系统能实时从企业知识库中查找相关的工艺文件、缺陷案例、设备手册作为上下文提供给LLM大幅提升回答的准确性。监督微调SFT收集大量“工单-检测计划”、“缺陷特征-根因分析”的配对数据对基础LLM进行微调让它学会工业领域的思维模式和输出格式。提示词工程设计严谨的提示词模板强制LLM以“角色扮演”如“你是一名经验丰富的质检工程师”和“分步思考”的方式输出提高其推理的可靠性和结构化程度。4.3 实时性与确定性挑战工业检测往往要求在毫秒到秒级内完成。而LLM推理速度较慢且存在一定随机性。异步流水线设计将耗时的LLM推理环节如复杂根因分析设计为异步任务。系统先基于轻量级模型快速给出“有无异常”的判决和紧急处置LLM的深度分析报告稍后生成用于维修指导和工艺改进。确定性保障对于“定义”、“控制”等关键环节需要设置严格的输出验证规则如JSON Schema校验、关键字段枚举值检查必要时引入规则引擎作为LLM输出的“安全阀”和校准器。4.4 数据安全与系统可靠性工厂数据涉及核心工艺机密必须部署在本地或私有云。这意味着所有模型、框架都需要支持私有化部署。此外系统必须有完善的容错和降级机制当某个智能体特别是LLM服务失效时系统应能自动切换到备用规则库或简化流程保证产线不停机。5. 一个简化的实战案例PCB板焊点检测为了更具体地说明我们设想一个PCB板焊点检测的场景。Define定义主控协调智能体收到任务“检测B型号主板焊点”。它唤醒“定义者智能体”该智能体检索知识库得知B型号主板有QFP、BGA等5种封装类型共计1200个焊点。它生成检测计划先进行全局光学扫描测量者智能体A定位所有焊点区域针对QFP封装使用3D共聚焦显微镜检测引脚翘起和焊锡高度测量者智能体B针对BGA封装使用X-Ray检测隐藏焊点的空洞率测量者智能体C。判定标准依据IPC-A-610标准。Measure Analyze测量与分析测量者智能体A完成全局扫描将焊点坐标图传递给分析者智能体。分析者智能体初步判断发现第305号QFP焊点区域颜色异常。它调度测量者智能体B对该点进行3D扫描获取高度图。分析者智能体综合全局图像和3D高度数据计算异常分数高达0.92。它检索缺陷库匹配特征后分类为“焊锡不足”。同时它查询该工位的回流焊炉温曲线日志发现该点位在焊接时炉温比设定值低5度结合物料批次信息推测为该批次锡膏活性略差在临界温度下导致润湿不良。它输出判决“NG - 焊锡不足置信度90%”根因“回流焊炉温偏低叠加锡膏批次差异”。Improve Control改进与控制该案例被确认后改进者智能体将“焊锡不足-炉温偏低”这个新的根因模式存入知识库。控制者智能体监控到近期同一锡膏批次的板子焊锡不良率有上升趋势自动向MES系统发出预警建议对后续使用该批次锡膏的工单将回流焊炉温上调3度作为补偿并通知工艺工程师确认。通过这个案例可以看到系统不再是简单地“找不同”而是形成了一个感知、研判、决策、优化的完整智能闭环。6. 未来展望与入门建议“Plan First, Judge Later, Run Better”代表的是一种系统性的思维升级。它将人工智能从“工具”层面提升到了“协作伙伴”层面。对于工厂而言它带来的不仅是检测准确率的提升更是问题响应速度的加快、工艺知识的沉淀和整体生产质量的持续改善。如果你所在的团队也想尝试引入这样的系统我的建议是从小处着手选择一个痛点明确、边界清晰的场景比如某个特定工位的特定缺陷检测而不是全产线铺开。先构建“单智能体”MVP例如先实现一个“分析者智能体”的雏形让它能接收现有检测系统的“疑似异常”图片然后调用LLMRAG生成一份包含缺陷类型和可能原因的分析报告给工程师做参考。这一步价值立即可见也能积累经验。高度重视数据与知识沉淀在项目启动时就要有意识地结构化整理工艺参数、设备日志、维修记录构建最初的知识库。这是整个系统的“燃料”。团队需要融合多种技能不仅需要算法工程师和软件工程师更需要熟悉生产流程的工艺工程师、设备工程师的深度参与。只有懂业务才能设计出真正有用的智能体角色和协作流程。这条路并不容易需要跨越技术、数据和组织的鸿沟。但它的前景是清晰的一个更加智能、柔性和透明的工业质检新时代正在这种“先计划后判断再执行”的智能体协作中缓缓展开。