这个东西说难也难说简单也简单。我刚接手这套智能垃圾分类识别系统的时候第一反应其实是抗拒因为过去两三年看过太多类似的方案一个摄像头加一个目标检测模型再配一个分类网络就能贴在宣传栏上叫“AI智能分类垃圾房”。真到现场一测厨余桶里混了半个塑料瓶模型直接装死换个小区连垃圾桶盖都认不准。后来我把整条链路的核心裁决位换成大模型来兜底识别准确率才真正有了肉眼可见的提升。这篇就把我在“大模型赋能智能垃圾分类”这个方向上的完整思路、架构设计和细节实现梳理一遍给正在同类项目里折腾的朋友一个参考。1. 先别谈大模型传统方案到底死在哪1.1 垃圾分类场景的四个硬核难点做垃圾分类识别绝不是“给一张图说这是什么垃圾”那么简单。真正到投放点一看全是传统视觉模型的噩梦。第一个难点是目标尺度极端不均匀。一袋子生活垃圾里既有整瓶的可乐瓶也有两根牙签、一颗烟头、一个瓶盖甚至是一张被揉成指甲盖大小的快递单。检测模型的目标框要在这些极小目标上框准本身就很难而后续分类模型的输入往往是检测框裁剪出来的小图信息量更小错误就顺理成章往下传。第二个难点是类间相似和状态污染。再生塑料瓶和塑料外卖盒材质接近、形态各异但回收路径完全不一样。一个沾满油污的外卖盒在传统模型眼里可能仍然是个干净的塑料盒但业务上它已经属于“受污染的可回收物”很可能只能当其他垃圾处理。更不用说玻璃瓶和陶瓷碗、纸杯和塑料杯人眼都容易打眼更别说让一个纯视觉分类网络去学。第三个难点是遮挡和混合投放。绝大多数居民投放垃圾不是整齐地把单件物品放到镜头下而是把一整个垃圾袋直接扔进桶里。摄像头拍到的是袋口里伸出一半的易拉罐、被菜叶盖住的牛奶盒、三个物品叠在一起的画面。目标检测要在这种情况下输出各自的精确框几乎不可能。第四个难点是现场环境太复杂。夏天的傍晚投放点灯光昏暗反光严重冬天的早晨垃圾桶盖蒙了一层雾气下雨天摄像头玻璃上全是水珠。模型训练时用的那些“干净图片”在真实环境里根本不顶用。1.2 传统视觉方案的困局传统方案的标准组合拳基本就是一条链路先用目标检测模型比如YOLO系列在画面里找到垃圾物体的位置再对每一个检测框做分类分类网络通常是ResNet这类卷积模型最后把输出概率和预设阈值比对决定垃圾该进哪个桶。这个组合在工业质检、安防领域确实成熟但放到垃圾分类上有一个致命前提撑不住数据闭环无法收敛。垃圾分类的类目不是固定的。某个街道的管理方可能要求分出“玻璃”“金属”“塑料”“纸类”另一个街道可能要求“纸盒”和“纸箱”分开算到了下游再生资源厂他们的收购清单又是另一套口径。每次换一套类目传统方案的代价就是重新采集数据、重新标注、重新训练模型。就算类目固定也要面对数据长尾问题——有大量冷门物品出现的频率极低比如体温计碎壳、口红管、打火机样本数几十张网络根本学不稳。我见过一个训练集里“铅蓄电池”只有五十多张图的模型评测时自信心爆棚现场测试连方向都认不清这就是典型的样本偏差背锅。再者场景迁移能力太差。同一个模型在这个小区调好了参数换到隔壁街道的垃圾房因为光照角度、摄像头安装高度、垃圾桶颜色全变了准确率直接掉五六个点。运维人员只能回到现场重新采集数据补训。最折磨人的是置信度不可用。模型经常给出“0.92”的高置信度但它的判断理由根本无从解释。它可能只是学了个背景特征——比如垃圾桶是蓝色的或者投放点台面是瓷砖跟垃圾本身毫无关系。排查问题只能靠猜这是所有现场项目经理最崩溃的地方。1.3 我的思路转折点真正让我决定转到大模型方向是一次很具体的现场事故。那天投放点丢进来一个被外卖汤汁泡过的纸袋里面还卷着几张纸巾、一个小铁勺。传统检测链路的处理结果是“塑料袋置信度0.87”直接导入了其他垃圾——它把湿透的纸袋完全看出了塑料质感。从视觉纹理上说那团东西确实反光、偏白、皱巴巴的很像塑料袋。后来我用一个多模态大模型接同一张图重新跑了一遍它在推理里明确分出了“纸质材料”“表面湿润”“粘连异物”最后判断为受污染纸制品归类到其他垃圾。这个结论不是“概率”给的而是“证据链”给出来的。那一刻我意识到大模型真正改变的不只是识别率这个数字而是把一条从感知到业务的完整推理链带进了系统。2. 技术选型和整体链路设计2.1 三层识别架构想让大模型省钱必须分层把大模型接到垃圾分类里第一个想法往往是把所有投放图片全部传给大模型让它输出垃圾类别。技术上可行但运营上不可行一张图请求一次大模型高峰期投放点一秒内可能进多个物品全都异步排队体验必然崩。更别提推理成本对着几百个投放点长期全线调用费用一点都不低。所以我做的第一件事不是选模型而是设计分层架构。整个识别链路分三层每一层各干各的层级职责实现方式触发条件时延目标第一层边缘轻量预筛目标检测小模型分类可跑在边缘盒子高频、低歧义类目置信度足够高小于300ms第二层大模型兜底多模态大模型API/私有化服务第一层低置信度、歧义case、复杂场景13秒第三层业务规则裁决本地规则引擎大模型输出异常、用户有异议、特殊时段即时思路其实很朴素把系统里改变成本最大的计算资源留给最值得的样本。每天投放到点上的垃圾大量是外卖盒、饮料瓶、快递纸箱这些类目在长期积累的样本上边缘小模型已经能达到很高的置信度没必要再发一次云端。真正需要大模型出手的是那些边缘模型都拿不准的“歪瓜裂枣”比如沾满沙土的拖鞋、烧了一半的塑料桶、被压扁的易拉罐和玻璃瓶叠在一起。做来做去系统终于像一个老员工熟活儿快手快脚难题交给专家。2.2 为什么是“先检后识”不是一张图直接丢给大模型有人会问大模型视觉能力那么强为什么还要保留目标检测器不直接把整张监控画面丢给它原因有三个。其一垃圾分类的监控画面背景干扰太强了。投放点经常有桶盖、扶手、宣传海报、地面瓷砖甚至捡垃圾的师傅弯腰的身影。全图直接进大模型它的注意力会被无关信息分散。把目标框裁出来相当于主动帮它做一次注意力聚焦识别准确率立刻上一个台阶。其二整图直接进大模型输入分辨率不够。API服务通常会对图片长边缩放监控画面里一个瓶盖只有十几个像素缩放之后基本就是一团色块。检测器先在原图上把瓶盖找出来再对这个小区域做放大裁剪大模型看到的才是有效细节。其三合规和隐私。监控画面会拍到人脸、车牌甚至快递面单上的电话。直接在边缘侧把非目标区域裁掉再上云好过整图上传再让云端去“忽略”。这个后面单独展开。整个链路的伪代码逻辑是这样的def recognize(monitor_frame): # 第一步目标检测找出潜在垃圾对象框 boxes detector(monitor_frame) # 返回 [x1,y1,x2,y2,cls,score] boxes filter_by_area(boxes) # 过滤过小、过大、静止背景框 boxes sort_by_area_desc(boxes) # 多目标按面积从大到小排序 result_items [] for box in boxes: roi crop_and_upscale(monitor_frame, box) # 裁剪并缩放ROI roi face_blur(roi) # 本地脱敏人脸/二维码打码 # 第二步先让轻量模型试试 pre_cls, pre_score light_classifier(roi) if pre_score CONFIDENT_THRESHOLD and pre_cls not in AMBIGUOUS_SET: result_items.append(pre_cls) continue # 第三步低置信度交给大模型 llm_result multimodal_llm(roi, prompt_template) result_items.append(parse_llm_json(llm_result)) return result_items2.3 类别体系决定整个数据体系的“地基”在这一类项目做起来的团队最容易犯的一个错误就是模型还没选先把类目列了一大堆什么“可回收物-塑料类-PET塑料瓶-透明色”然后对着几百个细分品类去标数据。做了两个月发现每个类目只有几十张样本模型完全没法训练。我的看法是类目体系必须配置成三层大类-细分类目-属性描述。识别模型只输出细分类目但提示词要求大模型同时填充几个关键属性字段。举个实际例子大类细分类目关键属性字段可回收物PET塑料瓶材质、是否压扁、是否残留液体、是否污染可回收物玻璃容器材质、是否破碎、是否残留液体有害垃圾纽扣电池类型、是否破损、是否生锈厨余垃圾大骨棒材质、形态、是否有包装残留为什么要这么做因为业务决策不只看“它是什么”还要看“它现在的状态”。同一个PET塑料瓶瓶内没清洗干净、带油污在多数下游回收体系里按“低值可回收物”对待一个碎了的玻璃酒瓶如果是用户直接丢进可回收物桶清运工人可能会拒收因为会划伤人。所以我在提示词里专门要求大模型输出“污染状态”“完整性”这类业务字段而不是简简单单一个“塑料瓶”标签。这也是后面跟环卫清运系统对接时最有价值的信息。2.4 模型选型不要只看跑分要拿脏图实测选多模态大模型这件事市面上的方案很多API类、私有化部署的开源模型都有。我的经验是不要迷信跑分榜单也不要用官方Demo里的精美测试图做决定要拿自己垃圾桶里的实拍脏图去测。我当年做选型对比时专门准备了一个“地狱测试集”里面全是逆光、遮挡、湿垃圾粘连、夜间闪光灯等边角料图很多在Demo里表现很好的模型在这套测试集上直接现原形。选型上要重点看四个能力第一是中文理解能力。垃圾分类的标准名和俗名差别很大比如“蛇皮袋”就是编织袋“泡沫箱子”是EPS塑料“酸奶盖”可能是PP或PE材质模型得能从俗语推回标准类目。第二是结构化输出能力。模型能不能稳定地输出JSON格式而不是夹带解释性文字。这块差距挺大的不少模型你让它输出JSON它会在一段散文后给你挤出一个残缺的JSON。第三是图像分辨率覆盖能力。很多模型对输入分辨率有限制小图识别能力差。这个问题可以通过我们前面说的“先检后识”环节减轻但还是要实测。第四是推理成本和时延。在预算不充裕的情况下用开源小模型私有化部署省成本但效果会有折扣用云端API效果好但单张图成本高。我们最终选的是混合路线常规大模型走云端API关键投放点部署一套开源的轻量多模态模型做断网应急双保险。3. 核心模块的实现细节3.1 提示词工程把“这是什么垃圾”拆成四步推理大模型接入识别链路后最容易被低估的就是提示词设计。很多人第一版提示词就一句话“请帮我判断图片里的物品属于哪类垃圾。”这个大模型也答但只能给你一个分类名没有依据、没有属性、还经常张冠李戴。我尝试过很多版本后最终固定了一套“四步推理”提示词模板。核心思路是不要问模型“这是什么垃圾”而要引导它先说“我看到了什么材料、什么状态”再推导“它该进哪个归宿”。下面是我们线上在用的提示词模板按功能做了精简系统角色设定 你是一名社区垃圾分类投放点的智能识别助手你的任务是分析摄像头拍摄的投放物品图片输出该物品的归类建议。 请按以下步骤推理但只输出最终JSON不要输出中间推理过程 第一步材质识别。判断物品的主要构成材质如PET塑料、HDPE塑料、玻璃、纸类、金属、复合材质等。如果物品表面明显沾有油污、食物残渣、水分请在“污染状态”中描述。 第二步形态判断。判断物品当前形态如完整、挤压、破碎、卷曲、粘附其他物品等。 第三步归类计算。基于以上信息按垃圾分类标准判定细分类目和大类。 第四步置信度输出。评估你判断的置信度范围为0到1。 要求 1. 只输出JSON对象禁止输出任何解释性内容。 2. 如果图片中包含多个物体请逐一列出。 3. 如果无法判断输出{unknown: true}不要强行猜测。对应的few-shot示例会在系统里维护十条左右覆盖难样本类型比如“沾满油污的外卖盒”“破碎玻璃瓶”“湿纸箱”。示例的意义是把模糊的标准量化。单纯说“要小心污染情况”模型未必当回事但给三个污染样本示例后模型会在输出里乖乖带上这一项。3.2 结构化输出与置信度校验提示词要求只输出JSON但模型不是傻子有时候真会“自由发挥”。为了在生产环境里不翻车我做了两件事。其一解析侧很严格。任何一条回复只要JSON解析失败立即进入重试逻辑最多重试两次。如果重试仍失败系统不会继续等而是走“存疑”通道把图片推给后台人工审核。不让模型在投放点现场无限拖时间。其二置信度不是照单全收。大模型输出的置信度字段我会让它经过一个业务校准函数这个函数结合三类信息当前投放点的历史类别分布、检测框的面积与清晰度、以及相似物品在该时段的误报率。说白了同样是置信度0.7一个在“塑料瓶”类目历史上很稳定的点位我会放行一个出现过多次“纸盒误判成塑料盒”的点位我会把它打回大模型重审一次。校准逻辑不能写得过于复杂否则就钻到死胡同里去了。我自己的经验是业务规则永远只处理边界case主链路要朴实无华这样才能长期稳定维护。3.3 数据回流闭环让边缘模型越用越聪明前面说过大模型不能所有图都接否则成本顶不住。那怎么让边缘轻量模型的准确率随时间上升、大模型的被依赖率随之下呢答案是搭一条数据回流闭环。逻辑是这样的第一层边缘模型输出的低置信度样本会进入第二层大模型。大模型识别完成后如果置信度也很高我会把它当作“伪标签”缓存下来。每天结束后系统会把当天积累的伪标签按类目分组做一次抽检人工复核其中5%~10%。复核通过的数据进入边缘模型的增量训练集每两到三天触发一次微调训练。边缘模型在增量训练后对这批“曾经不会做的题”就不再陌生下一次同样的物品进来在第一层就能直接给出正确答案。这个闭环跑了两个月最直观的数据变化是第二层大模型的调用占比从初始的接近100%降到了25%左右而轻量模型本身对高频类目的识别准确率从不足85%拉到了95%以上。代价是Ops同学每周要花两小时做数据抽检以及增量训练和发布的工作这个投入很值。3.4 摄像头局部抠图与脱敏处理垃圾分类摄像头拍到的画面里隔三差五就会出现人脸、手部纹路、快递单上的电话、二维码。这类数据直接上传云端不仅不合规还会给运维带来麻烦。为了规避风险我们在边缘侧加了一道处理先跑一个人脸检测模型把框内区域的像素做高斯模糊再用一个二维码/文本检测器把疑似二维码和一串串数字区域做马赛克处理。最后再通过目标检测把垃圾ROI裁出来只把裁剪后的局部图上送云端大模型。一开始团队里也有人嫌麻烦觉得多一道处理浪费算力。后来有一次一个投放点的摄像头拍到一位居民弯腰丢垃圾整张图里有清晰人脸如果这张原图直接出境后续出了问题根本说不清。加了这个处理流程至少在隐私边界上站得住脚。4. 部署方案与实测数据4.1 要不要私有化部署把账算清楚项目推进到部署阶段首先要回答的问题是大模型放在哪。三种路线我都盘点过成本和效果差异非常大。路线优点缺点适用场景纯云端API效果最好接入快无硬件负担单张成本高网络抖动影响体验敏感数据出域试点期、业务量小纯私有化大模型数据本地闭环长期边际成本低需要GPU服务器运维成本高模型迭代慢规模化后、数据敏感混合路线效果与成本平衡架构复杂需要管理两套链路大多数生产项目我们最后选了混合路线。最初两个月用云端API跑通流程、积累数据、验证准确率同时准备一套轻量开源模型的私有化服务放在本地机房。等私有化小模型在评测集上达到可接受水平就把高频类目切到本地云端大模型只处理低置信度case。这个切换过程大约花了两周属于平滑过渡没有出现投放点断档。4.2 缓存策略大模型调用成本怎么压下来老老实实说纯靠大模型API做识别重复计算非常严重。同一个投放点同一个居民一周内可能丢过三个差不多的饮料瓶画面内容高度雷同。如果每次都让大模型重新看一遍钱就白花了。我在系统里加了一层结果缓存。缓存的key不是原图的哈希而是“感知哈希检测结果哈希”的组合先计算裁剪ROI的感知哈希pHash再拼接检测器给出的类别和尺寸信息。这样两张完全相同但分辨率略有不同的图片也能命中同一个缓存。命中缓存后直接返回历史结果时延降至约200毫秒左右。实测下来缓存命中率在第一周就达到25%以上后面随着运行时间增加稳定在40%~50%。对系统整体成本体系来说这一个策略砍掉了将近一半的大模型请求。4.3 落地部署中容易让人破防的坑部署阶段踩过的坑类型比较杂挑三个印象深的写一下。第一个是边缘盒子的散热和防尘。垃圾分类投放点通常放在户外封闭式设备间夏天温度能到50摄氏度边缘盒子一年内过热重启了七八次。后来我专门在设备箱里加装了散热风扇并做了温度告警才算消停。奉劝所有做这类项目的人别只盯着算法设备环境是拦路虎。第二个是断网回退。投放点的网络是运营商专线但偶尔会抖动掉线。一次断网云端大模型全部调用失败第一版系统直接罢工。后来我把本地私有化模型作为断网应急通道并加了缓冲队列断网期间识别请求落进队列网络恢复后按序补处理。用户可能会等几秒但不会完全黑屏。第三个是API限流和退避。大模型API有并发限制和每分钟请求数限制投放点早晚高峰期很容易触顶。我们的对策是两层调用侧加并发池池内请求溢出时走本地模型限流后按指数退避重试而不是蛮力重试。这块做不好早晚高峰系统就大面积超时。4.4 效果指标别只报一个准确率项目上线三个月后我们整理了一组定量指标。必须说明指标都是“分桶看”的不能只看一个综合准确率否则会把问题掩盖掉。综合识别准确率从传统方案时代的约88%提升到96%以上在模型参与决策的case里大模型贡献了超过七成的正确纠偏。第一层轻量模型处理约75%的流量整体P95时延约1.8秒P50时延小于700毫秒。单点成本上平均每张投放图片的大模型费用从初期的几分钱降到了不到一分钱。但这个结果不是靠单一模型“卷”出来的是靠“分层缓存数据回流”三个模块协同。这也是我认为这套方案可以复用的关键。5. 问题排查和避坑实录5.1 典型案例一大模型把塑料瓶认成了塑料杯上线第二周客服反馈某投放点连续三次把“塑料水瓶”识别成“塑料杯”用户气到跟督导员吵起来。排查时我先重放了原始图确实是个被压扁的330ml矿泉水瓶瓶身标签已经磨损加上光线暗人眼也容易犹豫。但深层原因还在提示词系统没有明确要求区分“瓶”和“杯”。我加了两条few-shot样本一条是矿泉水瓶一条是奶茶杯同时在提示词里写明“带瓶口螺纹且曾密封的视为瓶类杯口敞开无密封设计的视为杯类”。加了之后这类case没再复发。这个case给我的教训是提示词的边界要用例子框出来不是靠抽象描述。5.2 典型案例二高峰时段识别太慢用户干等第一版是同步逻辑摄像头拍到投放行为传图给识别服务识别完才打开桶盖或亮绿灯。早晚高峰时段大模型时延一上来满屏排队居民站在投放点前等差评如潮。改成异步逻辑后先打开桶盖让用户投递拍摄的图片在后台异步识别。如果识别出问题系统通过语音提醒“您刚才投放的物品疑似为厨余垃圾请注意分类”。这个改动不需要换模型纯粹是系统设计实际体验提升非常明显。很多项目优化到一半就停在技术上忘了用户要的是“别站在垃圾桶前尴尬”。5.3 典型案例三混合投放一张图里有三个物品厨余桶里一次扔进去一个苹果核、一团纸巾、一个塑料袋。检测器输出三个框各自裁剪后分别调大模型其中有纸巾这张图大模型给了“可回收物-纸巾”的建议在业务规则里被否决——因为沾了厨余的纸巾应视为其他垃圾。这个否决规则很关键它当天就拦住了至少三十次错误提示。跑这个case之后我给系统加了一条铁律同一投放时间窗口内如果同时检出多个物品优先按“污染协同”规则处理。比如食物残渣与纸类同时出现默认纸类已受污染不再单独判“可回收”。这种规则不是模型学会的是业务方拍板的写死在规则引擎里最稳。5.4 典型问题速查表症状直接原因快速处置办法大模型输出JSON格式损坏提示词没有约束死加重试两次失败转人工审核识别结果高置信度但错误模型被背景干扰检查ROI是否裁剪干净加入背景分割同一物品结果时有时无检测框抖动对检测框做时序平滑多帧投票晚上识别率明显下降光照不足补光改用红外摄像头或提高ROI裁图亮度填充词导致输出冗余提示词过松强制“只输出JSON对象”缓存结果过期导致误判物品状态变化缓存设置TTL投放后时间超过阈值强制重识别6. 还能拓展的方向与一点个人建议6.1 四条值得做的扩展路径第一个方向是投放行为分析。识别系统每天都在记录“什么时间、什么点位、什么物品被投放”这些数据可以汇总成居民投放习惯画像。比如某个点位工作日晚八点厨余垃圾占比异常高就可以调整该点位的清运时间从一天两运改成一天三运。第二个方向是违规投放溯源。识别到有害垃圾被误投放后系统可以结合投放时间窗和摄像头画面给督导员推送“疑似投放事件”提醒让溯源时间从视频回放几小时缩到一分钟以内。第三个方向是语音交互和现场提示。识别结果输出后在投放点屏幕弹提示语“玻璃瓶请投放至可回收箱投放前请倒空残留液体。”这个功能实现成本不高但对居民的行为纠偏价值很大。第四个方向是回收积分体系和碳普惠联动。反正已经有了识别结果顺手把“正确分类一次”记成积分数据可无缝对接街道已有的积分体系运营上是个亮点。6.2 最后说点实际的个人经验如果你正准备做一个类似的“大模型赋能XX识别”项目我给你三点建议。第一不要再把大模型当玩具跑Demo要做“脏数据闭环”。从第一天起把线上的失败case积累起来每一周组织一次“错题重考”模型提升的速度会快很多。第二不要在类目体系上用力过猛。开始阶段只做业务方最关心的十个类目跑通闭环比做一百个类目最后全部飘在PPT上更重要。类目体系要设计成可扩展的先拆好大类细分类目后补这样后续加类目不用推翻重来。第三也是最核心的一句方案设计里最值钱的部分从来不是模型本身而是“哪些话让模型说哪些话让规则说”。我在这个项目里最花心思的地方不是调大模型而是设计那一道“什么时候该问大模型”的闸门。这个闸门守好了成本和准确率会同时给你回报。这套系统到现在还在持续迭代后续的计划是把缓存策略从“结果缓存”升级成“意图缓存”——同一个投放位、同一个时段、相似画面直接复用上一轮的整体决策。实测下来还能再砍掉一部分大模型请求。如果到时候有新的数据我再补一篇续文。