本文整理自 QCon 北京 2026 董正心分享《AI大模型重塑垂域任务淘宝闪购搜推商品理解的全新建模》通过AI音视频总结工具Ai好记进行转录整理以下为视频转文字整理后的会议笔记内容。通用大模型很强可一旦落到具体的垂域业务上事情往往没那么简单。淘宝闪购搜推算法团队在做商品内容理解时就遇到了知识遗忘、数据稀缺、泛化不足、多任务孤岛一系列问题。这篇文章把他们的完整建模思路拆开讲从背景、任务到统一训练范式、多模态训练再到大模型质检飞轮整个过程对做搜推、做 NLP 落地、甚至搭 AI 知识库的人都很有参考价值。为什么要做商品内容理解用户打开外卖或即时零售 App输入想吃的菜平台得准确理解需求推荐最心仪的商品。这个流程看着简单背后是四个能力在支撑提升搜索体验、精准个性化推荐、优化商品展示、平台治理与风控。在整个搜推系统里内容理解包含两个核心模块Query理解在入口侧搞懂用户想什么商品理解在商品侧搞懂商品是什么。两者像左右大脑共同作用于召回层和排序层。垂域大模型就是连接用户意图和商品信息的桥梁。三个核心垂域任务淘宝闪购的垂域任务里三个最典型。类目预测根据商品信息在庞大的树状类目体系里找到最合适的叶子节点。难点在于同一个商品不同商家描述差异很大模型要有强语义理解。类目错了会连带筛选器失效、推荐不准、搜索不相关直接拉低转化率。工程上常用前置分类器筛出 top5 候选类目再让大模型做选择题或者用多轮对话逐级细化。CPV预测识别并结构化商品的关键特征。难点有三实体边界破碎、需要推理的复杂语义、以及新属性泛化。经典做法是 LLM 加 RAG检索外部知识库补充商品属性背景知识。卖点生成提炼商品核心价值比如一件T恤生成「纯棉透气简约大方」本质利用大模型的语言生成能力。传统模型做这些任务暴露四个局限垂域微调导致灾难性遗忘、高度依赖高质量标注数据、新商品新描述泛化不足、各任务独立训练形成多任务孤岛。这逼着团队去设计一套统一训练范式。统一垂域训练范式核心思路是构建 FodInstruct 数据集覆盖外卖领域 12 个 NLP 任务总量超 160 万条指令数据来源是历年人工标注和大模型合成。训练上提出两阶段 Post-Training 框架。阶段一领域多任务后训练融合 12 个任务做 SFT、DPO、PPO 三步。SFT 先打底再用预测错误数据构造偏好三元组训练 Reward Model 和 PPO。阶段二在每个垂域任务上微调。这套工作发在了 KDD25 ADSTrack。实验结果很实在12 个任务里 9 个有提升最大单任务增益 4%训练迭代从 5 轮减到 2 轮训练数据需求降了 40%。三个经验值得记DPO 的价值主要在有监督语料上PPO 的价值在大量无监督商品数据上PPO 用 DPO 模型初始化能省步骤省迭代垂域多模态训练商品图片信息量大通用多模态大模型只描述视觉细节给不出品牌、口味、净含量、包装规格这些电商关心的关键信息。问题出在三点缺垂域知识、细粒度识别精度不足、任务导向能力弱。解决方案是先建垂域多模态数据分 Caption 和 VQA 两类混合训练。数据生成上设计了多种方法两阶段生成先出属性再出描述、基于算法图谱生成、针对套餐商品的种子问题池方案、Self-Instruct 自我问答、从简单到复杂的细粒度感知和认知推理演进以及 CoT 迭代生成。训练分三个阶段重点是领域指令对齐做全参 SFT。几个消融结论有意思全参训练比 LoRA 在垂域理解上更强数据量少时增大 LoRA 秩反而下降更小的多模态模型居然比更大的纯文本模型效果好多模态预训练把能力迁移到了纯文本任务上。最佳数据配比是垂域任务数据占 35%只用原来 50% 的数据就接近全量效果。大模型标注与质检飞轮数据质量怎么保证团队建了个自我强化的闭环大模型数据生成多 SOTA 模型投票到低置信数据人工复核再到反馈训练最后大模型质检。这个飞轮大大降低了标注人力依赖因为从 90% 到 95% 是质变95% 到 98% 又是个难跨的鸿沟低置信数据往往是跨越鸿沟的关键。总结淘宝闪购这套方案的核心是把多个垂域任务统一进一套后训练框架里用多模态数据补垂域知识再用数据飞轮保证质量。对普通开发者来说这套思路同样适用于构建 AI 知识库或音视频内容理解系统。常见问题 FAQ问垂域大模型微调总是遗忘通用能力怎么办答用两阶段后训练框架先做领域多任务统一后训练打底再分任务微调能显著缓解灾难性遗忘还能省数据省迭代。问商品类目预测为什么先用分类器筛 top5 再让大模型选答类目体系太大全部塞进 Prompt 会导致上下文过长、推理变慢。前置分类器把候选压到 top5兼顾准确和效率。问电商场景多模态数据从哪来答靠 Caption 和 VQA 数据混合训练用算法图谱、两阶段生成、Self-Instruct 等方法低成本批量构造再配合大模型质检飞轮保证质量。以上内容由 Ai好记 转录整理。Ai好记是一款音视频转图文笔记的AI音视频转录总结工具支持解析B站、抖音、小红书、小宇宙等平台链接及本地/网盘音视频文件转录后自动视频转文字生成精华速览、思维导图和结构化笔记等内容形式帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。