1. 项目背景与核心挑战当搜索代理遇上“模糊”问题最近在准备iKAT SCAI 2026的一个研究项目核心是探索“智能对话搜索代理”中的一个关键问题Clarification Need Prediction也就是“澄清需求预测”。这听起来有点学术但背后的场景其实我们每天都在经历。想象一下你对着一个智能助手说“帮我找一下那个电影。” 助手会一头雾水因为它不知道“那个”是哪个。一个聪明的、具备“代理性”的搜索系统此时不应该直接返回一堆乱七八糟的结果或者干脆报错而是应该主动意识到“用户的问题太模糊了我需要先问清楚。” 这个“意识到需要提问”的能力就是我们要研究的“澄清需求预测”。为什么这个问题在今天变得如此重要因为搜索正在从“关键词匹配”的被动工具向“任务导向”的主动代理演变。传统的搜索引擎是你给它什么它返回什么理解不了是你的问题。但Agentic Conversational Search的目标是让搜索系统像一个真正的、有理解力和主动性的助手能够通过多轮对话协作式地帮你完成复杂的信息需求。在这个过程中准确判断何时需要澄清、何时可以直接行动是对话能否顺畅、高效进行下去的第一道门槛。预测错了要么是啰里啰嗦问个不停惹人烦要么是答非所问让人失望。这个项目隶属于CIR的范畴。CIR即Conversational Information Retrieval是信息检索领域一个快速发展的分支专注于研究如何通过自然语言对话的形式来满足用户的信息需求。而iKAT SCAI作为一个学术会议/研讨会正是聚焦于这类前沿、交叉领域的研究。我们的目标就是在这个特定的技术框架下深入挖掘“澄清需求预测”这个子问题的解决之道。2. 澄清需求预测的技术本质与难点拆解那么具体来说“澄清需求预测”到底是在预测什么我们可以把它形式化为一个二分类任务给定当前对话轮次包括用户当前查询和历史对话上下文模型需要输出一个概率值判断“当前用户查询是否需要系统发起澄清”。但难点恰恰在于这个判断标准极其复杂远非简单的规则可以覆盖。2.1 模糊性的多维度来源用户的模糊查询其根源可能来自多个维度识别这些维度是预测的基础指代模糊这是最常见的一种。用户使用了“这个”、“那个”、“他”、“它”等代词或者“上周的会议”、“我之前看过的文章”这样的短语其指代对象依赖于对话上下文或外部知识。例如用户说“它的作者是谁” 如果前文没提过“它”指什么系统就必须澄清。语义歧义查询词本身有多重含义。比如“苹果”是指水果、公司还是电影再比如“Java”是编程语言、咖啡还是岛屿这种歧义需要结合用户画像如果是开发者更可能是编程语言、对话历史或实时场景来判断。信息不完整用户的查询缺失了完成任务的关键约束条件。例如“订一张机票”缺少了时间、目的地“推荐一家餐厅”缺少了口味偏好、预算和位置。系统需要识别出哪些是缺失的“必填项”。意图边界模糊用户的真实意图可能隐藏在简短的查询背后。比如用户说“我头疼”其意图可能是“查询头疼的原因”、“寻找附近的药店”、“预约医生”或“获取缓解方法”。系统需要预测是否需要通过澄清来明确用户的最终目标。2.2 预测模型面临的独特挑战构建一个预测模型我们至少面临以下几重挑战上下文依赖性强判断是否需要澄清高度依赖于整个对话历史。同一句话“挺好的”在评价电影和回应健康状况时是否需要澄清完全不同。模型必须具备强大的长上下文理解和推理能力。负样本无需澄清的多样性无需澄清的查询千变万化且占大多数。模型不能简单地学习到“只要句子短就无需澄清”或“包含特定词就需澄清”的粗糙模式必须深入理解查询的完备性。澄清的代价与收益权衡并非所有模糊查询都值得澄清。有些模糊性可能对返回结果的核心部分影响不大或者用户本身对模糊结果有容忍度。频繁的、不必要的澄清会严重破坏对话体验。因此预测模型在某种程度上还需要具备“价值判断”能力这使其超越了一个单纯的分类器。数据稀缺与标注困难高质量的、带有“是否需要澄清”标注的对话数据并不多见。而且这个标注本身具有一定的主观性不同标注者对于“是否足够模糊到需要提问”可能有不同看法这给模型训练带来了噪声。3. 主流技术路线与我们的探索方向基于上述分析当前学术界和工业界探索“澄清需求预测”大致有几条技术路线我们的项目也将在这些基础上进行融合与创新。3.1 基于特征工程的传统机器学习方法在深度学习普及之前这是一条主流路径。研究人员会精心设计一系列特征然后使用逻辑回归、SVM或梯度提升树等模型进行分类。这些特征可能包括语言学特征查询长度、词性标注分布、是否包含疑问词、代词数量、命名实体识别结果等。对话特征当前轮次在对话中的位置、与上一轮查询的词汇重叠度、句法相似度等。信息检索特征用当前查询直接检索返回的Top-K个文档的多样性如余弦相似度的方差、最高得分文档的置信度等。如果返回结果彼此差异很大说明查询可能模糊。这种方法的优势是可解释性强我们可以清楚地知道是哪些特征导致了“需要澄清”的判断。但其瓶颈在于特征设计依赖大量领域知识且难以捕捉深层次的语义模糊。3.2 基于深度语义表示的端到端方法这是当前的主流。利用预训练语言模型如BERT、RoBERTa、T5等将对话上下文和当前查询一起编码然后通过一个分类头进行预测。输入表示通常将整个对话历史[UTT1], [UTT2], ...与当前查询拼接中间用[SEP]分隔输入给模型。模型微调在标注好的对话数据集上对预训练模型进行微调。模型会自动学习到哪些语言模式对应于“模糊性”。进阶架构更复杂的模型会采用分层编码器先分别编码每一轮对话再通过注意力机制进行交互或者引入指针网络直接预测查询中哪个词或短语最需要被澄清。我们项目的初步实验就基于这条路线。例如我们采用DeBERTa-v3作为基础编码器因为它对句子间关系和细微语义差异有较好的建模能力。我们将多轮对话处理为“[CLS] 用户: 我想吃辣的 [SEP] 系统: 您想吃什么菜系呢 [SEP] 用户: 就那个四川菜吧 [SEP]”的形式取[CLS]位置的输出向量接一个全连接层做二分类。3.3 基于生成式大模型的零样本/少样本方法随着ChatGPT等大语言模型的崛起我们开始探索另一种范式不进行显式的模型训练而是通过精心设计的提示词让LLM直接判断是否需要澄清。例如我们可以构造如下提示你是一个对话搜索助手。请判断用户的最新查询在给定的对话上下文中是否足够清晰无需进一步提问就能直接给出准确回答。 如果查询模糊、有歧义或不完整需要你进一步提问来澄清则输出“是”否则输出“否”。 对话历史 用户推荐一些旅游目的地。 系统您对什么类型的旅游感兴趣呢比如自然风光、城市文化、还是海滩度假 用户自然风光吧。 最新查询要那种比较小众的。 判断结果这种方法省去了数据标注和模型训练的成本且LLM本身蕴含的丰富世界知识有助于理解各种隐含的模糊性。我们的对比实验发现在部分复杂语境下GPT-4级别的模型表现甚至超过了专门微调的模型。但它的缺点是延迟高、成本贵且判断过程是个黑盒不可控。3.4 我们的融合创新点不确定性感知的预测框架在iKAT SCAI 2026的项目中我们计划不局限于单一方法而是提出一个不确定性感知的澄清需求预测框架。核心思想是将“是否需要澄清”的决策与搜索系统对当前查询执行结果的不确定性联系起来。不确定性量化模块当系统接收到查询后我们不仅用检索模型获取候选文档还会量化这次检索的“置信度”或“不确定性”。例如检索结果一致性计算Top-N篇文档之间的语义相似度方差。方差极大说明查询指向不明。生成式答案的熵如果系统具备生成答案的能力可以让生成模型为同一查询生成多个可能答案计算这些答案在关键信息上的分歧度。模型自身的概率校准让分类预测模型不仅输出“是/否”标签还输出一个经过校准的、可解释的概率值如0.85需要澄清这个概率值本身就代表了模型对“模糊性”判断的不确定性。基于不确定性的决策设定一个动态阈值。当不确定性分数超过阈值时则触发澄清。这个阈值可以根据对话场景如客服场景容忍度低、闲聊场景容忍度高或用户个性化设置进行调整。澄清内容生成在预测需要澄清后框架会联动另一个模块分析不确定性的主要来源是指代不明、还是类型缺失并自动生成针对性的澄清问题例如“您指的是哪个‘它’”或“您能告诉我您的预算范围吗”这个框架的优势在于它将一个抽象的语义分类问题部分地转化为了一个可量化的、与下游任务性能直接挂钩的不确定性估计问题使得决策过程更加可解释、可调控。4. 实验设计、数据集构建与评估指标为了验证我们的想法一套严谨的实验设计至关重要。4.1 数据集的挑战与自构建方案公开可用的、专门针对“澄清需求预测”标注的数据集非常少。常用的对话数据集如MSDialog、ClariQ、Qulac虽然包含澄清环节但标注重点不同。因此我们计划采用“自动构造人工精标”的方式种子数据收集从现有对话数据集如MultiWOZ、Taskmaster中筛选出包含模糊查询的对话轮次。数据增强与污染对清晰的查询进行“模糊化”处理随机替换或删除实体、添加代词、将具体条件泛化如“明天下午”改为“找个时间”。对模糊查询进行“清晰化”处理补全缺失信息。将这些处理后的数据混合构建一个正负样本平衡的候选集。高质量人工标注聘请多名标注员对候选集中的每个“查询-上下文”对进行独立标注判断“系统是否需要在此刻发起澄清”。我们会制定详细的标注指南并通过Kappa系数计算标注者间一致性只保留高一致性的数据作为黄金测试集。4.2 模型对比实验我们将设置以下几组对比模型基线模型Rule-Based基于简单规则的基线如查询包含特定代词或长度小于3个词则需澄清。TF-IDF SVM基于词袋特征的传统机器学习基线。主流深度模型BERT-Large直接微调作为强基线。RoBERTa-Dialogue在对话数据上继续预训练过的RoBERTa。ELECTRA因其高效的预训练方式可能在有限数据上表现更好。我们的方法Uncertainty-Aware DeBERTa我们提出的不确定性感知框架下的DeBERTa模型。LLM Zero-Shot (GPT-4)作为性能上限的参考。4.3 评估指标超越准确率对于此类任务简单的准确率不够有说服力。我们将采用一套综合指标Precision, Recall, F1-score重点关注“需要澄清”这个正类的F1值因为正样本通常更少、更重要。ROC-AUC衡量模型在不同决策阈值下的整体排序能力。Clarification Cost在模拟对话环境中统计模型成功完成任务所需的平均澄清轮次。一个好的预测器应该在确保任务成功的前提下最小化不必要的澄清。User Satisfaction Simulation设计一个简单的用户模拟器根据模型是否在“该问的时候问、不该问的时候不问”来给予奖励分数。5. 潜在问题、调参心得与未来展望在实际研究过程中我们已经预见到并初步摸索出一些坑和技巧。5.1 数据不平衡与过拟合“无需澄清”的样本远多于“需要澄清”的样本这会导致模型倾向于预测“无需澄清”从而召回率极低。我们的应对策略是在损失函数层面使用Focal Loss替代标准的交叉熵损失让模型更关注难以分类的少数类样本。在数据层面除了对少数类进行过采样更有效的是采用前文提到的“数据污染”法主动构造高质量的模糊样本这比简单的复制粘贴更能提升模型对模糊性边界的感知。在模型层面在最后分类层前加入Dropout层并适当增强Weight Decay防止模型对多数类噪声模式过拟合。5.2 上下文长度与计算效率对话历史可能很长将全部历史输入Transformer模型会带来巨大的计算开销和长度限制。我们的处理方式是历史压缩不是简单截断而是使用一个简单的文本摘要模型或直接用LLM的摘要能力将长对话历史压缩成几个关键要点的摘要再与当前查询拼接。实验表明这通常比直接截断后512个token效果更好。分层建模先对每一轮对话单独编码再使用循环神经网络或更轻量的注意力层对轮次级别的表示进行建模这比对整个长文本进行全注意力计算更高效。5.3 澄清的“粒度”与“时机”预测出“需要澄清”只是第一步。更深层次的问题是澄清什么以及现在澄清是否是最佳时机有时用户正在连续表达中途打断进行澄清反而会破坏对话流。这引向了更前沿的研究方向澄清焦点预测在判断需要澄清后进一步预测是哪个短语或哪个信息维度需要澄清如时间、地点、人物。延迟澄清决策模型可以学习“等待”积累更多用户输入后再决定是否澄清这需要模型具备更强的对话状态跟踪和规划能力。对于我们这个项目而言在iKAT SCAI 2026的舞台上我们期望展示的不仅仅是一个精度更高的分类模型更是一种将语义理解、不确定性量化和决策优化相结合的系统性思路。最终的愿景是让对话搜索代理变得更“体贴”也更“果断”该问的时候一针见血不该问的时候默默办好这才是真正智能的协作体验。接下来的工作将集中在框架的完整实现、大规模实验对比以及结果的可视化分析上期待能与同行有深入的交流。