文本匹配里那组“双塔”其实水很深。别急着反驳我知道一提到双塔很多人第一反应就是推荐系统里的用户向量和物品向量。但放到自然语言处理里双塔结构的另一个名字就是今天要聊的“表示型模型”。它干的事情很纯粹把一段文本编码成一个稠密向量然后靠向量之间的相似度通常是余弦相似度或内积来判断文本关系。你觉得它简单但它撑起了搜索引擎召回、FAQ问答、文档去重、语义检索这类最吃量的场景。这篇文章我想把表示型模型从原理到落地拆开来讲包括它的血统、训练细节、样本构造、加速手段还有那些文档里不会告诉你的坑。什么场景会用到它我举几个例子你大概率都见过。微信搜一搜里你输入一句大白话它能从海量公众号文章里捞回相关结果底层就有表示型模型在干活。企业内部的智能客服用户的问题要先从无数历史问答里匹配出最相似的几个候选再做后续的精排或生成这步召回也基本是表示型模型。就连你手机相册里的“以图搜图”换到文本域本质也是一回事。适合谁看如果你正在做语义搜索、问答匹配、相似文本识别或者刚接触对比学习、Sentence-BERT这类概念这篇文章应该能帮你把散落的知识串成一条线并且直接照着搭出一套能跑的流程。1. 表示型模型到底是什么为什么工业界离不开它1.1 文本匹配这个问题的两种解法文本匹配是个老大难问题。你要判断两句话“意思”是否相同或者相关这比判断“字符串是否相等”难太多了。比如“怎么退订流量包”和“流量包如何取消”字面上几乎不重叠但语义上是一回事。想要机器学会这种能力目前主流的方法分成两派表示型和交互型。表示型模型的思路是“先各自编码再比较”。两句话分别送进编码器各自变成一整个句子的向量然后对这两个向量做点积、算余弦、或算欧氏距离得到相似度分数。整个过程里两句话在编码阶段完全不碰头所以也叫双塔结构。交互型模型则是“先碰撞再判断”。两句话的每一个词都先做交叉用注意力机制捕捉词与词之间的对齐关系最后汇总成一个匹配分数。经典代表比如ESIM、BIMPM这些效果通常更好因为交互发生在更细的粒度上。为什么大家仍然疯狂用双塔一句话效率和效果之间的平衡。交互型模型做一次推理需要对句子对做联合计算假设每句话50个词那注意力矩阵就是50乘50的规模如果需要匹配的候选库有1000万条你必须把每一条都和用户query拼在一起跑一遍完全没法上线。双塔模型则是线下把1000万个候选全部提前编码好、建好索引线上只需要把用户query编码一次然后就去做近邻检索毫秒级返回。牺牲一点点效果的上限换来系统可以扛住百亿级数据的规模这笔账太划算了。1.2 表示型模型的技术路线图这个领域的技术演进其实有清晰脉络大致经历了三个阶段早期基于深度网络的向量映射中期基于预训练模型的句子编码再到后期对比学习带来的表示能力跃升。每个阶段解决的核心问题不一样。最早的DSSMDeep Structured Semantic Model出现在2013年前后把词通过字级别的n-gram映射到低维语义空间再用余弦相似度建模query和doc的相关性。它的缺点很突出词袋式的输入丢失了词序信息“我喜欢你”和“你喜欢我”在它眼里没区别。之后出现了一些改进比如用CNN或LSTM做编码器但整体思路没变把语义压进一个向量然后算相似度。真正改写游戏规则的是预训练模型时代的到来。BERT这类模型出来后有人直接把BERT当作编码器把[CLS]位置的输出当成整句话的向量。但直接用BERT做句子向量的效果并不理想原因是BERT的训练目标和句子语义表示的需求不完全匹配它学到的空间存在严重的各向异性就是各方向上的方差差异很大导致向量之间的相似度不能很好地反映语义相似度。Sentence-BERT就是在这个时期出现的它用孪生BERT结构加有监督的匹配数据微调一举奠定了现代表示型模型的基本范式。再往后SimCSE这类方法引入对比学习用无监督的方式也能训练出相当不错的句子向量一下子把门槛又拉低了一大截。2. 核心细节拆解从向量到相似度的全链路2.1 编码器输出的向量到底该怎么用很多初学者最容易忽略的细节是模型的输出层不是拿来直接用的。以BERT为骨架的模型你可以拿最后一层的[CLS]向量也可以拿所有token向量的均值池化或最大池化不同选择对效果有实打实的影响。根据我做过的实验均值池化在绝大多数语义相似度任务上优于直接取[CLS]尤其是当句子比较短、[CLS]向量没有充分吸收信息的时候。训练和推理阶段的池化方式必须保持一致否则你训出来的模型一到线上就失灵这是非常常见的低级错误。向量本身还需要做归一化。很多框架里默认会对编码后的向量做L2正则化也就是把向量长度变成1这有两个好处一是让向量只保留方向信息长度变成无关因素二是方便用内积代替余弦相似度因为向量归一化之后余弦相似度等于内积而内积在向量检索里实现效率极高。我记得早期用DSSM的时候就吃过亏那个年代还没有强制归一化的习惯线上检索和线下评测的相似度分数分布对不上排查了半天才发现是长度信息在捣乱。2.2 相似度计算的数学直觉把向量算出来之后最常用的相似度度量就三种余弦相似度、内积、欧氏距离。在表示型模型里如果你做的是语义相似度任务默认就用余弦相似度或内积两者在向量归一化后等价。欧氏距离也能用它和余弦相似度的关系是对归一化向量欧氏距离平方等于2减去两倍余弦相似度所以信息等价只是数值尺度和直观感受不同。为什么余弦相似度是语义匹配的默认选择因为它对向量的缩放不敏感只关注方向。两个句子向量哪怕整体数值幅值差异很大只要指向的方向接近就认为是相似的。这在语义空间里符合直觉语义空间的方向编码了“说什么”幅值往往编码了“说得有多绝对”或者“信息的丰富程度”而匹配关心的是前者。如果任务本身需要关注文本的强度信息比如情感倾向的强弱程度那内积或欧氏距离可能有额外价值。但绝大多数匹配场景余弦已经够了。2.3 训练时的损失函数选择训练表示型模型最核心的就是损失函数。主流的选择有三种三元组损失、对比损失和排序损失。它们在本质上是同一件事的三种变体。三元组损失是经典的排序思路让正样本对的相似度比负样本对的相似度高出至少一个margin。公式是loss max(0, d(anchor, positive) - d(anchor, negative) margin)这里的d通常用距离而不是相似度margin一般设置在0.2到0.5之间。对比学习的InfoNCE损失则更像一个分类问题给定anchor从所有样本里识别出那个正样本温度系数控制分布的锐利程度。批次越大负样本越多任务越困难学到的表示就越精细所以对比学习的一个核心诉求就是“把batch做大”。实际训练里我发现很多人对温度系数的调整不够敏感。温度太大会让所有样本的梯度都差不多学不到区分度温度太小则会让模型过度关注最难的负样本训练不稳定容易崩塌。一般的经验是初始温度取0.05左右然后在验证集上微调。另外要注意如果你的任务本身有多个类别类别标签和文本语义不完全对应那用纯粹的对比损失可能不够可以把它和交叉熵损失加权组合效果往往会更好。3. 从零搭建表示型文本匹配系统3.1 数据准备数据集格式与预处理我拿最典型的语义相似度任务来演示就是给定两个句子判断是否同一个意思。数据格式最简单可以是一个TSV文件每行包含文本A、文本B和一个相似度标签标签可以是0和1的二值也可以是0到5的连续分数。预处理这一步有三个坑都是我自己踩过的。第一中文文本不要随意去除标点尤其是问号、感叹号这些承载语气的符号“你喜欢我吗”和“你喜欢我”在语义上差异巨大。第二不要粗暴去除停用词。在表示型模型里停用词有时反而是重要信号“A和B的区别”跟“A或B的区别”去掉停用词之后向量就没区别了。第三如果你做的是FAQ问答匹配要对文本做一定程度的归一化比如把繁体转简体把全角标点转半角这样能显著减少同义重复的难度。下面的代码展示了一个基础的样本读取流程顺便把标签从整数映射成浮点数方便后续计算。import csv import random def load_pairs(path, max_len128): pairs [] with open(path, r, encodingutf-8) as f: reader csv.reader(f, delimiter\t) for row in reader: if len(row) 3: continue a, b, label row[0], row[1], float(row[2]) pairs.append((a, b, label)) return pairs # 示例读取训练集 train_pairs load_pairs(train.tsv) print(ftrain pairs: {len(train_pairs)}) random.shuffle(train_pairs)3.2 模型选型与训练配置用BI-Encoder范式实现以当前工程生态来看用已有的预训练中文模型做底座在上面加一个均值池化层再接一个损失函数来微调是最稳妥的方案。如果你没有大算力单卡也能跑因为做双塔微调时句子对的两个塔是共享权重的每个句子独立过编码器反向传播时梯度会叠加。下面我就按Sentence-BERT的风格给出一套可以直接跑的伪训练代码用的是PyTorch和HuggingFace生态。这个代码同时体现了三个关键设计共享权重、均值池化、对比损失的实现。import torch import torch.nn as nn import torch.nn.functional as F from transformers import AutoTokenizer, AutoModel class MeanPooling(nn.Module): def __init__(self): super().__init__() def forward(self, last_hidden_state, attention_mask): # 对非padding位求平均避免padding把向量“拉偏” input_mask_expanded attention_mask.unsqueeze(-1).expand(last_hidden_state.size()).float() sum_hidden torch.sum(last_hidden_state * input_mask_expanded, dim1) sum_mask torch.clamp(input_mask_expanded.sum(dim1), min1e-9) return sum_hidden / sum_mask class BiEncoder(nn.Module): def __init__(self, model_nameyour-base-model): super().__init__() self.encoder AutoModel.from_pretrained(model_name) self.pooler MeanPooling() def forward(self, input_ids, attention_mask): outputs self.encoder(input_idsinput_ids, attention_maskattention_mask) # 取最后一层隐状态做池化 vector self.pooler(outputs.last_hidden_state, attention_mask) # 归一化让向量变成单位向量 return F.normalize(vector, p2, dim1) def contrastive_loss(query_vec, doc_vec, temperature0.05): # 这里用批次内负样本即每个query在batch内其他doc都是负例 logits torch.matmul(query_vec, doc_vec.t()) / temperature labels torch.arange(logits.size(0), devicelogits.device) return F.cross_entropy(logits, labels) # 训练循环示意 model BiEncoder() optimizer torch.optim.AdamW(model.parameters(), lr2e-5) for batch in train_dataloader: query_ids batch[query_ids] query_mask batch[query_mask] doc_ids batch[doc_ids] doc_mask batch[doc_mask] q_vec model(query_ids, query_mask) d_vec model(doc_ids, doc_mask) loss contrastive_loss(q_vec, d_vec) optimizer.zero_grad() loss.backward() optimizer.step()这里的contrastive_loss用了批次内负样本的技巧就是没显式构造负样本直接把同批次的其他doc当作负例。这是提升训练效率的性价比最高的方式没有之一。因为一个batch如果有64个query-doc对理论上就能提供64乘以63个负样本几乎不需要额外花时间去挖掘。唯一的代价是batch里的doc如果不满足“互不相同”的假设就会产生假负例干扰训练。这个可以通过采样策略来控制。3.3 训练轮次与收敛判断微调表示型模型轮次真不是越多越好。我见过太多人拿着BERT微调文本分类的经验一上来就跑10个epoch结果句子向量质量反而下降。原因在于对比学习任务本身不复杂模型很快就过拟合到训练集上那些表面模式上了。我的经验是基础BERT类模型从2到4个epoch开始看效果如果用了数据增强或在更大规模语料上预训练过的模型可以略微放宽到5个epoch。收敛判断不要只看训练损失降没降一定要看固定评测集上的指标。语义相似度任务上可以每保存一个checkpoint就计算一次Spearman相关系数就是预测相似度和人工标注之间的秩相关性。这个指标比准确率更能反映向量空间的质量。训练损失持续下降但Spearman不涨往往是模型在走捷径学习了一些和语义无关的关联模式。还有一点学习率的选择对双塔微调非常敏感。预训练模型微调一般用2e-5到5e-5但如果你用对比学习稍微大一点的学习率配合warmup有时候反而效果更好。我习惯的做法是先用默认的2e-5跑一个epoch观察损失下降速度如果太慢就加一倍如果出现震荡就减半。另外一定要加warmup通常是总步数的10%左右让模型从预训练状态平稳过渡到匹配任务的状态。3.4 推理把相似度计算变成向量检索训练完模型之后我们要让它上生产。关键一步是把所有候选文本离线编码成向量存进向量索引。线上来一条query先编码成向量再去索引里做近似最近邻搜索返回TopK候选。这个流程里向量索引的选择直接决定了你的服务能力和成本。近似最近邻搜索的主流方案有两大类基于量化的如乘积量化和基于图的如HNSW。前者压缩比率高、内存占用小但精度有损后者召回率高、查询速度快但在极高维和极大基数的场景下内存开销较大。我自己在十亿级样本场景下比较常用的是乘积量化加倒排索引的组合在可控的精度损失下能把内存压到原来的十分之一以内。如果数据量在百万级以下直接用暴力计算都行GPU上一批向量算内积矩阵延迟也在毫秒级完全没必要上复杂的索引。import numpy as np import faiss # 假设 doc_vectors 是形状 (N, embedding_dim) 的归一化向量 index faiss.IndexFlatIP(embedding_dim) index.add(doc_vectors.astype(float32)) # 查询 query_vector model.encode([如何取消流量包], ...) scores, indices index.search(query_vector, k10)这段代码里IndexFlatIP是暴力内积索引因为向量已归一化所以等价于余弦相似度。它简单、准确但没有加速。当N达到百万以上应该换成IndexIVFFlat或IndexHNSWFlat。另外我强烈建议上索引之前先做一遍全量暴力检索和索引检索的召回对齐测试统计召回率掉了多少。如果Top10召回率低于95%说明索引参数没调好这时候盲目上线就等于把效果白白扔掉几个点。4. 训练样本的构造策略正负样本的艺术4.1 正样本怎么找领域内匹配数据的价值表示型模型训练效果的上限很大程度由正样本质量决定。正样本就是你希望模型判定为“匹配”的句子对它应该尽可能覆盖你目标场景里真实出现的同义表达方式。如果目标是FAQ问答匹配那就应该有大量真实用户问法和标准问法的配对如果目标是文档检索那就应该有用户搜索词与文档标题、正文关键段的配对。自己构造正样本最省力的方式是“回译”。把一句话翻译成英文再翻译回中文得到的新句子和原句语义几乎一致但表达有差异。这种方式生成的样本数量可以很大但要注意回译往往只改变用词和句式不太会改变语体风格所以它模拟不了太夸张的口语和书面语之间的跨度。另一个办法是从点击日志里抽取用户搜了一个query又点击了某个文档这就算一个弱正例。弱正例会有噪声但胜在真实量大。我见过一些做专业领域问答的人直接拿通用领域的匹配数据训练模型然后期望它在自己的垂直场景里表现好结果往往不理想。领域差异真的很大法律条文之间的“相似”和娱乐话题里的“相似”绝不是同一个概念。如果预算有限最经济的做法是先用通用数据做一轮预训练再标注几百条甚至几十条领域内的高质量数据微调就能获得很大提升。4.2 负样本的层次感简单负例与难负例的搭配负样本比正样本更容易被忽略但它的设计直接决定了模型的判别边界。一句话总结负样本要有层次全是简单的模型就飘全是难的模型就懵。简单负例就是那些一眼看上去就不相关的句子比如用户问“怎么办理宽带”给他配一个“今天天气很好”。这类样本帮助模型学会基础区分能力把语义空间拉开。难负例则是看上去相关但不匹配的句子比如“如何取消流量包”和“如何开通流量包”它们只差一个词但语义方向相反。难负例能推动模型学到更深层的区分能力不至于只记住词面重叠。实际操作中一个epoch里不要全用难负例我的习惯是简单负例、中等负例、难负例各占三分之一左右。难负例可以用训练过程中模型动态挖掘得到的就是每训练几步把当前batch里相似度最高的假负例当作新的难负例再加进去。这种“课程学习”式的渐进方式训练过程会更稳定。4.3 In-batch Negatives为什么高效以及它的问题前面代码里已经用了批次内负样本的方式我再展开说说它的底层逻辑和坑。所谓in-batch negatives就是把同一个batch里其他query对应的doc当作当前query的负样本。这种方式的最大优点是不需要额外计算因为doc向量本来就要参与前向传播拿过来当负样本用零成本。它的局限也明显。假设你处理的是一个candidate池非常大的检索问题batch里只有64个doc那这63个负样本对整个候选空间来说太稀疏了。模型很容易学到一个偷懒的策略凡是词面差异大的就判负对词面相似但语义不同的样本则无能为力。解决方案是增加跨batch的缓存负样本用一个队列保存之前若干个batch的doc向量当前batch的query同时和缓存里的向量做对比。这在实现上也不难维护一个固定大小的队列即可效果提升很显著。另一个问题是假设性冲突如果两条doc在语义上本来就是近似等价的比如两个不同的FAQ标准问法指向同一个答案它们互相充当负样本时就成了假负例。做检索类任务时这种冲突尤其常见。解决方法是每个batch采样时尽量保证doc之间互不相同或者对冲突样本降低权重。我在实际项目中会用“近似去重”先处理一遍候选池把相似度超过阈值的样本合并或抽出这样既减少了训练噪声也减轻了线上索引的冗余。5. 常见问题与排查技巧实录5.1 相似度分数整体偏高或偏低上线后经常遇到的一个现象是线下评测效果挺好线上返回的相似度分数普遍偏高几乎都在0.9以上区分度很弱。这种情况八成是推理阶段和训练阶段的预处理不一致。最常见的元凶是padding方式不同。训练时batch内有长度不一的句子真实长度不到max_len的就补上[PAD]线上你如果单条query没有走同一个padding逻辑或者长度分配策略变了编码出的向量就不可比。解决办法是做一个线下线上一致性检查抽出几十条真实线上query分别走训练时的预处理流程和线上实时流程对比encode出来的向量是否完全一致。不一致就逐字段排查从分词、截断、特殊token到向量归一化每一步都打日志。这类问题定位不难难在你会先入为主认为模型出了问题而其实是在模型外面。5.2 长文本匹配效果明显下降如果你的场景包含长文本比如整篇文档和query的匹配表示型模型的短板会集中暴露。原因是固定长度的向量要压缩的信息量是有限的一句话压缩成768维还能保留主要信息一整篇5000字的文章压缩成768维信息损失就太惨烈了。几种缓解策略按推荐程度排序如下。第一是在编码前做摘要把文档提炼成几个关键句再对句子级向量做聚合表示。第二是分段编码加融合把长文档切成若干片段每个片段独立编码再用类似“取均值”或“注意力加权”的方式融合成一个文档向量这个方案在工程上更通用。第三是改用“稀疏表示加稠密表示”混合检索用BM25这种词项匹配方法兜底长尾词汇信息稠密向量表示语义主方向二者融合后再排序效果通常比单纯堆模型要好。你观察那些真正在线上扛得住大流量的检索系统就会发现没有一个是用单一向量硬刚长文本的都是混合检索的套路。5.3 表示型模型的“各向异性”退化进一步说下去表示型模型始终存在一个问题向量空间往往是各向异性的意思是向量倾向于挤在一个狭窄的锥形区域里而不是均匀铺开。这不是某个模型的问题而是语言模型表示空间的普遍现象尤其在没有充分对比学习训练的模型里更明显。它带来的恶果是两个完全不相关的句子算出来的余弦相似度也高达0.8因为大家都在同一个方向上。业界有几个成熟的缓解手段。一个是白化操作把向量先减去均值再通过一个线性变换把协方差矩阵变成单位阵相当于给向量空间“整形”。另一个是流行的方法叫flow它把向量映射到一个更各向同性的分布上工程上可以看作一个可学习的后处理层。还有一个简单但有效的手段在微调阶段加入一些正则化项约束向量空间的各向同性程度。如果你在评测时发现所有相似度分数都异常集中二话不说先查各向异性再做模型层面的优化。5.4 评测指标选不对调参全是白费最后想强调一个很多人不在意但影响致命的问题评测指标和你的业务目标要对齐。语义匹配模型最常用的两个指标是Spearman相关系数和RecallK。前者适合评测“相似度的排序质量”后者适合评测“TopK检索能力”。你如果用后者做目标却在训练里只优化排序质量效果自然不理想反之亦然。我做检索召回时评测指标一定要包含Recall10和Recall50具体K值根据线上真实需求来定。然后还要评测一个“有害召回率”就是TopK里有多少条是明显不相关但被硬塞进来的这个指标能反映模型是不是偏科。聊天机器人里的FAQ匹配又不一样它更看重Top1的准确率因为答案只能给一个。这时候我会把评测重点放在“Top1是否命中标准问法”上模型选择的损失函数也要倾向这个目标比如对Top1错误施加更大的惩罚。说白了模型是工具指标是你的导航仪导航仪不准路径全白跑。6. 一些没写在文档里的体会表示型模型的工作流走到这里基本上全链路都打通了。其实回头看训练一个效果不错的双塔模型真正花时间的往往不是模型结构本身而是数据、评估和工程对齐这三件事。很多失败的尝试最后都能追溯到同一个根源线下和线上不一致。还有一点值得多说一句。我认识不少刚开始接触文本匹配的朋友第一反应都是“交互型模型效果更好为什么不用”这是真事。交互型效果好但那是离线评测环境下的好在真实检索场景里它跑不起来除非你只做精排阶段。表示型模型的核心优势是它可以极大规模地做召回配合精排模型组成一个两阶段的漏斗。理解了这个分工你才不会被效果数字迷惑而是从系统角度看问题。最后分享一个小技巧。如果你预算有限没法标注太多数据优先保证几百条高质量负样本的覆盖度而不是盲目追求样本数量。更具体地说把你线上真实检索到的、相似度在阈值边界徘徊的那些case认认真真累积下来每两周清洗一次当作专门的难负样本集重新加入训练。这个方法不需要任何高级技巧但它是我见到的投入产出比最高的优化手段没有之一。方向对了慢就是快。