评估词向量这件事我一开始以为是拿个相似度任务跑一下、看看准确率就行后来发现远远没有这么简单。词向量像是一个基础工具你说它好不好用其实取决于你到底拿它来做什么。如果只是看两个词的余弦相似度能不能匹配上同义词那很多模型都能做到八九不离十但一旦放到真实的下游任务里比如情感分类、命名实体识别、语义匹配词向量的微小差异都会被放得很大。当时我学到第12篇正好是把词向量评估、Skip-gram的缺点、Subword三个问题串到一起的关键节点。这篇笔记就想把这个阶段的思考完整地整理出来包括怎么评估词向量、Skip-gram到底弱在哪里、Subword为什么能补上这些短板以及我自己在实操中踩过的坑和验证过的结论。适合正在系统学NLP、尤其是学到词表示这块的朋友参考。1. 词向量评估先想清楚你评估的是语言规律还是下游任务评估词向量本质上是在回答一个问题这些向量到底有没有把我们关心的语言规律编码进去但语言规律这个词太大了所以业界分成了内部评估和外部评估两条路线。两条路线目的不同结论差别也很大。1.1 内部评估——相似度与类比任务怎么看内部评估不需要跑任何复杂的下游模型直接对词向量本身做计算。最常见的有两类任务相似度任务和类比任务。相似度任务的做法是拿一组人工标注好相似度分数的词对比如猫-狗打了8分、猫-汽车打了1分然后计算词向量的余弦相似度看它和人工分数相关多少常用Spearman相关系数来衡量。这个任务看起来很直观但我实际跑下来发现一个问题不同的相似度数据集侧重点完全不同。像WordSim-353这类数据集更偏主题相关性而SimLex-999则更严格要求语义相似性。同一个词向量在WordSim-353上表现很好在SimLex-999上可能直接掉十个点原因就是很多词向量把经常一起出现和语义相近混为一谈。类比任务则是经典的国王-男人女人女王这类推理计算的是向量空间中的平行偏移关系。评估指标一般是准确率看看模型能不能从候选词里找出正确的结果。我自己的体会是类比任务比相似度任务更容易受高频词干扰而且对语料质量非常敏感。如果语料里国王女王这种词出现频率差距过大偏移向量就会歪掉。还有一种很容易被忽略的内部评估方法向量空间的性质检验。比如各向同性好的词向量在空间中的分布不应该全都挤在一个锥形区域里否则余弦相似度会整体偏高区分度很差。这个性质对后面做向量运算、做聚类都会有影响。1.2 外部评估——真正决定词向量价值的试金石外部评估就是把人家的词向量作为输入特征喂给一个下游任务模型看最终效果。比如做文本分类把句子里的词替换成词向量然后接一个分类模型看F1值。外部评估的好处是结果直接反映实际使用价值。但它也带来一个麻烦你很难判断效果的提升到底来自词向量本身还是来自下游模型的结构。我试过一个很典型的场景同一个词向量接一套简单的线性分类器和接一个深层双向LSTM效果差距非常大。这时候你评估的其实已经不是词向量了而是整个模型组合。所以我自己在实践中养成了一个习惯先做内部评估快速筛掉明显不好的词向量再做外部评估在固定的下游模型上进行对比。并且外部评估的时候下游模型要固定参数、固定随机种子、固定训练轮数否则词向量之间的差异会被模型训练的随机性掩盖掉。另外还有一个值得尝试的技巧冻结词向量 vs 微调词向量。所谓冻结就是在下游模型训练过程中词向量层的参数不再更新微调则是把词向量也作为可训练参数。我见过很多人只测了微调的情况结果词向量之间的差距被磨平了得出了所有预训练词向量效果都差不多的结论这其实是不严谨的。正确的做法是两种模式都测一测才能更全面地判断词向量本身的信息量。2. Skip-gram的三个硬伤被很多人忽略的边界条件Skip-gram是Word2Vec里最常用的模型基本思路是用中心词预测上下文词把词的共现信息压缩到低维向量里。它效果好、训练简单但它的缺点也很明显而且是那种在真实场景里会直接限制你应用的硬伤。2.1 静态向量解决不了一词多义这是Skip-gram最被诟病的点之一每个词在训练完之后只有一个向量。但现实中一个词往往有多个含义比苹果可以指水果也可以指科技公司还可以是电影、歌词里的意象。Skip-gram会把所有这些含义混合在同一个向量里结果是哪个含义都不太像。我自己对这个问题的感受非常深。一开始我拿到一个预训练词向量查了一下苹果的最近邻发现排在前面的是梨、香蕉、水果然后又有一批和科技相关的词再往后是一些和品牌相关的词整个向量被拉到了一种水果和科技的平均值的位置上。这种情况做相似度检索还能勉强接受但如果做语义匹配或者问答就很容易出错。为什么Skip-gram会产生这个问题因为它从头到尾只有一个向量表示一个词训练时上下文是水果语境的天天被更新上下文是科技语境的时候也被更新同一个向量被迫在两种信号之间妥协。解决方向有两个一个是ELMo、BERT这类基于上下文的动态表示每个词在不同句子里有不同向量另一个是在静态词向量层面做多义分解把一个词拆成多个sense向量。后者在实际落地中用的不多主要还是因为动态表示的效果碾压。2.2 未登录词与低频词是最大痛点未登录词就是词典里根本没有的词。Skip-gram训练完成后词汇表就固定了新词、拼写变体、专有名词一概不认识。你训练的时候语料里没有区块链这个词那你之后用它做语义搜索就搜不到任何东西因为这个词压根没有向量。低频词的问题稍微隐蔽一点但同样严重。因为Skip-gram更新词向量依赖这个词作为中心词或上下文词出现在语料中如果某个词只出现了两三次它的向量会非常不稳定基本是被周围的几个词随便拉来拉去没有任何泛化能力。我做过一个简单的统计实验在中文语料上训练Word2Vec把所有频次低于5次的词挑出来看它们的最近邻结果几乎全是噪声和这些词本身没有任何语义关系。这里还要提一下采样策略的影响。Skip-gram训练时会对高频词做下采样减少的了是这类词的干扰这个设置在大多数情况下是好的但也会导致一些中频词被过度下采样。我在调参时遇到过一种情况把下采样阈值调得太高结果很多有语义价值的词向量质量严重下降因为它们在训练中被主动忽略的次数太多了。2.3 词级别的粒度隔绝了形态学信息英文里的runrunsrunning在Skip-gram看来是完全不同的词尽管它们共享同一个词根。中文里的猫猫咪小猫也完全独立各个向量之间没有任何形态学上的关联。这导致模型在数据量不够的时候很难把这些形态相关的词向量拉近。形态学信息的重要性在于泛化能力。人类看到跑跑着跑了能立刻知道它们是同一个动作的不同形式但Skip-gram需要大量语料才能学到这一点。对于英语这类形态丰富的语言这个缺点尤其致命。而且即使语料够多也只是把高频的形态变体学好那些少见的、生僻的变体依然学不好。这也引出了词粒度表示的根本问题词是离散的符号如果你只给每个符号分配一个向量符号之间的内在关联就完全取决于它们在语料中的共现统计而不是它们的构成方式。这等于主动放弃了语言本身的规律性。Subword的思路恰恰是把词这个基本单位拆开让模型从更细的粒度上去学习。3. 从词到子词Subword为什么是绕不开的方案Subword不是一个具体模型而是一类方法的总称。核心思想很简单与其把词当作不可拆分的最小单位不如把词拆成更小的片段然后让模型从这些片段的组合中去学习词的表示。这样做的直接好处是词表变小、未登录词可以被拆解、低频词也能借助子词获得向量。3.1 核心思路用片段解决整词的问题打个比方。以前你要在一本书里找所有提到李明的地方如果书里有一千万个名字你就不可能全记住。但如果你把名字拆成姓和名只需要记几百个姓、几千个名就能组合出几乎所有新名字。Subword就是这个思路它把词表从几百万压缩到几万甚至几千每个词都变成若干子词片段的组合。这个思路解决了我前面提到的未登录词问题哪怕一个词在训练时完全没见过只要它的字符片段出现在子词词表中我就能拼出一个近似的向量。低频词也有救了因为虽然艰难困苦这整个词出现得很少但艰难困苦这些子词出现得可能很多它们的向量质量会好很多组合出来之后整词的向量质量也随之提升。Subword的引入还改变了OOV的处理方式。以前遇到一个没见过的词要么直接扔掉要么随便初始化一个随机向量要么用UNK标记代替。现在则可以按规则切分成子词序列正常送入模型。这一改进在文本分类、机器翻译、命名实体识别上都带来了很明显的收益。3.2 FastText的字符n-gram方案在Subword这个方向上FastText是非常有代表性的工作。它本质上和Skip-gram的框架一样但把每个词表示成若干字符n-gram向量的叠加。例如apple除了完整的apple之外还会拆出app、ppl、ple、appl、pple这些字符片段词向量就是这些片段向量的总和。我自己实际用的时候一开始会把字符n-gram的尺寸设成默认值3-6后来发现这个选择需要根据语料类型去调。如果是多语言场景形态变化比较丰富的语言比如德语、芬兰语窗口最好大一点如果是中文这种字符本身就携带很多信息的语言其实直接用一个字符都能有不错的效果因为中文字符数量远小于词数量而且每个字符都有独立含义。FastText另一个实用价值在于可以训练出词表外词的向量。测试的时候碰到一个训练时没出现过的词仍然可以按字符n-gram把它拆开聚合出对应的向量。这一特性非常实用我见过不少用FastText做文本相似度的项目一遇到新词出现其他模型直接哑火FastText还能照常给向量结果。不过FastText的代价也很明显训练和存储开销显著增加。每个词会拆出多个n-gram模型需要学习的片段数量是原来的几十倍。训练速度会变慢模型文件也会变大很多。我拿同样的中文语料分别训练Word2Vec和FastText模型文件体积大概差了5到8倍。如果你有海量词汇和大规模语料硬件成本是个需要提前估算的问题。3.3 BPE、WordPiece、Unigram的切分思路除了FastText的字符n-gram之外还有一类更精细的子词方法典型的代表是BPE、WordPiece和Unigram。它们不直接使用固定长度的字符n-gram而是从语料中学习一套最优的切分规则把词切成语义上更有意义的片段。BPEByte Pair Encoding的思路是迭代合并出现频率最高的字符对。初始时语料是所有字符的序列然后反复把最常出现的相邻字符对合并成一个符号。比如lowlowerlowest经过BPE处理后可能会变成low加后缀这样low这个片段就能在很多词里共享。实际操作中BPE的合并次数是一个超参数合并次数越多子词粒度越大词表也就越大合并次数太少则很容易拆到单字符级别丢失词级语义。WordPiece和BPE很像只不过它在决定合并哪些字符对时不是单纯看共现频率而是看合并前后语言模型概率的提升幅度。BERT用的就是WordPiece。这个细节上的差异让WordPiece在切分连贯性上通常比BPE好一些。Unigram则走了完全相反的路线一开始把词切到最细然后用语言模型不断剪掉那些不重要的子词最终剩下一个精简的子词表。这三种方法在实际落地时各有各的偏好。机器翻译领域BPE依然是主力BERT系列主要用WordPiece一些较新的多语言模型比如XLM-R则用Unigram。它们训练完之后每个词都会被切成一个或多个子词然后子词送入模型进行编码。你可以把BPE理解为一种更聪明的、由数据驱动的分词方式它比固定字符n-gram更灵活但它也有一个让很多人头疼的问题同一个词在不同语境下可能被切成不同的片段组合不过这在绝大多数深度学习任务里是可以接受的。4. 实战对比与选型什么时候该用哪种方案理论说了一堆还是要落到实际场景里看效果。我拿一个小规模的中文新闻语料做了几组对比实验分别训练了纯词粒度的Word2Vec、固定n-gram粒度的FastText以及加了BPE子词编码的词表示模型。这里不涉及具体的模型名称只分享我观察到的规律和选择逻辑。4.1 我在小规模语料上的实验对比语料规模大概只有几百万条新闻标题量不算大。我先用Word2Vec的Skip-gram跑了一版再用FastText默认的3-6字符n-gram跑了一版最后把新闻标题用BPE切词之后重新训练词向量。在相似度任务上三者其实没有拉开特别大的差距Word2Vec略好于FastTextBPE略差于前两者。这个结果有点反直觉后来我想明白了相似度任务主要依赖高频常见词的语义判断这些小词的共现信息已经足够充分Subword带来的增量优势在这些词上体现不出来。但在未登录词和低频词上差距就非常明显了。我特意构造了一些训练语料中从未出现的词比如新出现的网络热词、生僻地名Word2Vec全部无法给出向量FastText通过字符n-gram能给出一个大致合理的向量BPE在碰到能切分成已知子词的情况下也能处理但一旦切出未知子词就只能用UNK兜底。另一个观察在文本分类任务上。我固定了下游模型结构和训练参数分别用三种词向量作为输入。结果FastText和BPE在小类别的分类准确率上都明显高于Word2Vec因为那些小类别里的关键特征词普遍低频Word2Vec学不好这种词的向量而Subword方案可以借助子词信息对低频词得到相对稳定的表示。4.2 不同任务下的选型建议通过这几轮实验我逐渐形成了一个比较实用的选型经验。如果你处理的是高资源语料场景词表覆盖已经非常充分几乎没有未见过的词同时你又非常在意训练速度和对外发布的模型文件大小那Skip-gram或者纯词粒度的向量依然是一个性价比很高的选择。如果语料规模有限、领域词汇丰富、新词不断出现比如社交媒体文本、商品评论、多语言混合场景那我建议直接用FastText。它对OOV的容忍度最高实现也最简单几乎不需要额外的文本预处理直接把空格或分词后的文本喂进去就行。如果你的任务本身是一个端到端的深度学习流水线后面还准备接Transformer结构那就不要单独训练词向量了直接使用BPE或WordPiece去做Subword编码让模型从子词级别开始学习。这种情况下词向量的训练和下游模型是联合的分开预训练反而多此一举。我特别想强调一点词向量的选型要和语料规模、任务类型强绑定没有一个方案能在所有场景下都赢。每当有人说我用了某个词向量效果很差的时候我发现大多数时候不是词向量本身的问题而是场景选错了。比如拿一个通用领域训练的词向量去做某垂直领域的专业术语检索效果不好是理所当然的。5. 学习路上的几个常见误区与避坑经验这个环节我踩过不少坑有些坑看起来特别低级但在实际跑实验的时候就是会掉进去而且不容易发现。5.1 评估词向量时最容易犯的几个错第一个错误是只在一个数据集上做评估就下结论。我之前提过WordSim-353和SimLex-999的差异如果只跑WordSim-353你可能会高估所有词向量的语义相似性只跑SimLex-999又会低估词向量的主题相关性。我建议至少选两到三个评估集分别覆盖相似度和类比任务再结合一个外部下游任务。第二个错误是忽略词频分层。我见过不少评估报告把词向量在全体词汇上的指标写成一个平均值这个平均值其实掩盖了低频词和高频词之间的巨大差异。正确做法是把词按频次分段分别计算每个频段上的评估指标。这样你就能看出某个词向量到底是在高频词上表现好还是在低频词上也有泛化能力。第三个错误是过度相信加号减号的类比结果。经典类比任务国王-男人女人女王看起来很漂亮但实际操作里这种结果对词向量选择、超参设置甚至随机种子都很敏感。我在同样参数下跑很多次准确率可能波动好几个点。所以在评估时不要只看单次结果多跑几个随机种子取平均能更稳定地反映模型真实水平。5.2 Subword落地时的细节坑我自己在把Subword方案落地到实际项目时踩过几个比较有共性的坑。第一个是子词表和下游任务的词汇表没有对齐。比如你用了BPE切词之后训练了一个语言模型但下游任务里你还要照原来的方式处理输入结果同一个词在训练时切成一种组合在推理时切成另一种组合造成线上线下不一致。解决办法是保证全流程用同一个分词器和同一份词表训练和推理都走同一套代码逻辑。第二个是子词粒度设置不当。BPE的合并次数太少词会被拆得太碎单个子词失去语义合并次数太多词表急剧膨胀很多生僻词又被当作完整词处理Subword的价值就没了。我个人的经验是从默认参数出发然后观察未登录词的比例如果OOV比例还是很高的就适当减少合并次数保留更多细粒度子词。第三个问题是存储开销。Subword词表虽然小但合成词向量时需要为每个子词存储一个向量再加上训练过程中保存的n-gram向量模型体积会比纯词级别大很多。尤其是在移动端或内存受限的场景需要考虑量化或者剪枝否则模型根本塞不进部署环境。还有一个容易被忽视的问题是中文语料在应用Subword之前到底要不要分词我的经验是如果使用FastText式的字符n-gram那就不要先把中文切成词直接按字符处理就行因为切词之后反而丢失了字符之间的组合信息。如果使用BPE或WordPiece则需要把中文先按字符预处理然后交给子词工具去学习切分不要先手动分词否则BPE能学到的组合模式会受限。5.3 给同样在系统学习NLP的人一些建议我的学习路径接近这个系列的第12篇也就是到了词向量这个主题的中后段。走到这里的时候我的一个核心体会是词向量不是NLP学习的终点它更像一个理解表示学习这个概念的切入点。如果你也和我一样刚学完词向量评估和Subword想继续往下深入我建议先把动态词向量的章节学完尤其是ELMo和早期BERT的原理。它们解决的一词多义问题恰好是Skip-gram和静态词向量的最大短板。把静态和动态的差异对比着学你对整个NLP表示学习的理解会明显加深。另外我强烈建议你在学完原理后找一份自己感兴趣的语料亲手训练一个词向量模型然后做可视化。把学过的词用降维算法降到二维平面里画出来亲眼看一看同义词是不是聚在一起、类比关系是不是平行。这个做一遍的效果胜过读十篇论文。我会尽量把每次实验的细节记录下来包括数据规模、超参数、评估结果、踩过的坑。很多看起来不起眼的细节在几个月后回头看往往会变成最有价值的参考。这也是为什么这篇学习笔记会写得这么细的原因。