1. 从能做什么倒推NLP的任务版图很多人刚接触自然语言处理时第一反应是去翻教材目录从分词、词性标注一路啃到句法分析结果啃了半个月还在跟隐马尔可夫较劲连一个能跑起来的小项目都没摸到。我自己当年也走过这条弯路后来才想明白一件事NLP的任务分类不该按技术难度来排而应该按输入和输出的形态来切。你拿到一段文本想让机器吐出什么是标签、是另一段文本、还是一个分数这个视角一换整个领域的地图立刻就清晰了。这一篇是NLP系列的第二篇核心就干两件事第一把NLP领域纷繁复杂的任务用一个统一的框架梳理清楚让你看到任何一个新任务都能迅速定位它属于哪一类第二深入讲透NNLMNeural Network Language Model神经网络语言模型这是从传统统计语言模型迈向深度学习时代的那个关键转折点。搞懂NNLM你才能真正理解后面Word2Vec、ELMo、BERT这一路是怎么演化过来的。适合谁来读如果你已经知道什么是词袋、什么是n-gram但说不清楚语言模型和词向量到底是什么关系那这篇就是为你写的。如果你是完全的新手也没关系我会把每个概念都用生活化的例子拆开讲。读完你应该能做到看到一个NLP任务立刻判断它属于哪一类、该用什么建模范式、NNLM在其中扮演什么角色。2. NLP任务的四象限分类法2.1 按输入输出形态切分而不是按技术难度我先抛出这个分类框架后面所有内容都围绕它展开。任何NLP任务你只需要问两个问题输入是什么粒度输出是什么形态把这两个维度交叉就能得到一张非常实用的任务地图。从输入粒度看无非是四级字符级、词级、句子级、篇章级。从输出形态看也基本是四类标签、序列标签、另一段文本、数值向量。这两组维度一交叉绝大多数NLP任务都能找到自己的位置。我拿几个典型任务来对号入座。文本分类比如情感分析、垃圾邮件识别输入是句子级或篇章级输出是单个标签属于多对一。命名实体识别NER输入是句子级输出是每个词对应的标签序列属于多对多里的序列标注。机器翻译输入一段文本输出另一段文本是标准的序列到序列。而语言模型比较特殊它的输入是前文输出是下一个词的概率分布本质上是自监督的序列生成。这个框架的价值在于当你遇到一个从没见过的任务时先定位它的象限就能快速判断该用什么样的模型架构。序列标注任务天然适合BiLSTMCRF这类结构序列到序列任务离不开Encoder-Decoder而分类任务一个Transformer编码器加个分类头就够了。不用每次都从零开始想架构。2.2 判别式任务与生成式任务的分水岭在四象限之上还有一条更宏观的分界线判别式Discriminative和生成式Generative。这条线决定了你建模的思路是画边界还是建分布。判别式任务的目标是学习条件概率P(y|x)也就是给定输入x直接判断它属于哪个类别y。文本分类、序列标注、句法分析里的成分识别全都是判别式。它们的共同特点是你只关心这个输入对应哪个输出不关心输入本身是怎么产生的。建模时你是在特征空间里画一条决策边界把不同类别分开。生成式任务的目标是学习联合概率P(x,y)或者更极端地只学P(x)。语言模型就是最纯粹的生成式任务——它不判断任何标签只学一段文本出现的概率有多大。机器翻译、文本摘要、对话生成这些虽然表面上是输入到输出但因为输出是开放式的文本序列通常也归入生成式范畴用P(y|x)的序列生成方式来建模。这个区分为什么重要因为它直接决定了你的损失函数和评估方式。判别式任务用交叉熵损失、看准确率和F1生成式任务用语言建模损失、看困惑度Perplexity和BLEU、ROUGE这类指标。我见过不少新手把生成任务当分类任务做硬要给每个可能的输出句子打一个类别标签结果词表一大就彻底崩了。搞清楚这条分水岭能帮你少走很多弯路。2.3 一张表看清主流任务的归属光说理论太虚我直接上一张对照表把常见任务按输入粒度、输出形态、建模范式三个维度列清楚。这张表你可以当成速查手册用。任务名称输入粒度输出形态建模范式典型评估指标文本分类句子/篇章单标签判别式准确率、F1情感分析句子/篇章标签或分数判别式准确率、MSE命名实体识别词序列序列标签判别式实体级F1词性标注词序列序列标签判别式准确率机器翻译句子文本序列生成式BLEU文本摘要篇章文本序列生成式ROUGE语言模型词序列概率分布生成式困惑度问答系统篇章问题答案片段/文本混合EM、F1句法分析句子树结构判别式UAS、LAS语义相似度句子对数值判别式相关系数看这张表你会发现一个规律输出越开放任务越偏生成式评估越难。分类任务的输出空间是固定的几个类别准确率一目了然而生成任务的输出空间是整个词表的所有组合评估只能靠BLEU这种和人工判断相关性有限的指标。这也是为什么生成式任务至今仍是NLP里最难啃的骨头。2.4 为什么语言模型是所有任务的地基讲到这里必须点破一个关键认知语言模型不是众多NLP任务中的一个而是几乎所有任务的地基。这个观点在BERT时代之后已经成为共识但它的源头要追溯到NNLM。道理很简单。语言模型学的是什么样的文本是合理的也就是语言的分布规律。当你把这个分布学好了就等于掌握了语言的通用知识。下游任务无论是分类还是生成都可以在这个通用知识的基础上做微调而不需要从零开始学什么是通顺的中文。打个比方语言模型就像一个人从小大量阅读后形成的语感。有了语感你去做阅读理解、写作文、改病句都会比没有语感的人轻松得多。预训练语言模型Pre-trained Language Model之所以能横扫各大榜单本质就是把这个语感用海量数据训练出来了下游任务只需要少量标注数据微调即可。而NNLM的历史地位就在于它是第一个用神经网络来建模语言分布、并且顺带产出词向量的模型。它证明了用神经网络学语言模型这条路走得通为后面所有预训练模型铺了路。所以这一篇花大篇幅讲NNLM绝不是为了讲古而是因为它就是那条主线的起点。3. 统计语言模型的困境n-gram为什么不够用3.1 从一句话出现的概率说起要理解NNLM得先理解它要解决什么问题。语言模型的核心任务是计算一个词序列出现的概率。给定一个句子我 爱 自然 语言 处理语言模型要算出P(我, 爱, 自然, 语言, 处理)这个联合概率。直接算联合概率是不现实的因为词表动辄几万几十万所有组合的数量是天文数字。所以传统做法用链式法则把它拆开P(w1, w2, ..., wn) P(w1) × P(w2|w1) × P(w3|w1,w2) × ... × P(wn|w1,...,wn-1)拆开之后每个条件概率还是要看前面所有词计算量依然爆炸。于是n-gram模型做了一个非常粗暴的假设当前词只和前面n-1个词有关再远的词一律不管。这就是著名的马尔可夫假设。二元模型bigram假设当前词只和前一个词有关三元模型trigram假设只和前两个词有关。这样一来每个条件概率都能从语料里数出来P(wi|wi-1) count(wi-1, wi) / count(wi-1)。简单、直接、可解释这就是n-gram统治了NLP几十年的原因。3.2 数据稀疏n-gram绕不过去的死穴但n-gram有个致命伤数据稀疏Data Sparsity。你想想就算你有一个几十亿词的语料库三元组的组合数量也是词表的三次方。假设词表是5万三元组理论上有1250亿种可能而你的语料里实际出现的可能只有几千万种。绝大多数合理的词组合在语料里一次都没出现过它们的概率就被估成了0。概率为0意味着什么意味着模型认为这个句子绝对不可能出现。可实际上它可能只是没被你的语料覆盖到而已。这会导致模型在面对新句子时频繁翻车泛化能力极差。为了解决这个问题研究者发明了一堆平滑技术加一平滑、Good-Turing平滑、Kneser-Ney平滑等等。这些方法本质上都是给没见过的组合分一点概率避免出现0。但平滑只是打补丁它没法从根本上解决没见过就学不会的问题。而且n-gram还有个更本质的缺陷它把词当成离散的符号完全不知道词与词之间的语义关系。猫和猫咪在n-gram眼里是两个毫不相干的符号尽管它们意思几乎一样。3.3 维度灾难与泛化能力的双重夹击n-gram的第二个死穴是维度灾难Curse of Dimensionality。当你把n调大想捕捉更长距离的依赖时参数空间会指数级膨胀。二元模型参数规模是词表的平方三元是立方四元就是四次方。你根本存不下、也算不动。可语言里的长距离依赖偏偏又很重要。比如我昨天在图书馆借的那本书今天已经还了这句话还和借之间隔了七八个词二元三元模型根本捕捉不到这个关系。你想调大n参数就爆炸你想控制参数就抓不住长依赖。这是个死结。更麻烦的是泛化。n-gram对没见过的词序列毫无办法因为它没有任何相似性的概念。它不知道我 爱 你和我 喜欢 你在语义上很接近因为爱和喜欢在它眼里就是两个独立的符号。这种离散表示导致模型无法把从一个组合学到的知识迁移到另一个相似组合上。这两个问题合在一起逼着研究者去寻找新的出路。出路的方向很明确能不能把词表示成连续的向量让语义相近的词在向量空间里也相近这样一来即使某个具体组合没见过只要它的词向量和见过的组合接近模型也能给出合理的概率。这个思路就是NNLM的出发点。4. NNLM用神经网络同时解决两个问题4.1 一句话概括NNLM的核心思想NNLMNeural Network Language Model由Bengio等人在2003年提出它的核心思想可以用一句话概括用神经网络学习词向量再用词向量来预测下一个词的概率。注意这里有两个目标而且是同时完成的——学语言模型的过程中顺带把词向量也学出来了这是NNLM最精妙的地方。它要解决n-gram的两个死穴用连续词向量解决泛化问题语义相近的词向量相近用固定长度的上下文窗口加共享参数解决维度灾难问题参数不再随n指数增长。下面我把它的结构拆开一层一层讲清楚。4.2 输入层把词映射成稠密向量NNLM的第一步是把输入的每个词映射成一个稠密的实数向量。具体做法是维护一个词向量矩阵C矩阵的每一行对应词表里的一个词行数等于词表大小V列数等于词向量维度m通常取50到200之间。假设我们要用前n-1个词预测第n个词。输入是前n-1个词的索引通过查表lookup从矩阵C里取出对应的n-1个词向量每个维度是m。然后把这n-1个向量首尾拼接concatenate得到一个长度为(n-1)×m的向量x。这里有个关键点要理解矩阵C是共享的、可学习的参数。也就是说每个词的向量不是预先固定的而是在训练过程中随着语言模型一起被优化出来的。这正是NNLM能同时产出词向量的原因。训练结束后矩阵C的每一行就是对应词的词向量可以直接拿去做下游任务。我打个比方帮你理解。矩阵C就像一本词典每个词对应一个由m个数字组成的语义坐标。训练的过程就是不断调整这些坐标让语义相近的词坐标也相近。比如训练完之后你会发现猫和猫咪的向量夹角很小猫和汽车的向量夹角很大。这种语义距离是n-gram完全不具备的能力。4.3 隐藏层与输出层从上下文到概率分布拼接好的向量x接下来送进一个隐藏层。隐藏层做的是线性变换加非线性激活h tanh(d W·x)其中W是权重矩阵d是偏置tanh是激活函数。这一层的作用是学习上下文词之间的组合关系把拼接的向量压缩成一个能表达当前上下文语义的表示。然后是输出层。输出层要把隐藏层的表示h映射成词表上所有词的概率分布。做法是对词表里的每个词w计算它作为下一个词的得分 y_w b_w h·U_w其中U_w是输出层对应词w的权重向量。所有词的得分算出来后过一个Softmax函数归一化成概率P(w_n w | 上下文) exp(y_w) / Σ exp(y_w)这样我们就得到了下一个词在整个词表上的概率分布。训练目标就是最大化真实下一个词的概率等价于最小化交叉熵损失。这里有个工程上的大坑输出层的计算量正比于词表大小V。如果词表有5万词每预测一个词就要算5万次点积再Softmax训练速度会非常慢。这也是后来Word2Vec用负采样、层次Softmax来加速的动机。NNLM原始论文里也提到了这个问题算是给后续研究埋了个伏笔。4.4 为什么NNLM能同时产出词向量和语言模型现在回到那个最核心的问题为什么NNLM能一箭双雕答案在于参数共享。词向量矩阵C被输入层和整个语言模型的目标绑定在一起。模型为了让下一个词预测得更准就必须让词向量能表达出语义信息——因为只有语义相近的词向量相近模型才能把我爱猫学到的知识泛化到我喜欢猫上。换句话说词向量是语言模型为了降低预测误差而被迫学好的副产品。这个洞察极其重要。它意味着只要你有足够大的语料语言模型这个任务本身就能逼着模型学出高质量的词表示。后面所有的预训练模型本质上都在延续这个思路——用大规模无标注语料上的语言建模任务逼模型学出通用的语言表示。NNLM是这个思想的开山之作。而且NNLM的泛化能力确实比n-gram强。因为词向量是连续的即使我 喜欢 猫这个三元组在训练语料里没出现过只要喜欢和爱的向量相近、猫和猫咪的向量相近模型就能给出合理的概率估计。这就从根本上缓解了数据稀疏问题。5. 从NNLM到Word2Vec那条被忽略的演化线5.1 NNLM的工程瓶颈到底卡在哪NNLM虽然思想先进但落地时问题不少。最突出的就是训练太慢。前面说过输出层要对整个词表做Softmax词表一大就慢得离谱。而且隐藏层那一步矩阵乘法也不便宜。在2003年那个算力条件下NNLM基本只能在很小的语料上跑实用性受限。第二个问题是上下文窗口固定且偏短。NNLM通常只用前几个词做上下文捕捉不了长距离依赖。虽然理论上可以调大窗口但参数和计算量又会上去。第三个问题是它终究是个语言模型。如果你只想要词向量NNLM其实做了很多多余的工作——它还要维护隐藏层、还要算整个词表的概率分布。这些对学词向量来说未必必要。于是研究者开始想能不能设计一个更轻量、专门为学词向量服务的模型5.2 Word2Vec对NNLM做了哪些减法Word2Vec2013年就是在这个背景下出现的。它从NNLM身上砍掉了两样东西砍掉隐藏层砍掉完整的Softmax。砍掉隐藏层之后模型变成了一个简单的输入词向量直接到输出的结构这就是CBOW和Skip-gram的基础。CBOW用上下文词预测中心词Skip-gram反过来用中心词预测上下文词。结构简单了训练速度大幅提升。砍掉完整Softmax改用负采样Negative Sampling或层次SoftmaxHierarchical Softmax。负采样的思路是与其对全词表做归一化不如只区分真实的下一个词和随机采样的几个假词。这样每次更新只涉及少量参数速度提升几个数量级。但你要注意Word2Vec虽然做了减法它的核心思想完全继承自NNLM用连续词向量、用预测任务逼模型学语义、参数共享。所以我说NNLM是那条演化线的起点Word2Vec只是把它工程化了、加速了、专门化了。理解了NNLMWord2Vec你几乎不用重新学只是换了个更高效的实现。5.3 这条演化线对今天的启示把这条线拉长看NNLM2003→ Word2Vec/GloVe2013-2014→ ELMo2018→ BERT/GPT2018-2020→ 今天的大模型。每一步都在做同一件事用更大规模的数据、更强大的模型、更巧妙的训练任务逼模型学出更好的语言表示。NNLM当年受限于算力只能用小窗口、小词表而今天的模型动辄上千亿参数、用整个互联网的文本训练。但底层逻辑没变——语言建模作为预训练任务、词表示作为副产品、下游任务微调。这条主线从2003年一直贯到今天。所以我的建议是学NLP不要一上来就啃BERT。先把NNLM吃透你会发现自己对预训练词向量语言模型这些概念的理解是通透的而不是背下来的。后面再看任何新模型你都能迅速抓住它的本质——它无非是在NNLM这个骨架上换了更强的网络结构、更大的数据、更聪明的训练目标而已。6. 动手实现一个迷你NNLM6.1 用PyTorch搭一个能跑的最小版本光看理论不够我带你用PyTorch写一个最小可运行的NNLM。这个版本不追求性能只求把结构讲清楚你跑一遍就能彻底理解每一层在干什么。import torch import torch.nn as nn import torch.nn.functional as F class NNLM(nn.Module): def __init__(self, vocab_size, embed_dim, context_size, hidden_dim): super(NNLM, self).__init__() # 词向量矩阵C就是NNLM的核心 self.embedding nn.Embedding(vocab_size, embed_dim) # 隐藏层输入是(n-1)*m维拼接向量 self.hidden nn.Linear(context_size * embed_dim, hidden_dim) # 输出层映射到词表大小 self.output nn.Linear(hidden_dim, vocab_size) def forward(self, x): # x shape: (batch, context_size) emb self.embedding(x) # (batch, context, embed_dim) emb emb.view(emb.size(0), -1) # 拼接成 (batch, context*embed_dim) h torch.tanh(self.hidden(emb)) # 隐藏层 tanh logits self.output(h) # (batch, vocab_size) return logits这段代码里nn.Embedding就是那个词向量矩阵Cview操作就是拼接tanh是激活函数最后输出的是未归一化的logits。训练时用交叉熵损失它会自动帮你做Softmax。6.2 训练数据的构造与一个容易踩的坑训练数据怎么来假设你有一句话我 爱 自然 语言 处理上下文窗口设为3那么可以构造出这样的样本用[我,爱,自然]预测语言用[爱,自然,语言]预测处理。也就是在句子上滑动窗口前n-1个词做输入第n个词做标签。def make_samples(corpus, context_size): samples [] for i in range(len(corpus) - context_size): context corpus[i:icontext_size] target corpus[icontext_size] samples.append((context, target)) return samples这里有个坑我要提醒你上下文窗口的边界处理。句子开头的词没有足够的前文常见做法是用一个特殊的pad或s符号填充。如果你直接跳过这些位置模型就学不到句子开头的模式如果你填充但没处理好mask又可能让padding符号污染词向量。我一般建议在句首加一个s起始符这样既解决了边界问题又给模型一个句子开始的信号。6.3 训练完怎么验证词向量真的学到了语义训练完之后怎么知道词向量学得好不好最直观的方法是看相似词。取出某个词的向量算它和词表里所有其他词的余弦相似度排个序看看最相近的是不是语义上真的接近。def most_similar(word, embedding, vocab, topk5): idx vocab[word] vec embedding.weight[idx] # 归一化后算余弦相似度 norm embedding.weight / embedding.weight.norm(dim1, keepdimTrue) sims norm (vec / vec.norm()) top torch.topk(sims, topk 1) return [(list(vocab.keys())[i], s.item()) for i, s in zip(top.indices, top.values) if i ! idx]如果训练语料够大你会看到猫的相似词里有猫咪小狗这类说明词向量确实捕捉到了语义。如果相似词看起来毫无规律那多半是语料太小、训练不够或者窗口设置有问题。提示小语料上训练NNLM词向量质量通常很差这是正常的。NNLM的价值在于理解原理真正要好的词向量语料规模至少得百万词级别起步。6.4 实测中的几个经验参数我在小规模实验里总结了几组还算能用的参数供你起步参考。词向量维度m取50到100之间比较稳妥太小表达力不够太大在小语料上容易过拟合。上下文窗口取3到5再大在小语料上收益递减。隐藏层维度取100到200和词向量维度同量级即可。学习率用0.001配Adam优化器基本不用怎么调。参数推荐范围说明词向量维度50-100小语料取下限大语料可上探上下文窗口3-5越大越吃数据小语料别贪隐藏层维度100-200与词向量维度同量级学习率0.001Adam优化器默认值附近批大小64-256视显存调整这些参数不是金科玉律但能帮你避开一上来就调参调到怀疑人生的坑。先把模型跑通、看到词向量有语义再去优化。7. 几个新手最容易搞混的概念7.1 语言模型和词向量到底是什么关系这是问得最多的一个问题。很多人以为语言模型和词向量是两个独立的东西其实在NNLM里它们是一体两面。语言模型是任务词向量是完成这个任务时学到的中间产物。你训练语言模型词向量就顺带出来了你有了好的词向量语言模型也能做得更好。它们互相成就。但要注意不是所有词向量都来自语言模型。GloVe用的是全局共现统计和语言模型没关系。所以更准确的说法是NNLM开创了用语言模型学词向量这条路但词向量的获取方式不止这一种。7.2 困惑度到底在衡量什么困惑度Perplexity是语言模型最常用的评估指标但很多人只知道它越小越好不知道它到底在算什么。困惑度的定义是模型对测试集里每个词预测概率的几何平均的倒数。直观理解它表示模型在预测下一个词时平均要在多少个词里犹豫。困惑度等于10意味着模型平均在10个候选词之间纠结困惑度等于100就是在上百个词里纠结。所以它越小说明模型越笃定预测越准。但要注意困惑度和词表大小有关不同词表下的困惑度不能直接比。而且困惑度低不代表下游任务一定好它只是语言建模这个任务本身的指标。7.3 为什么说NNLM是分布式表示的开端分布式表示Distributed Representation这个词听起来玄乎其实意思很简单一个词的语义不是由某一个维度单独表达的而是分散在向量的所有维度上共同表达的。比如猫这个概念的动物性可能分散在第3、第7、第15个维度上而不是某一个维度专门管动物性。这和one-hot表示形成鲜明对比。one-hot里每个词占一个独立维度词与词之间完全正交没有任何相似性可言。而分布式表示让语义相近的词在向量空间里也相近这才是NNLM最革命性的贡献。今天所有词向量、句向量、甚至大模型的内部表示都是分布式表示。NNLM是把这个思想成功用在NLP上的早期代表。8. 把NNLM放进今天的坐标系里看8.1 它解决了什么又留下了什么回头看NNLM解决的核心问题是泛化和维度灾难。它用连续词向量让模型能举一反三用固定窗口加参数共享把参数量控制住。这两个贡献直接启发了后面十几年的研究。但它也留下了几个没解决的问题。第一上下文窗口固定且短抓不住长距离依赖这个问题要等到RNN、Transformer才真正解决。第二输出层计算量大要等负采样、层次Softmax来优化。第三它只学了词级别的表示句子和篇章级别的表示还得另想办法。第四它是单向的只看前文不看后文双向建模要等BERT。把这些问题列出来你就能看到NLP这十几年的研究主线——几乎每一个都是在补NNLM的短板。所以我说理解了NNLM和它的局限你就理解了整个NLP深度学习演进的内在逻辑。8.2 今天还需要学NNLM吗我的答案是非常需要但学法要变。你不需要去复现2003年那篇论文的所有实验也不需要纠结它当年的具体参数。你需要的是理解它的三个核心思想用连续向量表示词、用预测任务学表示、参数共享让表示和任务互相成就。这三个思想是今天所有预训练模型的底层逻辑。BERT的掩码语言模型本质就是用上下文预测被遮住的词和NNLM用前文预测下一个词是同一个思路的变体。GPT的自回归语言模型更是NNLM的直接后代。你把这些联系看透了再学新模型就是换汤不换药上手极快。8.3 给不同阶段读者的学习路径建议如果你是刚入门我建议你按这个顺序走先搞懂n-gram和它的困境再吃透NNLM的结构和思想然后看Word2Vec怎么把它工程化最后再上Transformer和BERT。每一步都要动手写代码哪怕是最小的demo。光看不动手你永远体会不到词向量真的学到了语义那种感觉。如果你已经有一定基础我建议你回头把NNLM的输出层计算量问题想清楚然后对比负采样是怎么解决的。这个对比能让你深刻理解工程约束如何塑造算法设计。很多看起来精妙的算法背后都是被算力逼出来的。如果你在做实际项目记住一点词向量只是工具不是目的。今天你大概率不会自己训NNLM而是直接用预训练好的模型。但理解NNLM能帮你在选模型、调参数、排查问题时做出更靠谱的判断。比如你知道词向量维度不是越大越好知道上下文窗口和数据量要匹配这些经验在实战里很值钱。最后分享一个我自己的习惯每学一个新模型我都会问自己它和NNLM比多做了什么、少做了什么、为什么。这个问题问多了你会发现整个NLP领域的技术演进在你脑子里是一条清晰的线而不是一堆零散的知识点。这条线就是从NNLM开始画出来的。