我得先说明一下，这类可视化详解的文章最忌讳的就是“图上画得花里胡哨，文字却讲不透”。如果只是把别人的图搬过来重新标注一遍，读者看完还是云里雾里。所以我写这篇的时候，核心思路是把 Transformer 从"输入一个句子"到"输出一个词"的完整数据流动过程，一步一步掰开揉碎地讲。这篇文章假设你看过第一部分那种整体结构图，或者至少知道 Transformer 有 Encoder 和 Decoder 两大块，但对内部的细节还没有完全吃透。1. 从"输入一句话"到"变成一串数字"：嵌入层与位置编码到底在做什么很多人看 Transformer 的结构图，第一眼看到的是"Input Embedding"和"Positional Encoding"两个方块，然后图就结束了。但真正的问题来了：为什么一句话不能直接丢进神经网络里？为什么嵌入层要搞出一个 512 维的向量？位置编码又是怎么回事？先解决第一个问题。神经网络本质上是一个数学函数，它只能处理数字，不能处理字符。所以第一步必须把句子里的每个 token（通常是词或者子词）映射成一个固定长度的实数向量。这个映射就是嵌入层。假设你的词表大小是 30000，嵌入维度是 512，那嵌入层就是一个 30000×512 的矩阵。每个 token 都会去这个矩阵里查一行，拿到一个 512 维的向量。这一步其实没什么神秘的，就是在查表。但这里有一个极其容易忽略的细节：嵌入层是随机初始化然后通过训练学出来的。这意味着初始状态下，"苹果"这个词的向量和"香蕉"这个词的向量之间没有任何语义关系。经过大量语料训练之后，相似的词才会在向量空间中聚到一起。所以不要以为嵌入层天生就理解语义，它的语义理解能力完全是训练出来的。接下来是位置编码。为什么需要它？因为 Transformer 的核心机制是自注意力，而自注意力本质上是对集合的操作，它不关心元素之间的顺序。你如果把"我爱你"和"你爱我"输入到 self-attention 里，如果不加任何位置信息，模型看到的是完全一样的两个集合，算出来的注意力分数也完全一样。这显然不行，语序在自然语言里是决定语义的关键。位置编码的经典做法是用不同频率的正弦和余弦函数。公式长这样：PE(pos, 2i) = sin(pos / 10000^(2i/d_model))，PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))。为什么要用三角函数而不是直接用 0, 1, 2, 3 这样的整数？两个原因。第一，直接用整数会导致数值范围不受控，位置一长，嵌入向量会被位置值淹没了，模型学不到稳定的位置模式。第二，三角函数的值域固定在 [-1, 1] 之间，而且不同频率的正弦波能够天然表达相对位置关系——因为对于任意固定的偏移 k，PE(pos+k) 可以被 PE(pos) 的线性函数表示。这个性质让模型更容易学会关注"相对距离"而非"绝对位置"。在实际代码实现里，这里有一个容易踩的坑：位置编码是加到嵌入向量上的，而不是拼接。也就是说，输入到 Transformer 第一层的向量是 x = embed + pe，其中 embed 和 pe 的维度必须完全一致。有人会问，为什么不拼接？拼接会让维度翻倍，计算量暴增，而且实践中并没有发现拼接能带来明显的效果提升。加法就够用了，因为模型能够在后续的变换中自己区分出哪些维度编码的是语义信息、哪些是位置信息。还有一点需要注意：如果你用的是可学习的位置编码（比如某些预训练模型的做法），长度是固定的，一旦训练时序列最长是 512，推理时来了一个 600 token 的句子就无能为力了。而三角函数位置编码就没有这个限制，理论上可以外推到任意长度，不过实际效果取决于模型怎么适应，这也是后面很多长度外推工作的出发点。2. Q、K、V 三个向量到底是什么：自注意力的计算过程与维度真相这部分是整个 Transformer 的灵魂，但如果只看图，很容易对着多头注意力那张结构图发呆。我们直接把自注意力拆成三步来解释：算相关性、加权求和、结果变换。假设上一层给了我们一个向量序列，每个 token 对应一个 d_model 维的向量。首先，我们要对每个 token 生成三个不同的向量：Query（查询）、Key（键）、Value（值）。这三个向量是由输入向量分别乘以三个不同的权重矩阵 W_Q、W_K、W_V 得到的。如果 d_model 是 512，这三个权重矩阵的形状都是 512×d_k（或者其他维度，但通常 d_k=64）。为什么要搞三个向量而不是一个？这里用生活化的类比最容易理解。想象你在图书馆找一本书。Query 就是你脑子里的"我要找的主题"，Key 是每本书封面上贴的标签，Value 是书的内容。你不是拿 Query 直接和所有书的内容去比较，而是先通过 Key 标签快速筛选，找到哪些书和你的主题相关，然后再把相关内容（Value）提取出来。自注意力就是这个流程的矩阵化版本。具体计算分三步走：第一步：计算相似度分数。对序列里的第 i 个 token，把它自己的 Query 和所有 token 的 Key 做点积，得到一个分数。点积越大，说明这两个 token 的语义相关性越高。这里要注意，点积会偏好维度大的向量，因为维度越多，累加的和就越大。为了抵消这种偏差，分数要除以 sqrt(d_k)，这就是为什么公式里有那个除法。这个缩放比例在很多代码实现里就是一行事，但背后是有数学考量的——如果分数太大，Softmax 会进入饱和区，梯度变得很小，模型学不动。第二步：做 Softmax 归一化。把第 i 行所有的分数变成概率分布，和为 1。这一步的意义是让注意力变成"加权平均"而非"直接求和"，权重越大，对应的 Value 对输出的影响就越大。值得一提的是，Softmax 的温度特性决定了注意力分布是"软"还是"硬"。如果所有分数都很小且接近，Softmax 的输出会比较均匀，每个 token 都会被关心一点；如果某个分数异常大，注意力就会高度聚焦在那一两个 token 上。语言模型越训练，这种聚焦往往越明显——因为在很多语境下，真正决定下一个词的关键就是前面的一两个词。第三步：加权求和得到输出向量。把每个 Value 乘以对应的注意力权重后累加，得到第 i 个 token 在这个注意力层里的输出。这一步的输出向量，本质上是对整个序列信息做了一次"按相关性过滤后的汇总"。这里有一个非常重要的理解点：Self-Attention 自己是没有任何可学习参数的。参数都藏在 W_Q、W_K、W_V 三个矩阵里。整个自注意力过程里，真正训练出来的东西就是这三个矩阵，以及后面输出层的矩阵。注意力分数的计算只是纯算术，这就是为什么我们说 Transformer 照样是"无脑的矩阵运算"，所谓的"注意力机制"只是一种加权求和的模式，而非像人一样的主动关注行为。另外一个容易忽略的维度细节是：Q 和 K 的维度必须相同（因为要做点积），V 的维度可以不同，但是它的维度决定了输出向量的维度。在标准 Transformer 里，d_k = d_v = d_model / num_heads，保证输出维度能在 concat 之后回到 d_model。这个设置不是巧合，而是为了后续残差连接方便。3. 多头注意力：为什么一个注意力不够，要八个并行多头注意力是很多初学者看懂单头注意力之后就跳过的地方，但恰恰是这一块儿决定了 Transformer 的表达能力上限。一句话解释：多头注意力让模型能够在不同的子空间里同时计算不同的注意力模式，最后再把结果拼起来。我们继续用图书馆类比。单头注意力是你只用一个标准去筛选书籍：比如"和云计算相关"。多头注意力则是八个图书管理员同时帮你找书，第一个管理员找"和云计算相关"的，第二个管理员找"和网络安全相关"的，第三个管理员找"发布时间在最近两年"的……每个管理员的筛选标准（也就是那组的 W_Q、W_K、W_V）各不相同。最后把这八份结果拼接在一起，这才构成这一层的最终输出。在代码实现里，多头注意力不会真的做八次循环。常见的做法是：先把输入向量通过三个大矩阵映射到 512 维（W_Q、W_K、W_V 都是 512×512），然后把这 512 维向量切成 8 份，每份 64 维，分别作为一组 Q、K、V 去做注意力计算。所有头的计算是并行进行的，然后再把输出拼接回 512 维，最后乘一个输出权重矩阵 W_O。为什么要关注多头的"多样性"？因为单头注意力只有一种相关性判断标准，它无法同时捕捉"这个词和下一个词紧邻"这种句法关系，以及"这个词和句首主语指代一致"这种长距离语义关系。多头就是想通过多次、独立地做注意力，让不同的头各自学到不同的模式。后面很多研究做过可视化分析，确实发现不同头的分工差别很大：有的头特别关注相邻 token（local attention），有的头关注全局句法结构（global attention），还有的头专门跟踪指代关系。不过这个功能分化不是人为指定的，完全是通过训练自然涌现的。这也是为什么删除某些头模型仍然能工作——注意力机制天生有很强的冗余性。但多头注意力不是毫无代价。每增加一个头，计算量接近线性增长，而且并不是头越多越好。大头模型（比如几千亿参数的模型）里，多头数量通常是几十甚至上百，但每个头的维度反而变小了。这背后的权衡很有意思：头数多，表示不同的表示子空间多；但每个头维度太小，单个头的表达能力就弱。很多论文里都试过把头和维度比例调整来微调模型效果，进展不大，这说明这个超参数组合相对不敏感。实操建议是，如果你只是改模型配置来调参，优先多头数而非总维度。总维度加大，训练成本涨得飞快；头数调大一些，带来的计算开销相对可控。有些模型的 hidden size 只有 768，但头数却设在 32，这种配置说明它更看重子空间多样性而非单个空间的宽度。4. 残差连接、LayerNorm 与前馈网络：为什么每个子层都要"绕一圈再走"注意力层之后不是直接进入下一层，而是先做残差连接，再做层归一化，然后进入前馈网络，出来之后又是一个残差连接加层归一化。这个"注意力 → 残差 → 归一化 → 前馈 → 残差 → 归一化"的循环，是 Transformer 标准块的骨架。很多示意图里这块只画了两个小框，但实际上它才是训练稳定性的核心。先说残差连接。它的作用是让梯度能够绕过复杂的子层直接回流。如果没有残差，梯度必须穿过注意力机制的矩阵乘法链，这会面临梯度消失的风险——特别是层数加深时。残差连接给了梯度一条直通的高速路，哪怕中间的子层再复杂，梯度也能直接回到上层。这也是为什么 Transformer 能够堆到几十层上百层而不崩。再说 LayerNorm。它的作用和 BatchNorm 不同，LayerNorm 是对同一个样本的所有特征维度做归一化。也就是对每个 token 的整个向量，减去均值、除以标准差，然后通过两个可学习的缩放和偏移参数（gamma 和 beta）进行仿射变换。为什么要归一化？因为深层网络里，每层输出的分布会漂移，直接输入下一层可能导致数值不稳定、收敛变慢。LayerNorm 把每个向量的分布拉回标准范围，让网络每层输入的都是分布稳定、量级一致的数据。有一个细节值得说明：LayerNorm 的均值和标准差是在维度方向计算的，跟 BatchNorm 那种在 batch 维度上计算完全不同。这个选择的背后原因是 NLP 任务里序列长度不固定，batch 大小又经常变化，BatchNorm 会让统计量跟着 batch 内容波动，训练和推理行为不一致。LayerNorm 只跟当前 token 的向量本身有关，天然适合处理变长序列。然后说前馈网络（Feed-Forward Network）。标准 Transformer 的 FFN 是一个两层的全连接网络：第一层把 512 维映射到 2048 维（常见是 4 倍），激活函数用 ReLU（或它的变体 GELU）；第二层再把 2048 维映射回 512 维。也就是说，FFN 的隐层维度是 d_model 的 4 倍。为什么需要 FFN？注意力的本质是"从其他位置收集信息"，这个过程是线性的加权和。如果整个 Transformer 只有注意力层，那整个网络就是一个大型线性变换的堆叠，表达能力非常有限。FFN 才是真正做非线性特征变换的地方——它把注意力汇聚后的向量映射到一个高维空间，做非线性激活，再压缩回原来的维度。打个比方，注意力机制是"开会讨论"，管理层听取所有部门的意见；FFN 则是在听取意见之后做出内部决策的"思考过程"。这里还要提一笔参数量占比。在标准 Transformer 里，FFN 的参数量占模型总参数的三分之二以上，注意力部分只占不到三分之一。很多早期优化工作的方向就是压缩 FFN，或者把 FFN 替换成更复杂的结构（比如 MoE 门控），就是因为 FFN 是大模型的参数量的大头。如果你用某个预训练模型做微调，修改 FFN 隐层大小对训练速度的影响非常直接。初始化层面还有一个小陷阱：FFN 的输出层权重通常用较小的标准差初始化，因为残差连接的输出是"恒等 + 子层输出"，如果子层输出一开始太大，会让网络直接发散或者收敛极慢。很多框架把这个细节写进默认初始化参数里，但你要是自己搭 Transformer，没有终端经验，容易漏掉这点。5. Decoder 的两个遮罩：为什么训练时能并行，生成时却一个词一个词往外蹦先说结论：训练阶段的 Decoder 和推理阶段的 Decoder，行为完全不同，这取决于要不要用 Mask。忽略这一点去读代码，会发现很多操作无从理解。Decoder 内部有两层注意力。第一层叫 Masked Self-Attention，因为输出序列生成时，当前 token 只能看到它之前的 token，不能看到未来的 token。在训练时，为了让计算并行，我们一次性把完整的目标序列丢进去算注意力，但如果不遮罩未来位置，模型就会"偷看答案"——比如预测第 3 个词时，它已经看到了第 5 个词的内容，这会严重泄漏信息。所以计算出来的注意力分数矩阵上，上方三角区要被置成负无穷（实际实现里通常是置成一个非常大的负值），这样 Softmax 归一化后，那些位置的权重会变成 0。这就是 Masked Self-Attention 的全部逻辑。下面这张总结表把训练和推理的阶段差异列得很清楚：阶段序列输入遮罩计算方式训练完整的目标序列上三角 Mask，遮掉未来 token并行，一次计算所有位置推理逐步生成每步只喂已生成的 token逐个 token 生成，每步做一次前向看到这里你可能要问：那推理的时候为什么不需要再用 Mask？因为推理时你根本就不会把未来的 token 放进输入里，它就不存在，无从遮罩。每次你只输入当前已经生成的所有词，模型预测下一个词，把预测结果拼到末尾，再次输入。这种"逐词生成"的方式叫自回归生成，每一步都用前一步的输出作为当前步的输入。再说第二层注意力，它叫 Cross-Attention（交叉注意力）。这一层的 Q 来自 Decoder 当前层的输出，K 和 V 来自 Encoder 最后一层的输出。意义在于：生成目标 token 的时候，既要参考已经生成的输出序列（通过第一层），也要从源语言的编码结果里提取相关信息（通过第二层）。交叉注意力的计算方式与自注意力完全一样，只是 Q 和 K/V 的来源不同。这个"来源不同"是自注意力和交叉注意力的本质区别——一个是序列对自身的建模，另一个是序列对序列之间的对齐建模。实操层面有个很常见的 bug 场景：训练时模型表现非常好，但到了推理时，生成的质量断崖式下跌。排查方向之一就是检查 Decoder 输入是否被正确地 mask 了。常见的错误是只在注意力分数上加了 mask，却没有把 mask 传导到 softmax 之后的 weights，导致权重和不为 1，输出向量被严重扭曲。另外一个错误是，在某些框架的推理代码里，输入做 cache（比如 KV cache）时，忘记把 mask 更新成结合历史长度的组合 mask，导致历史 token 可以被未来位置"看见"。这类问题排查起来很费时间，但一旦你理解训练和推理的差异，就能较快定位。KV cache 顺带提一嘴：推理阶段自回归生成非常慢，最大原因是每生成一个 token，都要重新计算之前所有 token 的注意力分数。但如果 Q、K、V 中只有 Q 在变化，K 和 V 的历史值可以缓存下来，不需要重新计算。这就是 KV cache 的出发点。它牺牲存储空间换来推理速度，是大模型推理加速的基石。所有主流推理框架都在做这件事。6. 输出层和 Softmax：最后一个词是怎么从数字里蹦出来的Decoder 最后一层输出的是一个向量序列，每个位置对应一个 target token 的表示。这个向量要变成实际的词，需要经过输出映射 + Softmax。输出映射是一层线性变换：把 d_model 维度的向量映射到词表大小的维度。假设词表是 30000，输出层就是一个 512×30000 的矩阵，这层的参数量在标准 Transformer 里也相当惊人。很多模型在这里会做一个权重共享操作——把输入嵌入矩阵和输出映射矩阵共用同一套权重。为什么可以共享？因为输入嵌入是"词 → 向量"，输出映射是"向量 → 词得分"，二者都是词表中的词做线性映射，共享权重既能大幅减少参数量，实践效果也不差。然后再做 Softmax，得到每个词作为下一个 token 的概率分布。生成的时候，你一般不会直接取概率最大的那个词，因为那会导致非常单调、重复的文本。通常的做法是加一个"温度"参数控制分布的尖锐程度：温度低，相当于把 Softmax 的分母变小，概率分布更极端，更倾向于选最高概率词；温度高，分布更平滑，选择更随机。再配合 top-k 或 top-p 过滤，能在"确定性"和"多样性"之间找到平衡。有一个细节可能让新人困惑：在训练时，我们用的是完整的 token 序列做交叉熵损失，但损失是逐个位置计算的。也就是每个位置的预测分布都要和真实的下一个词做 cross-entropy，然后取平均。这意味着模型在训练时的目标是"最大化整个序列里每个位置预测的准确度"之和，而不是只看最后一个词。这也是为什么 Decoder 训练时所有位置并行是可行的——它们各自独立地计算损失，互不干扰，只有注意力机制把它们在特征层面连接起来。关于训练阶段的 teacher forcing 值得多说一句：训练时，模型的每一步输入用的是 ground-truth 的 token，而不是自己上一轮预测的结果。这样做的好处是训练稳定、收敛快，坏处是推理时模型会有"暴露偏差"——训练时没见过自己的错误输出，一旦推理中预测错了，后续输入的分布就会偏移。缓解暴露偏差的常见手段之一是在训练中做 scheduled sampling（按概率用模型自己的输出替换 ground truth），但它的稳定性并不好控制，有些研究和生产实践甚至干脆不用。7. 从原理到代码实现：哪些参数和数据流最容易写错这部分把我的实际踩坑经验整理成一个自检清单，给有心自己写一个简易 Transformer 的人作参考。第一个高频坑：维度对不上。自注意力里 Q、K 做点积，维度必须是 d_k。多头拼接回去后要乘 W_O，也得对上 d_model。很多人栽在改变 head 维度后忘记调整 W_O 的输入维度，导致运行时矩阵乘法直接报错，或者更糟——不报错但结果全错。第二个高频坑：mask 的类型跟位置不对。Decoder 的 mask 是上三角遮罩，一般长这样：[[0, -inf, -inf], [0, 0, -inf], [0, 0, 0]]。attention 分数加上这个 mask 之后再做 softmax，每一步能看到的范围就是严格包含当前位置及之前的 token。如果 mask 元素类型是 bool 而不是 0/-inf 的数字，很多框架会自动 padding 处理，但有些框架不会。必须看清楚框架是把 1 当 mask 内容还是把 0 当 mask 内容，不同实现约定完全相反，这也是跨框架迁移代码时最容易出 bug 的地方。第三个高频坑：位置编码加在输入还是每一层。标准 Transformer 里，位置编码只加在 Encoder 的输入嵌入层和 Decoder 最底层的输入嵌入层，中间的各个子层是不加位置编码的。某些变体模型会每一层都加，但这改变了原始设计的意图。如果你从标准结构开始写代码，别把位置编码重复加到中间层，否则模型会看到混乱的位置信息。第四个坑：LayerNorm 放在哪里。原始 Transformer 的 LayerNorm 放在残差相加之后（Post-LN），但很多近期模型把 LayerNorm 前置到子层之前（Pre-LN）。两者的差别是训练稳定性。Post-LN 收敛需要更精细的 warmup 和初始化，Pre-LN 训练更稳，所以被后续的模型普遍采用。如果你是在跑预训练模型微调，这个差异跟你无关；但如果自己从零训练，建议直接选 Pre-LN，少踩很多坑。第五个坑：FFN 的激活函数选择。原始用的是 ReLU，后续大模型大多换成了 GELU 或 SwiGLU。SwiGLU 的表现通常优于 ReLU 和 GELU，这也是好多模型架构演进的关键变化。如果是自己实现，选 GELU 或 SwiGLU 更容易与当前主流效果对齐。下面这张表格是我个人在实际开发中常用的"结构参数对照表"，方便做检查：参数标准值含义常见坑d_model512向量维度需要和其他层保持一致num_heads8多头数量必须能整除 d_modeld_k / d_v64单头维度Q、K 维度需一致FFN 隐层2048前馈隐层节点通常是 d_model 的 4 倍层数6Encoder/Decoder 层数增加层数需配合残差最后一个坑是训练性能的。如果你自己写注意力，千万别用 Python 循环逐个位置去算注意力分数。那会在序列长度增长后瞬间变成性能灾难。正确的做法是用矩阵乘法：query 矩阵和 key 矩阵转置直接相乘，得到整个注意力分数矩阵。PyTorch 里一行 torch.bmm 就搞定的事，用循环写就是 O(n^2) 的复杂度叠加 Python 循环的巨大常数开销，训练速度能慢几十倍。很多从零开始写 Transformer 的人都栽在这一步，代码跑起来"结果似乎是对的，但速度慢到无法忍受"。8. 实测观察：可视化注意力权重时，应该重点看什么最后聊一个比较感性的部分。网上很多可视化注意力权重的图，五颜六色、线条密集，看久了反而不知道重点是什么。根据我自己做过的几个实验和项目，这里给出一个更实用的观察思路。第一张值得看的图，是 Encoder 最后一层的注意力完整矩阵。用 heatmap 的方式画出来，横轴纵轴都是序列位置，坐标颜色表示注意权重大小。一眼看过去，应该能发现某些位置有很亮的竖条——这意味着某些 token 几乎是"几乎所有词的注意力焦点"（比如句子主语或者标点符号）。这类焦点 token 往往承担着句法中心的角色，多看几组数据，你会自然建立起直觉：什么情况下模型把注意力集中在一个词上。第二张值得看的是多头之间的差异。如果某个头学出来的注意力几乎全部均匀分布在所有 token 上，那它就没什么用了——可能这个头已经死掉，不再捕获任何有效特征。如果你在微调一个大模型，发现某些头持续均匀，可以尝试用剪枝工具把头去掉，对效果没有影响甚至还有小幅提升。第三张要警惕的是过拟合型注意力。如果某个 head 总是把注意力集中到和当前被预测 token 完全不相关的位置（比如永远只看句首的 token），这大概率是复制了某种表面模式而非深层语义。在遇到下游任务效果不佳时，这种异常注意力模式是一个非常有用的诊断方向。可视化工具方面，我之前用过一些现成的库，比如基于 PyTorch 做注意力可视化的小工具，尤其适合拿来看 MQA（多查询注意力）和标准多头注意力的差异。这部分留到后续再展开细说。总之，做可视化不是为了发图，而是为了形成一种"用眼睛判断模型状态"的能力。等到你看多了、习惯了，不需要跑矩阵分析也能一眼看出某个模型层的注意力是否正常。这一篇讲到的内容，基本覆盖了 Transformer 的工作原理的精髓部分：嵌入与位置编码、自注意力、多头机制、残差与归一化、FFN、Decoder 掩码与自回归生成、输出与训练目标。下一篇我可以继续拆解 KV cache 的工程实现细节，或者专门聊聊不同的位置编码方案对长文本能力的影响。具体往哪个方向走，看需要吧。
我得先说明一下，这类可视化详解的文章最忌讳的就是“图上画得花里胡哨，文字却讲不透”。如果只是把别人的图搬过来重新标注一遍，读者看完还是云里雾里。所以我写这篇的时候，核心思路是把 Transformer 从"输入一个句子"到"输出一个词"的完整数据流动过程，一步一步掰开揉碎地讲。这篇文章假设你看过第一部分那种整体结构图，或者至少知道 Transformer 有 Encoder 和 Decoder 两大块，但对内部的细节还没有完全吃透。1. 从"输入一句话"到"变成一串数字"：嵌入层与位置编码到底在做什么很多人看 Transformer 的结构图，第一眼看到的是"Input Embedding"和"Positional Encoding"两个方块，然后图就结束了。但真正的问题来了：为什么一句话不能直接丢进神经网络里？为什么嵌入层要搞出一个 512 维的向量？位置编码又是怎么回事？先解决第一个问题。神经网络本质上是一个数学函数，它只能处理数字，不能处理字符。所以第一步必须把句子里的每个 token（通常是词或者子词）映射成一个固定长度的实数向量。这个映射就是嵌入层。假设你的词表大小是 30000，嵌入维度是 512，那嵌入层就是一个 30000×512 的矩阵。每个 token 都会去这个矩阵里查一行，拿到一个 512 维的向量。这一步其实没什么神秘的，就是在查表。但这里有一个极其容易忽略的细节：嵌入层是随机初始化然后通过训练学出来的。这意味着初始状态下，"苹果"这个词的向量和"香蕉"这个词的向量之间没有任何语义关系。经过大量语料训练之后，相似的词才会在向量空间中聚到一起。所以不要以为嵌入层天生就理解语义，它的语义理解能力完全是训练出来的。接下来是位置编码。为什么需要它？因为 Transformer 的核心机制是自注意力，而自注意力本质上是对集合的操作，它不关心元素之间的顺序。你如果把"我爱你"和"你爱我"输入到 self-attention 里，如果不加任何位置信息，模型看到的是完全一样的两个集合，算出来的注意力分数也完全一样。这显然不行，语序在自然语言里是决定语义的关键。位置编码的经典做法是用不同频率的正弦和余弦函数。公式长这样：PE(pos, 2i) = sin(pos / 10000^(2i/d_model))，PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))。为什么要用三角函数而不是直接用 0, 1, 2, 3 这样的整数？两个原因。第一，直接用整数会导致数值范围不受控，位置一长，嵌入向量会被位置值淹没了，模型学不到稳定的位置模式。第二，三角函数的值域固定在 [-1, 1] 之间，而且不同频率的正弦波能够天然表达相对位置关系——因为对于任意固定的偏移 k，PE(pos+k) 可以被 PE(pos) 的线性函数表示。这个性质让模型更容易学会关注"相对距离"而非"绝对位置"。在实际代码实现里，这里有一个容易踩的坑：位置编码是加到嵌入向量上的，而不是拼接。也就是说，输入到 Transformer 第一层的向量是 x = embed + pe，其中 embed 和 pe 的维度必须完全一致。有人会问，为什么不拼接？拼接会让维度翻倍，计算量暴增，而且实践中并没有发现拼接能带来明显的效果提升。加法就够用了，因为模型能够在后续的变换中自己区分出哪些维度编码的是语义信息、哪些是位置信息。还有一点需要注意：如果你用的是可学习的位置编码（比如某些预训练模型的做法），长度是固定的，一旦训练时序列最长是 512，推理时来了一个 600 token 的句子就无能为力了。而三角函数位置编码就没有这个限制，理论上可以外推到任意长度，不过实际效果取决于模型怎么适应，这也是后面很多长度外推工作的出发点。2. Q、K、V 三个向量到底是什么：自注意力的计算过程与维度真相这部分是整个 Transformer 的灵魂，但如果只看图，很容易对着多头注意力那张结构图发呆。我们直接把自注意力拆成三步来解释：算相关性、加权求和、结果变换。假设上一层给了我们一个向量序列，每个 token 对应一个 d_model 维的向量。首先，我们要对每个 token 生成三个不同的向量：Query（查询）、Key（键）、Value（值）。这三个向量是由输入向量分别乘以三个不同的权重矩阵 W_Q、W_K、W_V 得到的。如果 d_model 是 512，这三个权重矩阵的形状都是 512×d_k（或者其他维度，但通常 d_k=64）。为什么要搞三个向量而不是一个？这里用生活化的类比最容易理解。想象你在图书馆找一本书。Query 就是你脑子里的"我要找的主题"，Key 是每本书封面上贴的标签，Value 是书的内容。你不是拿 Query 直接和所有书的内容去比较，而是先通过 Key 标签快速筛选，找到哪些书和你的主题相关，然后再把相关内容（Value）提取出来。自注意力就是这个流程的矩阵化版本。具体计算分三步走：第一步：计算相似度分数。对序列里的第 i 个 token，把它自己的 Query 和所有 token 的 Key 做点积，得到一个分数。点积越大，说明这两个 token 的语义相关性越高。这里要注意，点积会偏好维度大的向量，因为维度越多，累加的和就越大。为了抵消这种偏差，分数要除以 sqrt(d_k)，这就是为什么公式里有那个除法。这个缩放比例在很多代码实现里就是一行事，但背后是有数学考量的——如果分数太大，Softmax 会进入饱和区，梯度变得很小，模型学不动。第二步：做 Softmax 归一化。把第 i 行所有的分数变成概率分布，和为 1。这一步的意义是让注意力变成"加权平均"而非"直接求和"，权重越大，对应的 Value 对输出的影响就越大。值得一提的是，Softmax 的温度特性决定了注意力分布是"软"还是"硬"。如果所有分数都很小且接近，Softmax 的输出会比较均匀，每个 token 都会被关心一点；如果某个分数异常大，注意力就会高度聚焦在那一两个 token 上。语言模型越训练，这种聚焦往往越明显——因为在很多语境下，真正决定下一个词的关键就是前面的一两个词。第三步：加权求和得到输出向量。把每个 Value 乘以对应的注意力权重后累加，得到第 i 个 token 在这个注意力层里的输出。这一步的输出向量，本质上是对整个序列信息做了一次"按相关性过滤后的汇总"。这里有一个非常重要的理解点：Self-Attention 自己是没有任何可学习参数的。参数都藏在 W_Q、W_K、W_V 三个矩阵里。整个自注意力过程里，真正训练出来的东西就是这三个矩阵，以及后面输出层的矩阵。注意力分数的计算只是纯算术，这就是为什么我们说 Transformer 照样是"无脑的矩阵运算"，所谓的"注意力机制"只是一种加权求和的模式，而非像人一样的主动关注行为。另外一个容易忽略的维度细节是：Q 和 K 的维度必须相同（因为要做点积），V 的维度可以不同，但是它的维度决定了输出向量的维度。在标准 Transformer 里，d_k = d_v = d_model / num_heads，保证输出维度能在 concat 之后回到 d_model。这个设置不是巧合，而是为了后续残差连接方便。3. 多头注意力：为什么一个注意力不够，要八个并行多头注意力是很多初学者看懂单头注意力之后就跳过的地方，但恰恰是这一块儿决定了 Transformer 的表达能力上限。一句话解释：多头注意力让模型能够在不同的子空间里同时计算不同的注意力模式，最后再把结果拼起来。我们继续用图书馆类比。单头注意力是你只用一个标准去筛选书籍：比如"和云计算相关"。多头注意力则是八个图书管理员同时帮你找书，第一个管理员找"和云计算相关"的，第二个管理员找"和网络安全相关"的，第三个管理员找"发布时间在最近两年"的……每个管理员的筛选标准（也就是那组的 W_Q、W_K、W_V）各不相同。最后把这八份结果拼接在一起，这才构成这一层的最终输出。在代码实现里，多头注意力不会真的做八次循环。常见的做法是：先把输入向量通过三个大矩阵映射到 512 维（W_Q、W_K、W_V 都是 512×512），然后把这 512 维向量切成 8 份，每份 64 维，分别作为一组 Q、K、V 去做注意力计算。所有头的计算是并行进行的，然后再把输出拼接回 512 维，最后乘一个输出权重矩阵 W_O。为什么要关注多头的"多样性"？因为单头注意力只有一种相关性判断标准，它无法同时捕捉"这个词和下一个词紧邻"这种句法关系，以及"这个词和句首主语指代一致"这种长距离语义关系。多头就是想通过多次、独立地做注意力，让不同的头各自学到不同的模式。后面很多研究做过可视化分析，确实发现不同头的分工差别很大：有的头特别关注相邻 token（local attention），有的头关注全局句法结构（global attention），还有的头专门跟踪指代关系。不过这个功能分化不是人为指定的，完全是通过训练自然涌现的。这也是为什么删除某些头模型仍然能工作——注意力机制天生有很强的冗余性。但多头注意力不是毫无代价。每增加一个头，计算量接近线性增长，而且并不是头越多越好。大头模型（比如几千亿参数的模型）里，多头数量通常是几十甚至上百，但每个头的维度反而变小了。这背后的权衡很有意思：头数多，表示不同的表示子空间多；但每个头维度太小，单个头的表达能力就弱。很多论文里都试过把头和维度比例调整来微调模型效果，进展不大，这说明这个超参数组合相对不敏感。实操建议是，如果你只是改模型配置来调参，优先多头数而非总维度。总维度加大，训练成本涨得飞快；头数调大一些，带来的计算开销相对可控。有些模型的 hidden size 只有 768，但头数却设在 32，这种配置说明它更看重子空间多样性而非单个空间的宽度。4. 残差连接、LayerNorm 与前馈网络：为什么每个子层都要"绕一圈再走"注意力层之后不是直接进入下一层，而是先做残差连接，再做层归一化，然后进入前馈网络，出来之后又是一个残差连接加层归一化。这个"注意力 → 残差 → 归一化 → 前馈 → 残差 → 归一化"的循环，是 Transformer 标准块的骨架。很多示意图里这块只画了两个小框，但实际上它才是训练稳定性的核心。先说残差连接。它的作用是让梯度能够绕过复杂的子层直接回流。如果没有残差，梯度必须穿过注意力机制的矩阵乘法链，这会面临梯度消失的风险——特别是层数加深时。残差连接给了梯度一条直通的高速路，哪怕中间的子层再复杂，梯度也能直接回到上层。这也是为什么 Transformer 能够堆到几十层上百层而不崩。再说 LayerNorm。它的作用和 BatchNorm 不同，LayerNorm 是对同一个样本的所有特征维度做归一化。也就是对每个 token 的整个向量，减去均值、除以标准差，然后通过两个可学习的缩放和偏移参数（gamma 和 beta）进行仿射变换。为什么要归一化？因为深层网络里，每层输出的分布会漂移，直接输入下一层可能导致数值不稳定、收敛变慢。LayerNorm 把每个向量的分布拉回标准范围，让网络每层输入的都是分布稳定、量级一致的数据。有一个细节值得说明：LayerNorm 的均值和标准差是在维度方向计算的，跟 BatchNorm 那种在 batch 维度上计算完全不同。这个选择的背后原因是 NLP 任务里序列长度不固定，batch 大小又经常变化，BatchNorm 会让统计量跟着 batch 内容波动，训练和推理行为不一致。LayerNorm 只跟当前 token 的向量本身有关，天然适合处理变长序列。然后说前馈网络（Feed-Forward Network）。标准 Transformer 的 FFN 是一个两层的全连接网络：第一层把 512 维映射到 2048 维（常见是 4 倍），激活函数用 ReLU（或它的变体 GELU）；第二层再把 2048 维映射回 512 维。也就是说，FFN 的隐层维度是 d_model 的 4 倍。为什么需要 FFN？注意力的本质是"从其他位置收集信息"，这个过程是线性的加权和。如果整个 Transformer 只有注意力层，那整个网络就是一个大型线性变换的堆叠，表达能力非常有限。FFN 才是真正做非线性特征变换的地方——它把注意力汇聚后的向量映射到一个高维空间，做非线性激活，再压缩回原来的维度。打个比方，注意力机制是"开会讨论"，管理层听取所有部门的意见；FFN 则是在听取意见之后做出内部决策的"思考过程"。这里还要提一笔参数量占比。在标准 Transformer 里，FFN 的参数量占模型总参数的三分之二以上，注意力部分只占不到三分之一。很多早期优化工作的方向就是压缩 FFN，或者把 FFN 替换成更复杂的结构（比如 MoE 门控），就是因为 FFN 是大模型的参数量的大头。如果你用某个预训练模型做微调，修改 FFN 隐层大小对训练速度的影响非常直接。初始化层面还有一个小陷阱：FFN 的输出层权重通常用较小的标准差初始化，因为残差连接的输出是"恒等 + 子层输出"，如果子层输出一开始太大，会让网络直接发散或者收敛极慢。很多框架把这个细节写进默认初始化参数里，但你要是自己搭 Transformer，没有终端经验，容易漏掉这点。5. Decoder 的两个遮罩：为什么训练时能并行，生成时却一个词一个词往外蹦先说结论：训练阶段的 Decoder 和推理阶段的 Decoder，行为完全不同，这取决于要不要用 Mask。忽略这一点去读代码，会发现很多操作无从理解。Decoder 内部有两层注意力。第一层叫 Masked Self-Attention，因为输出序列生成时，当前 token 只能看到它之前的 token，不能看到未来的 token。在训练时，为了让计算并行，我们一次性把完整的目标序列丢进去算注意力，但如果不遮罩未来位置，模型就会"偷看答案"——比如预测第 3 个词时，它已经看到了第 5 个词的内容，这会严重泄漏信息。所以计算出来的注意力分数矩阵上，上方三角区要被置成负无穷（实际实现里通常是置成一个非常大的负值），这样 Softmax 归一化后，那些位置的权重会变成 0。这就是 Masked Self-Attention 的全部逻辑。下面这张总结表把训练和推理的阶段差异列得很清楚：阶段序列输入遮罩计算方式训练完整的目标序列上三角 Mask，遮掉未来 token并行，一次计算所有位置推理逐步生成每步只喂已生成的 token逐个 token 生成，每步做一次前向看到这里你可能要问：那推理的时候为什么不需要再用 Mask？因为推理时你根本就不会把未来的 token 放进输入里，它就不存在，无从遮罩。每次你只输入当前已经生成的所有词，模型预测下一个词，把预测结果拼到末尾，再次输入。这种"逐词生成"的方式叫自回归生成，每一步都用前一步的输出作为当前步的输入。再说第二层注意力，它叫 Cross-Attention（交叉注意力）。这一层的 Q 来自 Decoder 当前层的输出，K 和 V 来自 Encoder 最后一层的输出。意义在于：生成目标 token 的时候，既要参考已经生成的输出序列（通过第一层），也要从源语言的编码结果里提取相关信息（通过第二层）。交叉注意力的计算方式与自注意力完全一样，只是 Q 和 K/V 的来源不同。这个"来源不同"是自注意力和交叉注意力的本质区别——一个是序列对自身的建模，另一个是序列对序列之间的对齐建模。实操层面有个很常见的 bug 场景：训练时模型表现非常好，但到了推理时，生成的质量断崖式下跌。排查方向之一就是检查 Decoder 输入是否被正确地 mask 了。常见的错误是只在注意力分数上加了 mask，却没有把 mask 传导到 softmax 之后的 weights，导致权重和不为 1，输出向量被严重扭曲。另外一个错误是，在某些框架的推理代码里，输入做 cache（比如 KV cache）时，忘记把 mask 更新成结合历史长度的组合 mask，导致历史 token 可以被未来位置"看见"。这类问题排查起来很费时间，但一旦你理解训练和推理的差异，就能较快定位。KV cache 顺带提一嘴：推理阶段自回归生成非常慢，最大原因是每生成一个 token，都要重新计算之前所有 token 的注意力分数。但如果 Q、K、V 中只有 Q 在变化，K 和 V 的历史值可以缓存下来，不需要重新计算。这就是 KV cache 的出发点。它牺牲存储空间换来推理速度，是大模型推理加速的基石。所有主流推理框架都在做这件事。6. 输出层和 Softmax：最后一个词是怎么从数字里蹦出来的Decoder 最后一层输出的是一个向量序列，每个位置对应一个 target token 的表示。这个向量要变成实际的词，需要经过输出映射 + Softmax。输出映射是一层线性变换：把 d_model 维度的向量映射到词表大小的维度。假设词表是 30000，输出层就是一个 512×30000 的矩阵，这层的参数量在标准 Transformer 里也相当惊人。很多模型在这里会做一个权重共享操作——把输入嵌入矩阵和输出映射矩阵共用同一套权重。为什么可以共享？因为输入嵌入是"词 → 向量"，输出映射是"向量 → 词得分"，二者都是词表中的词做线性映射，共享权重既能大幅减少参数量，实践效果也不差。然后再做 Softmax，得到每个词作为下一个 token 的概率分布。生成的时候，你一般不会直接取概率最大的那个词，因为那会导致非常单调、重复的文本。通常的做法是加一个"温度"参数控制分布的尖锐程度：温度低，相当于把 Softmax 的分母变小，概率分布更极端，更倾向于选最高概率词；温度高，分布更平滑，选择更随机。再配合 top-k 或 top-p 过滤，能在"确定性"和"多样性"之间找到平衡。有一个细节可能让新人困惑：在训练时，我们用的是完整的 token 序列做交叉熵损失，但损失是逐个位置计算的。也就是每个位置的预测分布都要和真实的下一个词做 cross-entropy，然后取平均。这意味着模型在训练时的目标是"最大化整个序列里每个位置预测的准确度"之和，而不是只看最后一个词。这也是为什么 Decoder 训练时所有位置并行是可行的——它们各自独立地计算损失，互不干扰，只有注意力机制把它们在特征层面连接起来。关于训练阶段的 teacher forcing 值得多说一句：训练时，模型的每一步输入用的是 ground-truth 的 token，而不是自己上一轮预测的结果。这样做的好处是训练稳定、收敛快，坏处是推理时模型会有"暴露偏差"——训练时没见过自己的错误输出，一旦推理中预测错了，后续输入的分布就会偏移。缓解暴露偏差的常见手段之一是在训练中做 scheduled sampling（按概率用模型自己的输出替换 ground truth），但它的稳定性并不好控制，有些研究和生产实践甚至干脆不用。7. 从原理到代码实现：哪些参数和数据流最容易写错这部分把我的实际踩坑经验整理成一个自检清单，给有心自己写一个简易 Transformer 的人作参考。第一个高频坑：维度对不上。自注意力里 Q、K 做点积，维度必须是 d_k。多头拼接回去后要乘 W_O，也得对上 d_model。很多人栽在改变 head 维度后忘记调整 W_O 的输入维度，导致运行时矩阵乘法直接报错，或者更糟——不报错但结果全错。第二个高频坑：mask 的类型跟位置不对。Decoder 的 mask 是上三角遮罩，一般长这样：[[0, -inf, -inf], [0, 0, -inf], [0, 0, 0]]。attention 分数加上这个 mask 之后再做 softmax，每一步能看到的范围就是严格包含当前位置及之前的 token。如果 mask 元素类型是 bool 而不是 0/-inf 的数字，很多框架会自动 padding 处理，但有些框架不会。必须看清楚框架是把 1 当 mask 内容还是把 0 当 mask 内容，不同实现约定完全相反，这也是跨框架迁移代码时最容易出 bug 的地方。第三个高频坑：位置编码加在输入还是每一层。标准 Transformer 里，位置编码只加在 Encoder 的输入嵌入层和 Decoder 最底层的输入嵌入层，中间的各个子层是不加位置编码的。某些变体模型会每一层都加，但这改变了原始设计的意图。如果你从标准结构开始写代码，别把位置编码重复加到中间层，否则模型会看到混乱的位置信息。第四个坑：LayerNorm 放在哪里。原始 Transformer 的 LayerNorm 放在残差相加之后（Post-LN），但很多近期模型把 LayerNorm 前置到子层之前（Pre-LN）。两者的差别是训练稳定性。Post-LN 收敛需要更精细的 warmup 和初始化，Pre-LN 训练更稳，所以被后续的模型普遍采用。如果你是在跑预训练模型微调，这个差异跟你无关；但如果自己从零训练，建议直接选 Pre-LN，少踩很多坑。第五个坑：FFN 的激活函数选择。原始用的是 ReLU，后续大模型大多换成了 GELU 或 SwiGLU。SwiGLU 的表现通常优于 ReLU 和 GELU，这也是好多模型架构演进的关键变化。如果是自己实现，选 GELU 或 SwiGLU 更容易与当前主流效果对齐。下面这张表格是我个人在实际开发中常用的"结构参数对照表"，方便做检查：参数标准值含义常见坑d_model512向量维度需要和其他层保持一致num_heads8多头数量必须能整除 d_modeld_k / d_v64单头维度Q、K 维度需一致FFN 隐层2048前馈隐层节点通常是 d_model 的 4 倍层数6Encoder/Decoder 层数增加层数需配合残差最后一个坑是训练性能的。如果你自己写注意力，千万别用 Python 循环逐个位置去算注意力分数。那会在序列长度增长后瞬间变成性能灾难。正确的做法是用矩阵乘法：query 矩阵和 key 矩阵转置直接相乘，得到整个注意力分数矩阵。PyTorch 里一行 torch.bmm 就搞定的事，用循环写就是 O(n^2) 的复杂度叠加 Python 循环的巨大常数开销，训练速度能慢几十倍。很多从零开始写 Transformer 的人都栽在这一步，代码跑起来"结果似乎是对的，但速度慢到无法忍受"。8. 实测观察：可视化注意力权重时，应该重点看什么最后聊一个比较感性的部分。网上很多可视化注意力权重的图，五颜六色、线条密集，看久了反而不知道重点是什么。根据我自己做过的几个实验和项目，这里给出一个更实用的观察思路。第一张值得看的图，是 Encoder 最后一层的注意力完整矩阵。用 heatmap 的方式画出来，横轴纵轴都是序列位置，坐标颜色表示注意权重大小。一眼看过去，应该能发现某些位置有很亮的竖条——这意味着某些 token 几乎是"几乎所有词的注意力焦点"（比如句子主语或者标点符号）。这类焦点 token 往往承担着句法中心的角色，多看几组数据，你会自然建立起直觉：什么情况下模型把注意力集中在一个词上。第二张值得看的是多头之间的差异。如果某个头学出来的注意力几乎全部均匀分布在所有 token 上，那它就没什么用了——可能这个头已经死掉，不再捕获任何有效特征。如果你在微调一个大模型，发现某些头持续均匀，可以尝试用剪枝工具把头去掉，对效果没有影响甚至还有小幅提升。第三张要警惕的是过拟合型注意力。如果某个 head 总是把注意力集中到和当前被预测 token 完全不相关的位置（比如永远只看句首的 token），这大概率是复制了某种表面模式而非深层语义。在遇到下游任务效果不佳时，这种异常注意力模式是一个非常有用的诊断方向。可视化工具方面，我之前用过一些现成的库，比如基于 PyTorch 做注意力可视化的小工具，尤其适合拿来看 MQA（多查询注意力）和标准多头注意力的差异。这部分留到后续再展开细说。总之，做可视化不是为了发图，而是为了形成一种"用眼睛判断模型状态"的能力。等到你看多了、习惯了，不需要跑矩阵分析也能一眼看出某个模型层的注意力是否正常。这一篇讲到的内容，基本覆盖了 Transformer 的工作原理的精髓部分：嵌入与位置编码、自注意力、多头机制、残差与归一化、FFN、Decoder 掩码与自回归生成、输出与训练目标。下一篇我可以继续拆解 KV cache 的工程实现细节，或者专门聊聊不同的位置编码方案对长文本能力的影响。具体往哪个方向走，看需要吧。