因果掩码为什么不让模型看见未来3 个新手问题拆懂原理【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero在 nn-zero-to-heroNeural Networks: Zero to Hero里从零搭文本模型没跑几步就会撞上因果掩码——一条把模型视线截断在当前位置的规则。为什么非要有它它到底怎么挡该从哪个 notebook 开始动手本文用三个问题把它拆开不需要你先会注意力机制用到哪讲到哪。先想清楚模型看未来会犯什么错 先把语言模型想成一条单向流水线的传送带每个位置只能看到上游已经流过去的成品还没下线的零件也就是未来的文字全都挡在帘子后面。这个只看后面就是自回归——一个字一个字地往外吐文本每个新字只依赖它前面的字。把帘子一拆事故立刻显形训练会作弊。任务是看今天天气猜下一个字可没人挡着时模型可以先把整句读完再从全文里抄出下一个字损失值几步就跳水但学到的是假本事相当于背下了倒着念答案的技巧。生成更直接报废推理时文本还没吐出来根本没有未来可看模型用全视角练出来的习惯无处对齐输出直接乱掉。所以训练和生成的规则必须对齐两边都只看过去。信息屏蔽干的就是这件事——训练时堵住泄露生成时保证一致。帘子怎么挂挡住看未来的具体位置挡的动作发生在注意力机制里。注意力机制就是句子里每个位置给其他所有位置打一个权重分再按分数加权汇总信息。关键是控制谁能看谁在算注意力分数时把当前位置之后所有位置的分数直接归零只留下 0 到 i 的三角区域。几行伪代码就明白了对第 i 个位置j 只从 0 走到 i算 dot(q_i, k_j) 得分再 softmax 归一成权重取最大。看到 j 的循环了吗它在 i 处刹车多一步都不走。这个上三角结构就是因果掩码的物理形态和注意力配合起来就是因果掩码 注意力机制的核心。挡了未来训练反而更快它不拖后腿还是加速训练的关键一块。生成只能一个字一个字吐但训练时一句话里所有位置可以同一时刻并行计算——每个位置各自做猜下一个字的任务掩码只是把每个位置的视线分别堵住互不串味。可以说并行训练要付费付出的就是掩码这道工序语言模型训练 掩码与并行是一枚硬币的两面。理解了这个交换就看懂了现在所有大模型为什么都长一个样。动手路径从 part1 到 part4 把帘子挂上lectures/makemore/makemore_part1_bigrams.ipynb用查表法看上一个字猜下一个字先搭最原始的自回归基线体会只看过去的预测力上限。lectures/makemore/makemore_part2_mlp.ipynb把查表换成 MLP看完整上下文后预测力立刻上来顺带认识 softmax 和采样。lectures/makemore/makemore_part4_backprop.ipynb末尾的采样循环是逐字生成的完整过程在这里把注意力和三角掩码补上就能把看过去升级成带权地看过去。三本 notebook 按顺序跑完因果掩码原理你已经亲手验证过一遍了。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考