一句话总结自注意力分不清词序所以必须外挂位置编码。但这个 “常识” 在 decoder-only 模型上并不成立因果掩码本身就携带位置信息在这类模型上删掉位置编码的影响并不大。2025 年左右 NoPE 开始走进生产级大模型业界的主流最发是分层混合NoPE 负责长程检索RoPE 层负责局部聚合一、为什么需要位置编码自注意力有一个工程上很麻烦的性质置换等变。它只关心每对词之间的相关度输入序列打乱并不影响建模结果 —— “我喜欢你” 和 “你喜欢我” 在它看来没有任何区别所以从原版 Transformer 起位置信息都要显式注入注入方式演进了好几代不管 PE 方案如何演进始终存在一个老生常谈的问题训练长度之外的位置是分布外输入。社区打了一代又一代补丁如位置插值、YaRN、LongRoPE基本上都是拉伸或校正位置签名的频率让老位置的经验凑合覆盖新长度二、NoPE 路线转机发生在 2022 年研究者尝试把位置编码整个删掉训了一组 125M 到 1.3B 的模型GPT-3 XL 架构发现与 learned PE 差距只有 0.05 的困惑度原因在于因果掩码规定第 t 个词只能看到前 t 个词。那么它能看到的词数恰好就等于它的位置。模型只要学会数一数自己的可见范围有多大就拿到了绝对位置。相反如果在双向模型里应用 NoPE模型便彻底退化成词袋三、理论补齐之前的研究都属于实验发现和简单的原因分析到 2023 年 Kazemnejad 等人给这件事补上了理论证明主要有两个定理绝对位置存在一组权重使得 NoPE decoder-only Transformer 的第一层就能把绝对位置 [1, …, T] 恢复并写入隐藏状态相对位置如果第一层确实编码出了绝对位置且中间各层没把它覆盖掉那么后续层的 query-key 点积可以分解成 “内容函数 相对距离函数”即实现相对位置编码的数学形式实验层面上小模型、合成算法任务未在大规模预训练中验证也确实发现 NoPE 的长度泛化比 RoPE、ALiBi、T5 relative PE 等都更好注意上述两个定理是存在性证明而非必然如此。实际上它指向 NoPE 的核心开销 NoPE 的位置信息不是免费的它占用第一层的算力去算占用残差流的带宽去存还要求中间所有层克制着不去覆盖。显式位置编码RoPE是在每层注意力里现场注入不消耗残差带宽、不怕被覆盖。这就是 “省掉了 PE 参数” 背后真正付的账The Impact of Positional Encoding on Length Generalization in TransformersNeurIPS 2023四、走入工业界到 2025 年NoPE 已经不是学术玩具了应用在了能投入生产的十亿以上参数规模的模型中。但与学术版相比业界做法有个关键差别没有人用纯 NoPE像 Llama 4、Cohere Command A、SmolLM3 都是每 4 层有 1 层是带 full attention 的 NoPE其余保持滑动窗口的 RoPECohere 的研究是目前关于 NoPE 长上下文行为规模最大的系统研究探索了从 750B 到 5T token 的模型尺寸。它指出两类 PE 擅长的事不一样NoPE 层适合全局检索注意力能均匀地覆盖长距离在大海捞针任务里对 needle 片段有高注意力集中RoPE 层适合局部聚合强 recency bias远距离的 needle 几乎检测不到因为 RoPE 的高频滚动在长距离上会给相似度计算引入噪声可见业界选择的都是二者兼顾的设计让 NoPE 保持全注意力做长程检索RoPE 加滑动窗口去发挥它的局部归纳偏置。相关文献把这个叫 RNoPE-SWA不做任何约束上述分工能在训练过程中自发形成RoPE to NoPE and Back Again: A New Hybrid Attention StrategyNeurIPS 2025五、NoPE 局限性5.1 后训练阶段Qwen3.8-Next 技术报告做过 NoPE 消融结论是预训练阶段 RoPE 和 NoPE 几乎没有差异但 NoPE 版本在后训练之后出现明显更高的 “无限生成”即模型停不下来一直输出所以 Qwen 团队最终在全注意力层上也保留了 25% 的 RoPEhead_dim 256在前 64 维应用 RoPEQwen3.8-Next 技术报告5.2 归一化问题NoPE 最大的想象空间是既然都已经不编码位置那就应该完全不怕上下文长才是。研究者对此专门做了测试发现 NoPE 确实比 RoPE 多外推两倍但离直观思路中完全打开上下文限制差距很远原因在于长上下文所面临的挑战不单单在于位置外推序列变长后参与 softmax 归一化的 token 更多了注意力会被摊薄、熵会升高导致失去聚焦效果下降。如下图所示红、蓝垂直虚线分别代表了 2048 训练长度下位置外推效果恶化的拐点基本上也是熵变大的拐点这一问题可以简单地通过调参改善把 softmax 分母从 1/√d 提到 1.2/√d 相当于降低温度把熵压住2K 训练的 NoPE 就能泛化到 4K。同样操作对 RoPE 无效λ 调大因为它还存在位置编码分布外的问题Length Generalization of Causal Transformers without Position EncodingACL Findings 20245.3 收敛过程DroPE 的对照实验发现从头训练的纯 NoPE Transformer 在整个训练过程中 perplexity 持续明显劣于 RoPE 模型于是提出把 PE 当作训练期间的脚手架用于保证收敛只在最后阶段使用 NoPE实现更好的最终效果Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings而当参数量达到十亿以上规模时纯 NoPE 还会出现不可恢复的 loss spike 问题尤其在并行架构 长上下文即 loss 曲线往上走模型训废了。QK-Norm 能缓解但最终收敛的 loss 更高而如果保留 10% 的 partial RoPE 就能追平 full RoPE同时省下 10 倍的 RoPE cache 开销Fractional Rotation, Full Potential?六、递归模块支线前面介绍的都是靠因果掩码引入位置信息来摆脱外部注入 PE 的做法。除此之外还有一条并行的路线引入本身就按顺序处理的递归模块6.1 JambaJamba 是首个将传统 Transformer 注意力、Mamba 状态空间模型SSM以及混合专家MoE架构结合在一起的大语言模型其中 Mamba 层的递归结构天然蕴含了顺序信息混入了 Mamba 组件后RoPE 这类机制就没有必要了所以 Jamba 的 attention 层也不加位置编码JAMBA: HYBRID TRANSFORMER-MAMBA LANGUAGE MODELS6.2 Kimi LinearKimi Linear 把这一思路推得更明确它利用 Kimi Delta AttentionKDA线性注意力层与全注意力MLA层按 3:1 混合和普通线性注意力类似KDA 也是向一个固定大小的状态矩阵中不断压入新信息让缓存不膨胀、计算量保持线性增长。简单粗暴地累加新信息会让新旧信息互相干扰所以一般会在写入时分析新旧差异再做修改DeltaNet并加入遗忘门来控制记忆衰减GDN。Kimi Delta Attention 在此基础上把单一的遗忘系数改造成向量让不同通道具有不同的衰减速率实现更精细的记忆管理此外还有一些帮助硬件计算加速的设计kimi 团队理论分析了 GDN/KDA 这类递归结构所蕴含的位置信息与 RoPE 旋转矩阵的区别GDN可学习、非正交、与内容相关的变换RoPE固定、正交、只依赖下标在不同维度上施加不同角速度的变换KDA新增的多通道记忆衰减恰好弥补了 RoPE 多出来的逐维频率多样性可见 KDA 在设计上就恰好能承担 RoPE 的功能。long context 基准上的测试结果表明NoPE 确实提高了 Kimi Linear 的性能Kimi Linear: An Expressive, Efficient Attention Architecture6.3 与因果语言模型的关系实际上让递归模块承载位置信息并非独立的技术路线。Mamba-2 的论文里就证明了转移矩阵为标量或对角结构的 SSM与因果线性注意力是同一个函数的两种计算形式。更一般地2020 年的 Transformers are RNNs 论文已经证明任何因果线性注意力都可以精确重写成 RNN 形式七、教学项目想亲手跑一遍无位置编码的训练可以考虑用 ZetaGPT这也是最近被提出的 NoPE 新模型 —— 在每个 Transformer block 的注意力之前垫一个 SSM 模块让递归状态把顺序信息直接写进每个词的表示ZetaGPT: A Reference Implementation of Positional–Encoding–Free State–Space–Attention Language Models尽管论文本身可能存在未做充分测试和消融模型架构设计的合理性也有待商榷但其最大价值在于开园了从数据整理、分词器训练到预训练、后训练、结果诊断的全流程是个挺合适的 NoPE 教学项目