262K 长上下文实测：把整本书喂给 Yandex 新模型，它记住了多少

262K 长上下文实测把整本书喂给 Yandex 新模型它记住了多少【免费下载链接】AliceAI-Foundation-80B-A3B-Base项目地址: https://ai.gitcode.com/hf_mirrors/yandex/AliceAI-Foundation-80B-A3B-Base上下文 262K在参数表里只是一个数字但对任何一个跑过大模型推理的人来说它意味着两件残酷的事一是要准备一段足够长的、值得被记住的输入二是要准备好足够的显存和正确的推理后端否则这个数字连加载都加载不进去。Yandex 开源的 AliceAI-Foundation-80B-A3B-Base 把max_position_embeddings设到了 262144即 262K tokens。它总参数 80B每个 token 只激活 3B官方长上下文评测做到了 128K 级别的 FinQA 和 LongMemEval且源码里有一套非常不主流的混合注意力架构。这篇文章不谈营销话术从测试语料构造、源码级架构分析、官方评测数据和部署门槛四个角度回答一个核心问题把一整本书20 万字级别喂进去这个模型到底靠什么记住、能记住多少、以及它的边界在哪里。一、测试设计与长文本构造262K 到底能装下什么先给 262K 一个直观的度量。这个模型的词表是 129024 的 SentencePiece BPEtokenizer_config.jsonLlamaTokenizer以中英俄混合文本估算262144 个 token 大约相当于一部 20 万字级别的小说——恰好是整本书的典型体量。换句话说把一本书喂进去不是夸张就是这个模型的设计基准。长文本测试的构造有三个关键点缺一不可线索的跨章节分布。单纯把书塞进上下文没有意义模型只需要在结尾 token 附近局部检索就能回答的问题测不出长上下文。有效的测试语料要把答案埋在第 100 章把问题放在第 200 章中间隔开几万字强制模型从远端状态里把信息捞回来。这与官方发布的 LongMemEval长对话历史中查找并利用信息的构造逻辑一致。远端问题的不可推断性。问题必须只能从原文中提取答案无法靠模型预训练知识蒙对否则测的是知识面而不是上下文利用能力。评测方式的防作弊。长上下文任务普遍存在拷问位置效应——模型在开头和结尾表现好、中段掉点。因此需要把答案位置均匀铺开而不是集中在某一段。真正把 262K 喂进去工程门槛在部署侧这一点下文第四节展开。二、架构如何撑起 262K跨章节记忆的机制只看config.json会以为这只是一个加了 512 个专家的 MoE 模型但真正让 262K 可行的是它的混合注意力骨架12 × ( 3 × (KDA → MoE) → 1 × (Gated Attention → MoE) )48 层里 36 层是 KDA 线性注意力、12 层是 Gated Attentionconfig.json 中的layer_types数组逐层列明。这一比例决定了长上下文的成本结构。KDA与长度无关的固定状态KDA 层的实现位于 modeling_alice_ai.py 的AliceAIKDA。它的状态更新是典型的 delta rule 风格state state * gate[:, token_idx].exp().unsqueeze(-1) prediction torch.einsum(bhk,bhkv-bhv, key_i, state) delta (value_i - prediction) * beta[:, token_idx].unsqueeze(-1) state state torch.einsum(bhk,bhv-bhkv, key_i, delta)输入先过一个 kernel size 为 4 的因果卷积linear_conv_kernel_dim: 4q/k/v 各一个对应number_of_conv_states: 3然后每个 token 用 key 对状态做预测—纠错式更新a_log_bias提供指数衰减门控betasigmoid 化控制状态吸收新信息的学习率。关键点在于状态张量是固定大小的——num_v_heads × head_k_dim × head_v_dim 32 × 128 × 128每层约 2 MB 量级与序列长度完全无关。36 层 KDA 的全部记忆状态加起来不到 100 MB。上下文从 128K 涨到 262KKDA 部分的内存和算力一分钱都不增加。这就是262K 不爆炸的第一重保险。Gated Attention1/4 层数承担全局检索长距离的精确检索第 120 章第 3 节提到了什么名字靠线性注意力做不到所以每 4 层插入一次全注意力。AliceAIAttention有两个值得注意的设计GQA 2 个 KV headnum_attention_heads: 16、num_key_value_heads: 2、head_dim: 256KV 压缩到极低这是控制长上下文 KV cache 的第二重保险Gated 输出门控注意力输出过torch.sigmoid(output_gate)再进投影modeling_alice_ai.py 中output output * torch.sigmoid(output_gate)等价于让模型学习这次全局检索该信多少。RoPE 也做了针对性配置rope_theta: 1000000.0比 Llama 的 5e5 大一倍配合partial_rotary_factor: 0.25——只有 25% 的 head 维度256×0.2564 维参与旋转位置编码。加大 theta 是为了在超长序列上维持位置分辨率partial rotary 则是为了给模型留出不依赖位置、只依赖内容的通道这两者都是长上下文训练的标准配方。Block 残差混合跨块信息的中继代码里还有一个容易被忽略的机制block_attn_res_block_size: 4。在AliceAIModel.forward中每 4 层会触发一次块边界if layer_idx 0 and layer_idx % self.config.block_attn_res_block_size 0: completed_blocks.append(partial) partial None每个块用一个可学习的depth softmax_depth_softmax_mix对已完成块的表示做加权混合相当于在层维度上再做一次软注意力把前面块压缩后的记忆有选择地传递下去。它是 KDA 固定状态与 Gated Attention 稀疏检索之间的记忆中继站。MTP长文续写的白嫖加速mtp_num_hidden_layers: 1模型内置一层多 token 预测头权重在训练时已融合推理时_keys_to_ignore_on_load_unexpected直接忽略mtp.前缀。vLLM 侧通过投机解码配置一次前向产出 2 个 token社区实测加速比约 1.2–1.8×、零精度损失。对 262K 输入的长文续写场景这个加速是实打实的吞吐收益。三、跨章节记忆与检索能力实测官方在 README_en.md 中公布了两个 128K 级别的长上下文评测全部在 vLLM、t0 条件下完成评测128KAliceAI-80B-A3BQwen3.5-35B-A3BGLM-4.5-Air (106B-A12B)Nemotron-3-Super-120BDeepSeek-V4-Flash (284B-A13B)FinQA 128k财报跨章节分析74.173.535.571.774.1LongMemEval 128k长对话历史检索64.655.650.664.868.0两个数字说明的问题不同FinQA 128k 的 74.1是财务报告分析任务——答案必须从多段报表数字中跨章节抽取并计算。它考察的是信息被挤在长上下文中间时模型能否精确定位。在这个任务上AliceAI 与 DeepSeek-V4-Flash 并列第一且明显甩开激活参数更大的 GLM-4.5-Air35.5近乎崩坏。值得注意的是GLM-4.5-Air 的掉点恰恰说明长上下文参数与长上下文能力是两回事——没有配套架构128K 也会断崖。LongMemEval 128k 的 64.6是最接近整本书记忆的评测——它模拟长对话/长文档中埋线索、事后检索的场景。64.6 意味着约六成五的远端信息能被准确找回略低于 284B 的 DeepSeek-V4-Flash但显著高于 Qwen3.5-35B55.6和 Nemotron-3-Super-120B64.8同为 64 分档但总参数 120B。把这些数字翻译成喂书的语言在 128K 这一档模型对跨章节线索的检索成功率在 65% 上下且对藏在中间段的信息不会系统性失忆——这正是线性注意力 周期全注意力组合该有的表现KDA 保证信息被写进固定状态不会因位置靠前而蒸发Gated Attention 保证需要时能精确捞回。四、与 128K 级模型的实际差距把 AliceAI 放进对比矩阵完整数据见 README_en.md 与仓库配图 assets/benchmarks.png能看出它的真实定位事实知识WikiWebFacts 86.5、HardMultiQA 67.9均大幅领先 Qwen3.5-35B62.4/47.2和 GLM-4.5-Air70.2/48.6是这批开源模型里俄语事实知识最强的推理MATH-500 91.1、AIME 2026 pass32 96.7数学推理与更重的 Nemotron-3-Super-120B 同一梯队长上下文128K 档位达到 74.1 / 64.6处于第一梯队但未登顶。而与 128K 级模型的实际差距最本质的部分不在分数上而在成本结构上。做一个量化对比假设全部 48 层都是标准 GQA 全注意力2 KV head、head dim 256262K 上下文的 KV cache 约为 48 × 1024 值 × 262144 × 2 字节 ≈25.8 GB而 AliceAI 只有 12 层全注意力KV cache 降到约 6.4 GBbf16fp8 量化下可再减半36 层 KDA 的记忆状态固定不到 100 MB。这就是262K 能真实部署的算账依据——同样一张 80GB 的卡纯全注意力方案塞不下 262K混合架构却能把剩余显存留给激活和 MTP。差距的另一面是评测边界官方所有长上下文评测都止步于 128K262K 是架构设计上限max_position_embeddings而非已被公开评测验证的能力。换句话说262K 的真实成绩单目前是架构上可行KV 成本可控、RoPE 覆盖到位、训练时按此长度设计128K 档有第一梯队实测背书但 128K→262K 这段是设计保证、评测待补。指望 262K 满血如 128K是不符合评测现状的乐观断言 262K 是纸面参数又忽视了 KDA 固定状态这个决定性事实。部署侧的门槛同样真实。仓库给出 vLLM 路径README_en.mddocker run --name alice-vllm --pullalways --gpus device0,1,2,3 --ipchost \ -p 8001:8000 \ yamlbrand/alice-ai-vllm:latest \ yandex/AliceAI-Foundation-80B-A3B-Base \ --tensor-parallel-size 4 \ --max-model-len auto \ --attention-backend FLASH_ATTN \ --attention-config.flash_attn_version2 \ --speculative-config {method:mtp,num_speculative_tokens:1}权重拆成 49 个 safetensors 分片、总量约 162.6 GB见 model.safetensors.index.json单卡必然装不下官方基线就是 4×80GB 的 TP4 配置且依赖flash-linear-attentionTransformers 路径需transformers[sentencepiece]5.16.1flash-linear-attention0.5.0。想真正把 262K 喂进去硬件和推理栈缺一不可。结论整本书能记住多少取决于检索而非容量把一本书喂给 AliceAI-Foundation-80B-A3B-Base它会告诉你三件事第一262K 的容量是真实可达的工程状态不是参数表装饰——KDA 的固定状态让长度从成本函数里消失了第二它记住的方式是压缩进状态 周期全注意力捞回所以回答质量取决于线索是否落在 12 个全局检索窗口的注意力射程内LongMemEval 的 64.6 就是这种机制在 128K 档的真实成绩第三它和 128K 级模型的差距主要在评测验证的完整度上而非架构能力——官方还没有公布 128K 以上的成绩单这正是社区下一个可以做的工作把评测语料从 128K 拉到 262K让整本书真正成为一次可复现的实测。【免费下载链接】AliceAI-Foundation-80B-A3B-Base项目地址: https://ai.gitcode.com/hf_mirrors/yandex/AliceAI-Foundation-80B-A3B-Base创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考