大模型基础模型人工智能多模态AI Agent本地部署【免费下载链接】Step-5-PreviewStep 5 Preview 是阶跃星辰面向智能体工作打造的旗舰模型。该模型在软件工程和专业知识工作领域均展现出前沿级性能尤其在金融领域表现突出。 Step 5 Preview 是一个稀疏混合专家MoE模型总参数量为 600B激活参数量为 27B。它支持高达 100 万 token 的上下文长度并可接收文本、图像和视频输入能够在复杂任务中实现持续推理与工具调用。项目地址https://ai.gitcode.com/StepFun/Step-5-Preview点击查看免费下载Step-5-Preview 是阶跃星辰面向智能体Agent工作打造的旗舰大模型总参数 600B、激活参数仅 27B 的稀疏 MoE 架构原生支持最高100 万 token 的长上下文。它的百万级长上下文并不是靠堆显存硬扛而是由滑窗注意力Sliding Window Attention与DSA 稀疏注意力两套机制协同解锁。下面带你快速读懂这套设计。 一句话概括69 层滑窗层负责近处细读23 层 DSA 稀疏层负责全局检索两者 3:1 交错排布把 100 万 token 的计算量压到普通模型的一个零头。先看主角Step-5-Preview 关键规格特性规格架构稀疏混合专家MoE352 个专家、每 token 激活 8 个总参数 / 激活参数600B / 27B上下文窗口最高 1,048,5761Mtoken解码器层数92 层输入 / 输出文本、图像 / 文本完整规格见 README.md。长上下文第一道门92 层注意力的 3:1 分工Step-5-Preview 的 92 层解码器并非每层都一样。打开 config.json 中的layer_types字段可以看到层类型按固定节奏循环出现sliding_attention → sliding_attention → sliding_attention → full_attention → 循环……也就是说每 4 层中有 3 层是滑窗注意力层1 层是全注意力层全模型共 69 个滑窗层 23 个全注意力层。这种分工是百万 token 长上下文的第一块基石滑窗层占 3/4计算量恒定、KV 缓存占用极小承担绝大多数的局部理解全注意力层占 1/4承担跨段落的长程依赖但通过 DSA 稀疏机制把代价降到可控范围。滑窗注意力只读最近 512 个 tokenKV 缓存不再无限膨胀传统全注意力层中每个 token 都要和它前面所有token 计算注意力KV 缓存随上下文线性增长——100 万 token 时这是一笔天文数字的显存开支。Step-5-Preview 的 69 个滑窗层则把视野限制在最近 512 个 tokenconfig.json 中sliding_window: 512。推理实现里滑窗层使用环形缓存ring buffer只保留窗口内的 KVinference/model.py 中的_sliding_attention与_sliding_prefill_chunked都围绕这一 512 窗口做掩码计算。这带来两个直接收益显存恒定无论上下文是 1 万还是 100 万 token每个滑窗层缓存的 KV 始终只有 512 个 token 的量局部质量不打折语法、句式、指代消解等近处任务绝大多数信息就在 512 token 半径内滑窗层足以胜任。DSA 稀疏注意力从 100 万里只精读 512 个重点区域真正的重头戏是那 23 个full_attention层。它们需要看得见全局但绝不能真做 O(N²) 的全量计算。Step-5-Preview 为此引入了DSADeep Sparse Attention稀疏注意力只作用于全注意力层config.json 中apply_to_layer_types: [full_attention]。DSA 的工作流程可以拆成四步① 区域化每 8 个 token 打包成 1 个区域长序列被切分为 8 token 一组的连续区域inference/kernel.py 中REGION_BLOCK_SIZE 8。100 万 token 就是约 12.5 万个区域。② 摘要压缩每个区域压成 256 维名片每个完整区域会被csa_block_compress压缩成一个 256 维摘要向量FP8 存储。这样模型在浏览全局时读的是摘要而非原始 token成本骤降。③ 打分选择Indexer 为每个区域打分只取 Top-512每个全注意力层内置一个16 头的稀疏索引器sparse indexer见 inference/kernel.py 中的Step5SparseIndexer。它用查询向量给所有候选区域打分然后只选出分数最高的 512 个区域topk: 512。④ 稀疏计算注意力只算选中的区域最后的注意力计算sparse_gqa只对 Top-512 区域的真实 KV 进行。对 100 万 token 的上下文这意味着每个查询实际参与计算的 token 数被稳定压缩到数千量级与总长度基本解耦——这正是检索式注意力的核心思想。两个容易被忽略的稳态细节RoPE 缩放只给全注意力层rope_scaling采用 llama3 风格插值low_freq_factor1.0、high_freq_factor32.0且通过 config.json 的yarn_only_types明确只作用于full_attention层——长位置外推能力定点投放避免拖累短程精度。部分旋转因子全注意力层的partial_rotary_factors为 1/3即只有部分维度参与位置旋转进一步保留绝对语义信息。新手上手如何跑起百万 token 的 Step-5-Preview仓库内置了完整的推理路径inference/README.md三种典型部署方式方式场景关键点vLLM / SGLang生产服务OpenAI 兼容 API--max-model-len 1048576即可启用百万上下文Transformersinference/ 目录离线单机/多机生成convert.py分片 →torchrun generate.py贪心解码独立 kernel 路径研究/复现DSA 索引器与稀疏注意力内核全部在 inference/kernel.py 中开源以离线推理为例核心流程只有两条命令cd inference python3 convert.py --checkpoint FP8_CHECKPOINT --out-dir ./shards --tp-size 8 --ep-size 8 torchrun --standalone --nproc-per-node8 generate.py \ --tp-dir ./shards/tp8 --ep-size 8 \ --prompt 请介绍一下张量并行。 --max-new-tokens 128 提示百万上下文受 KV cache 显存约束。生产部署时如果显存不足按 README 指引调低--max-model-len或并发即可。总结百万 token 长上下文的三个设计密码分层分工69 层滑窗 23 层全注意力按 3:1 交错各司其职滑窗控近程512 token 窗口 环形缓存让绝大多数层的显存开销恒定DSA 管全局区域摘要 16 头索引器 Top-512 选择把 100 万 token 的全局注意力变成一次高效检索。滑窗注意力保证读得快、存得下DSA 稀疏注意力保证找得准。两者叠加就是 Step-5-Preview 解锁百万 token 长上下文的完整密码。赞分享大模型基础模型人工智能多模态AI Agent本地部署【免费下载链接】Step-5-PreviewStep 5 Preview 是阶跃星辰面向智能体工作打造的旗舰模型。该模型在软件工程和专业知识工作领域均展现出前沿级性能尤其在金融领域表现突出。 Step 5 Preview 是一个稀疏混合专家MoE模型总参数量为 600B激活参数量为 27B。它支持高达 100 万 token 的上下文长度并可接收文本、图像和视频输入能够在复杂任务中实现持续推理与工具调用。项目地址https://ai.gitcode.com/StepFun/Step-5-Preview点击查看免费下载相关推荐MiniCPM-SALA 实战指南稀疏注意力与线性注意力混合架构的百万级长上下文建模与微调MiniCPM SALA 实战指南稀疏注意力与线性注意力混合架构的百万级长上下文建模与微调 MiniCPM SALASparse Attention and大模型本地部署模型量化微调LoRA工具调用openBMBAscendTokenSpeed DSA 深度稀疏注意力内核详解稀疏历史选择与 MLA 注意力的解耦设计TokenSpeed DSA 深度稀疏注意力内核详解稀疏历史选择与 MLA 注意力的解耦设计 本文是 TokenSpeed 内核库中 DSADeep Spa人工智能大模型推理引擎模型推理服务后端WeChatMsg 微信聊天记录导出完全指南四种格式加年度聊天报告WeChatMsg 微信聊天记录导出完全指南四种格式加年度聊天报告 WeChatMsg 是一款免费开源的微信聊天记录导出工具。 它读取微信 PC 端的本地数据创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考