【免费下载链接】Spark-X2.5-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.5-4B-FP8点击查看免费下载Spark-X2.5-4B-FP8是一款面向端侧部署的 4B 参数大语言模型原生支持 1M token 上下文窗口和 200 多种语言主打 Agent工具调用、多步任务执行、代码与推理能力并提供 FP8 量化版本是同类开源端侧 Agent 模型中综合能力最强的选择之一。这篇文章带你从零看懂它混合注意力架构为何高效、跑分到底有多强、如何最快部署上手。一、Spark-X2.5-4B-FP8 是什么30 秒看懂核心卖点Spark-X2.5 系列包含4B与1.7B两个规格。与同量级模型相比它的设计目标很明确用 4B 的体积打出端侧 Agent 场景下的最强表现。维度关键信息参数规模约 4B 参数36 层hidden_size 2560上下文长度原生 1M tokens1,048,576语言支持200 种语言架构混合注意力全注意力 滑动窗口注意力量化格式FP8 动态块量化128×128 块词表大小131,072预训练数据约 20T tokens许可协议Apache 2.0可商用基座模型XHToken/Spark-X2.5-4B-Base 这个仓库提供的是Hugging Face Transformers 格式的模型权重与配置文件可直接被 SGLang、vLLM、llama.cpp、MLX 等主流推理框架加载。二、混合注意力架构1M 上下文的高效密码为什么长上下文模型通常又慢又吃显存因为每多一个 tokenKV Cache 就要多一份全注意力层的计算量随长度平方增长。Spark-X2.5 给出的答案是混合注意力架构36 层中每 4 层安排 1 层全注意力full attention负责跨整个上下文的远距离信息检索其余 28 层使用 512 token 滑动窗口注意力sliding attention只关注局部信息大幅压缩 KV Cache两套 RoPE 位置编码独立配置全注意力层rope_theta高达 5,000,000 并配合 0.25 部分旋转因子专为超长距离设计滑动层则用常规的 10,000这套局部看细节 全局抓重点的组合让模型在保持 1M 原生上下文的同时TTFT首字延迟、TOPT单 token 延迟和显存占用都显著优于同尺寸纯全注意力模型。相关实现可在 modeling_spark.py 与 configuration_spark.py 中查看层类型分布定义在 config.json 的layer_types字段。架构参数速览来自 config.json参数值作用num_hidden_layers36解码层数hidden_size2560隐藏层维度num_attention_heads16注意力头数num_key_value_heads4GQA 键值头进一步省显存sliding_window512滑动窗口大小max_position_embeddings1,048,5761M 上下文上限vocab_size131,072大词表利于多语言quant_methodfp8dynamicFP8 动态激活、块量化另外两个工程细节tie_word_embeddings: true输入输出嵌入共享权重节省约一层参数、head_dim: 256 逐头注意力输出门控sigmoid 门控都是小模型榨干性能的典型手法。三、Benchmark 跑分4B 身板打出 Agent 王座官方在思考模式下评测了 Agent、代码、数学与通用知识四大类任务并与同级别端侧模型对比。精选数据如下 Agent 能力本模型的主战场BenchmarkSpark-X2.5-4B同级最强对手优势解读τ³-bench30.413.3多步任务规划接近翻倍MCP-Atlas54.647.4工具生态调用领先MCP-Mark14.213.4MCP 协议任务BrowseComp40.914.3浏览/检索类任务 3 倍优势VitaBench2.025.218.2生活智能体任务BFCL-V465.166.1函数调用基本追平 9B 级在 τ³-bench、MCP-Atlas、BrowseComp 等真正考验连续决策 工具调用的 Agent 基准上Spark-X2.5-4B 全面领先所有对比模型——这正是端侧 Agent 新王说法的直接依据。 代码与数学能力Benchmark成绩说明SWE-Bench Pro44.4远超 9B 级对手33.8SWE-Bench Multilingual53.3多语言代码修复领先SWE-Bench Verified41.6同量级模型中第一AIME 202690.7数学竞赛级推理HMMT Feb 202681.2显著领先同级Gaokao 2026133.4 / 150高考五套卷平均分IFBench75.0严格指令遵循第一一句话总结代码修复能力越级打 9B 模型数学推理逼近顶级大模型指令遵循是 4B 级最强。四、快速上手3 种最常用的部署方式FP8 版本约 1.4 字节/参数总权重约 7.6 GiB5 个 safetensors 分片单卡消费级显卡即可运行。方式 1SGLang官方推荐长上下文首选官方提供了跟随 Spark-X2.5 运行时的预构建镜像支持 NVIDIA GPU 与昇腾 NPU关键启动参数docker run --rm -it --gpus device0 --ipchost \ -p 30000:30000 \ -v $MODEL_PATH:/root/Spark-X2.5-4B:ro \ lmsysorg/sglang:nightly-dev-cu13-20260827-20621aa1 \ python -m sglang.launch_server \ --model-path /root/Spark-X2.5-4B \ --served-model-name spark2.5 \ --tool-call-parser spark25 \ --reasoning-parser qwen3 \ --context-length 1048576 \ --chat-template /root/Spark-X2.5-4B/chat_template.jinja \ --port 30000注意两个专属参数--tool-call-parser spark25Agent 工具调用解析与--reasoning-parser qwen3思考过程解析这是端侧 Agent 部署的必选项。方式 2vLLMOpenAI 兼容服务docker run --rm --gpus all --ipchost \ -p 30000:30000 \ -v $MODEL_PATH:/models/Spark-X2.5-4B:ro \ vllm/vllm-openai:latest \ --model /models/Spark-X2.5-4B \ --served-model-name spark25 \ --trust-remote-code \ --enable-prefix-caching \ --chat-template /models/Spark-X2.5-4B/chat_template.jinja \ --port 30000--enable-prefix-caching对多轮 Agent 对话提速非常明显建议保留。方式 3Ollama / LM Studio本地极客Spark 是全新架构需要先编译支持 Spark 的 llama.cpp 分支再构建 Ollama或替换 LM Studio 的 llama.cpp 后端详见 README.md 的 Ollama、LM Studio 章节。Mac 用户也可以直接用 Spark-MLX-LLM 运行原版权重无需 GGUF 转换。推荐采样参数官方设定参数推荐值temperature1.0top_p0.95top_k-1repetition_penalty1.0这些默认值已写入 generation_config.jsonmax_tokens上限即 1,048,576。思考模式对话模板默认开启思考thinking。若某次请求想关闭传chat_template_kwargs: {enable_thinking: false}即可适合低延迟场景。五、训练与后训练20T tokens MOPD 强化学习预训练约 20T tokens覆盖网页、书籍、学术、代码与百科数据并经过大规模数据配比实验重点加权数学、逻辑、代码等高价值领域长上下文专项数百亿 token 的独立训练阶段序列长度一路扩展到 1M后训练先 SFT 建立指令遵循与结构化生成能力再在语言理解、推理、编程、工具增强 Agent、指令遵循五个方向做大规模强化学习得到多个领域专家策略最后通过MOPD技术融合进单一可部署模型这套流程解释了为什么它在 Agent 基准上能越级不是靠堆参数而是把强化学习预算精准投到了端侧 Agent 最需要的能力上。六、硬件兼容性与文件结构硬件生态是它的重要加分项NVIDIA GPUvLLM / SGLang 官方镜像直接跑华为昇腾 Ascend官方提供 A2 / A3 / 950DT 的 vLLM-Ascend 与 SGLang 镜像模型本身就是在 Ascend 集群上训练的兼容海光Hygon、HOUMO.AI 等平台推理框架覆盖 vLLM、SGLang、llama.cpp、MLX可快速部署到 Ollama、LM Studio微调推荐 Llama-FactoryApache 2.0 协议允许商用与二次开发仓库文件结构一览文件作用config.json模型架构配置层类型、RoPE、FP8 量化方案modeling_spark.pySpark2_5ForCausalLM架构实现483 行混合注意力核心configuration_spark.pySpark2_5Config配置类定义model-00001-of-00005.safetensors ~ model-00005-of-00005.safetensorsFP8 量化权重5 分片model.safetensors.index.json权重分片索引470 个张量chat_template.jinja对话模板含思考模式开关generation_config.json官方推荐生成参数tokenizer.json / vocab.json131072 词表与分词器想获取模型执行git clone https://gitcode.com/SparkLLM/Spark-X2.5-4B-FP8七、FAQ新手最关心的 4 个问题Q14B FP8需要什么显卡FP8 权重约 7.6 GiB留足 KV Cache 后8GB 显存可跑中短上下文要开满 1M 上下文需要更大显存可用--context-length按需调低。Q2和 Qwen3.5-9B 这种更大的模型怎么选看场景纯对话知识任务大模型略强如 GPQA但 Agent、代码修复SWE-Bench Pro、数学推理 Spark-X2.5-4B 反超而且体积只有 4B、FP8 更省显存、速度更快——端侧和本地 Agent 工作流是它的舒适区。Q3如何在国产硬件上部署官方已提供昇腾 A2 / A3 / 950DT 的 vLLM 与 SGLang 镜像见 README.mdvLLM 路径需额外安装 Spark 插件完成架构适配。Q4能微调吗可以。Apache 2.0 协议下推荐用 Llama-Factory 做 SFT 微调把模型调成你的业务 Agent。总结为什么它是端侧 Agent 模型新王✅小身材大能力4B 参数在 τ³-bench、SWE-Bench Pro 等 Agent/代码基准上越级战胜 9B 级模型✅1M 原生上下文混合注意力 512 滑动窗口长文档、长对话不爆显存✅工程生态完整SGLang / vLLM / llama.cpp / MLX / Ollama / LM Studio 全链路支持NVIDIA 与昇腾双栈✅开箱即 Agentspark25工具调用解析器 默认思考模式 官方采样参数部署即用如果你在找一款能在本地跑起来、扛得住 1M 上下文、真正会干活的 Agent 模型Spark-X2.5-4B-FP8 目前就是开源端侧阵营里最值得关注的答案。赞分享【免费下载链接】Spark-X2.5-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.5-4B-FP8点击查看免费下载相关推荐Spark-X2.5-4B 全面解析混合注意力架构、1M 原生上下文与多框架部署实战指南Spark X2.5 4B 全面解析混合注意力架构、1M 原生上下文与多框架部署实战指南 本篇技术指南以开源仓库 SparkLLM/Spark X2.5 4B人工智能大模型国产端侧模型的全球声量星火 X2.5-4B 登上 HF 日榜开源出海的下一个窗口在端侧国产端侧模型的全球声量星火 X2.5 4B 登上 HF 日榜开源出海的下一个窗口在端侧 当 Hugging Face 的热门榜单Trending被来自全人工智能大模型Spark-X2.5后训练之道MOPD多教师蒸馏如何把4B模型推向SOTASpark X2.5后训练之道MOPD多教师蒸馏如何把4B模型推向SOTA Spark X2.5 4B 是一个仅 40 亿参数的紧凑开源大语言模型却在 Ag上一篇终极指南KaTeX字体系统如何实现数学符号的精确度量技术下一篇{{date:YYYY年MM月}} 回顾创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考